高露洁写了一篇论文，没错，就是那个卖牙膏的。
这篇论文的名字叫《LLMs Reproduce Human Purchase Intent via Semantic Similarity Elicitation of Likert Ratings》。
直译过来就是《通过李克特评分的语义相似度引导，大语言模型可再现人类购买意愿》。
听起来很拗口，是吧，我给大家翻译一下，意思就是说别再搞什么市场调研和调查问卷了，大模型可以给你更加准确的结论。
OK，那我们来说一下他到底讲了什么。
大家都知道，对于一个商品服务来讲，市场调研是一个很重要的步骤，很多公司在这块边花很多钱，去买咨询报告啊，去发调查问卷。
调查问卷，这个你肯定接触过很多了，一般都是这么做的，给回你一套选择题，
会问你，你有多大概率会买这个产品啊？
1~5分打个分。
首先，大多数情况下，我们人类是特别懒的，填问卷的时候你肯定是因为什么，因为有优惠券，或是你朋友发过来的，你不好意思拒绝，然后一路瞎点或者一路好评。
所以这些企业大价钱买来的问卷，大部分都是垃圾数据。
企业就想了，既然人类提供的问卷不靠谱，那让AI来做呢。
大家都知道，现在的大模型它有一个谄媚的性格，它能稳稳地接住你，所以当你问1~5分，打个分的时候，他基本上只给你3分，偶尔心情好给你一个2分到4分，1到5分是万万不敢的。
在统计学上，这叫做均值回归。但是在实际业务里。这些数据没有一点用，你根本看不出来哪个创意好，哪个创意坏。
于是这个论文里边就提出了一个新的做法。
简单来说就是现在不让你打分了，让你写小作文。
研究者让大模型扮扮演不同的消费者，比如让你扮演一个刚大学毕业，预算有点紧张的打工人，让你扮演一个两个孩子的妈。
再给这些角色看这个产品的概念图以及宣传手册，比如『AURAFOAM 情绪沐浴露』的宣传图塞给 GPT-4o，这张图做得花里胡哨的，上面写着什么『神经香氛』、『微生态水分』。
那对AI来说，这个很事情很简单，它就可以根据它的身份去吐槽了。
比如一个打工人的身份 AI 角色，他是这么说的，这玩意儿看着挺高端的，但我可不信什么微生态这种概念，感觉就是智商税，不过要是挺便宜的我倒是愿意试试。
然后就获得了一堆的评价和小作文。
关键的一步来了，就是我们需要把这些小作文转化成数值，也就是向量。
用的是 OpenAI 的 text-embedding-3-small 模型。
然后，他们提前准备了 5 句代表不同购买意愿的『标准大白话』。比如最不想买的是：这玩意儿我绝对不可能买。最想买的是：这太棒了，我必买。
接着，用几何公式计算大模型那段吐槽和这 5 个标准句子的夹角余弦值，哪个离得近，就说明大模型的意愿偏向哪一档。
但是又遇到一个问题，如果你直接用余弦向量的方式去算相似度大模型会给你一个比较平坦的概率分布。
原因很简单。
『我超级想买这个沐浴露』和『我超级讨厌这个沐浴露』，就差一两个字，对于向量模型来说，相似度太高了，但是实际上，它俩表达的意思天差地别，如果映射到打分上，那就是1分和5分。
为了解决这个让人抓狂的细节，研究人员想了个土办法：在算相似度的时候，强行减去 5 个标准句子里相似度最低的那一个值。
怎么理解这句话呢？
大家都在聊沐浴露，都在聊购买意愿，其实算出来的相似度特别近，比如
跟 5 分（必买）的相似度是 0.85；
跟 3 分（中立）的相似度是 0.83；
跟 1 分（绝不买）的相似度是 0.81。
如果把这个转化成我们的购买意愿，那就是一个和稀泥的结论。
怎么做呢？就是上面说到的强行减去相似度最低的那一个值。
在这个例子里，最小值是跟 1 分的相似度 0.81。
我们用所有的分数都减去 0.81，也就是——
跟 5 分的得分变成了 0.85 减去 0.81，等于 0.04；
跟 3 分的得分变成了 0.83 减去 0.81，等于 0.02；
跟 1 分的得分变成了 0.81 减去 0.81，直接归零。
你再看这组新数字。
0.04 变成了 0.02 的整整两倍，而 1 分的概率直接被判了死刑。原本只有 0.04 差距的模糊数据，通过这一减，大家的差别就出来了。
那效果呢？
既然是论文，那就肯定有对比实验。于是高露洁这帮人用9300个真人填写的57场真实问卷，用来和AI进行对比，这种做研究性的调查问卷，它的报酬比较高，所以比你大街上发的质量能够好一些。
结果是，AI预测的模型和人类真实预览的相关性直接干到了90%以上。
注意，这里用的模型还是Gemini 2.0 Flash。
研究人员还做了一个对照组，就是如果我们把所有设定都删掉呢？
不说你是一个学生，或者是你是一个打工人，直接让用默认的角色去回答，分布相似度达到 0.91，平均购买意愿甚至与真人一样，都是 4.0 左右。
但如果你去测它和真实产品受欢迎程度的相关性，就会发现相关性直接从 92% 掉到了 50%。
这说明『分布像真人』和『真的分得出产品好坏』，完全是两回事。
像，不等于有用。
呃，再说一个细节。
论文附录里写了真人和AI写的产品反馈。
真人一般是这么写的，『挺好的，没有什么特别喜欢的』，或者是说是『还行』。
AI回答的画风：『使用方便这点吸引了我，但我想多了解一下它的实际效果和可能的副作用。』『这个牌子我信得过，所以好感度高一些。但概念描述里关于微生物群落的部分说得太玄了，我不太买账。』
很明显人类的评价是没有多少信息量的。
论文的原话是：人类开放题回答『lacking depth』（缺乏深度），而 AAAI 消费者的反馈『far richer in information』（信息量大得多）。
花了几百万美元请来的真人受访者给你写了三个字，你一分钱没花的AI给你写了一段产品经理梦寐以求的用户洞察。
但是你说我要花个500美元请个人给我写评价的，他有可能写得很多。但是也有可能就不是真的了。
来说一下市场调研这个事情，这是一个几百亿美元的市场。
市场调研这个问题，它不仅是在于贵，更大的问题在于慢和偏，你发放调研报告、收集调研报告需要时间，如果你选项设置的不对，那得出的结果肯定就会更差了。
而且有一个问题就是，真人问卷的购买意愿，它分布得更加集中，AI分布得更散。
这也就是我们所说的，你请我来填你的问卷，尤其是给钱的情况下，或者给优惠券的情况下，我不好意思说你不好。
这个方法也有局限，嗯，在像高露洁这样的日化用品上，也许在网络上的论坛里评价比较多，所以大语言模型就收集了海量的语料资源，能够做出比较准确的判断，我是一个冷门产品的话，没有太多的语料，有可能研究效果就不同。
还有一个细节值得注意：论文第一作者的邮箱是pymc-labs.com，PyMC Labs是一家贝叶斯统计咨询公司，创始人Thomas Wiecki是PyMC（Python概率编程库）的核心开发者。
高露洁那边的共同通讯作者Kli Pappas是Colgate-Palmolive的数据科学负责人。
这个组合本身就说明了一件事：大公司已经在认真的把LLM当成市场研究工具来探索了，这玩意儿已经不是学术玩具。
那么结论是什么呢？
市场部门得裁员了。
END
如果本文对你有帮助，请点赞、在看和分享给身边的朋友！
别忘了关注「决明子」
获取更多数码· 摄影 · AI的精彩内容！
???
你的认可，是对我最大的鼓励
求转发，朋友圈
另外我建了一个AI交流群
你可以回复关键词「进群」
添加我个人微信，邀请你入群
