48%的回归系数是错的:合成数据在市场研究中的真实边界

本文基于个人观点输入+AI协助输出。 阅读约需 30 分钟

Qualtrics今年3月正式商用合成面板产品，声称比通用LLM准确度高12倍。Kantar宣称其合成数据增强技术达到94-95%准确率。沙利文预测中国合成数据市场2025年突破47亿元。

但 Vanderbilt 大学的一项实验让我坐不住。

研究者用LLM生成合成调查数据，跑了一组标准的政治态度回归模型。结果：48%的回归系数与真实数据统计上显著不同。其中32%，效应方向直接翻转。也就是说，将近一半的结论是错的，三分之一的方向是反的。

这不是"合成数据还不够好"的问题。这是一个方法论层面的硬边界。

过去两周，我对合成数据在市场研究中的应用做了系统调研——覆盖国内外头部公司、学术前沿、技术路径和政策法规。这篇文章，是我对"合成数据到底能不能用、怎么用"的回答。

一、热潮之下，一个被严重低估的问题

合成数据的市场叙事极其诱人。

Gartner预测到2030年AI模型使用的绝大部分数据将是合成数据。中国信通院说2024年训练大模型的数据中60%是合成数据。

市场研究行业也在快速跟进。Qualtrics推出合成面板，号称成本只有人工面板的一半。Ipsos与斯坦福大学合作开发数字双胞胎方法论。NIQ在2024年FastCompany创新节上发布了BASES AI，用合成panel做概念测试。Kantar从2023年的明确质疑转向2026年的积极推广。

但繁荣叙事掩盖了一个根本问题。

Nature 2024年发表的里程碑论文证明：模型在递归生成的合成数据上训练，会发生不可逆的"模型坍塌"。Meta FAIR团队在ICLR 2025上进一步证明：即使只有1%的合成数据混入训练集，也会导致缩放定律平台化——模型不再从更多数据中获益。

两件事同时成立：市场在狂奔，学术界的红灯在一盏一盏亮起来。

这个落差，我管它叫"合成数据的认知赤字"——供应商PPT上的能力，和学术界验证出的边界之间，存在一个巨大的、被选择性忽略的鸿沟。

二、"幻觉消费者"：合成数据的阿喀琉斯之踵

合成数据在市场研究中最根本的缺陷，不是技术精度不够，而是一个结构性问题——LLM没有真实生活经验。

arXiv上Wang、Zhang & Zhang（2024）的论文一语道破："LLM并不拥有真实的生活经验。消费者偏好会因潮流、技术进步、经济和文化变迁而演变，LLM可能无法准确捕捉这些变化。"

这个理论判断，已被多项实证研究反复验证。

GPT-4的"不耐烦"偏差。Goli和Singh（2024）发现，GPT-4在联合分析（conjoint analysis）中表现出明显的"不耐烦"——它比真实人类更快做出选择。真实消费者在复杂决策中会犹豫、权衡、纠结，AI不会。

对小众品牌的系统性低估。德国NIM市场研究所的对比实验发现：AI在知名品牌的awareness上与人类匹配良好，但严重高估了知名品牌的consideration（考虑度），同时低估了小众品牌的实际购买行为。在品牌image、产品优越性、推荐意愿等维度上，AI的反馈系统性偏正面，答案变异性更小。翻译成人话：合成数据会"抹平"真实市场中存在的品牌偏好差异，产生一个过于乐观、过于同质化的虚拟市场。

全新概念的灾难性失败。DigInsights做了一个残酷的实验——用合成数据预测电影票房。当测试包含续集和翻拍（AI训练数据中有大量相关信息）时，AI预测与实际票房的相关性是0.8，还不错。但当排除续集和翻拍信息，测试全新电影概念时，相关性暴跌至0.3—— barely above random chance。

换句话说：合成数据无法预测它没见过的东西。全新品类、全新概念、全新消费场景——合成数据的表现接近抛硬币。

边缘信号的"平滑效应"。数字一百在一篇文章中尖锐指出："新兴亚文化的爆发、边缘用户的异常选择、某个细分人群突然转向——这些变化在早期往往不是'主流数据'，而是微弱、不连续、甚至看起来不合理的信号。合成数据可能会把这些信号平滑掉。"

这是合成数据的深层结构性问题：AI被训练去生成"最可能的"回答，而创新往往诞生于"最不可能"的角落。

三、三条边界：什么时候能用，什么时候绝对不能用

合成数据不是"信则有不信则无"的主观问题。一个研究问题能不能用合成数据，是可以事先判断的。

结合Qualtrics、Ipsos、Syntellia等公司的实践声明和学术界的验证实验，我整理了一个精简版判断框架：

最让我警觉的一条，来自积极推广合成数据的公司自己。Ipsos的InnoTest合成数据版，在产品页上明确声明："不推荐用于概念验证"（concept validations）。连最激进的玩家都在给自己划红线。

业界的分化也印证了边界的存在。

Qualtrics是工具派——明确将合成数据限定在"早期和探索性研究"。NIQ是"没有捷径"派——直接批评行业内一些"快速上市"竞品，原话是："合成受访者不是人类消费者的替代品。" Ipsos是保守派，坚持HI+AI（人类智能+人工智能），强调"优质合成数据离不开优质人类数据"。最有意思的是Kantar——2023年还在批判LLM"过度积极""趋向刻板印象"，到2026年宣称94-95%准确率。三年的态度曲线，就是整个行业的缩影。

四、种子数据的秘密：混得多不如混得对

如果说"幻觉消费者"定义了合成数据的天花板，那种子数据的配合机制定义了地板。

最常见的错误做法是：收集一部分真实数据，再让AI生成大量合成数据，简单混在一起分析。

这种做法不仅不能提升精度，反而会加剧偏差。

Wang、Zhang & Zhang（2024）在COVID-19疫苗偏好联合分析实验中，清晰展示了这个陷阱：无论使用GPT-3.5还是GPT-4，无论用不用CoT prompt，随着合成数据量增加，估计误差不降反升。而当加入更多真实数据时，误差单调下降，最终趋近于零。

原因很简单：LLM生成的数据存在系统性偏差，这种偏差不是随机的，无法通过"增加样本量"来消除。每增加一个合成数据点，就等于在模型里多加了一份"错误的信号"。

正确做法是什么？他们提出了一套叫AAE（AI-Augmented Estimator）的统计框架：

1. 用少量真实数据训练一个"软目标"模型——学习"给定产品特征和LLM标签时，真实人类会怎么回答"
2. 用KL散度让模型学习"LLM标签与真实标签之间的映射关系"，而不是直接相信LLM的标签
3. 将校正后的LLM数据与真实数据结合，得到具有统计一致性的估计量

用这个框架，可以节省24.9%到79.8%的真实数据需求，同时保持统计有效性。而且这个框架有理论保证——它始终优于单独使用真实数据、单独使用LLM数据、或简单混合两者。

Ipsos中国也给出了实践层面的阈值：种子样本至少要有300到500个，才能得到可靠的增强数据。低于这个数，建模误差可能超过抽样误差。而且1000个真实样本加500个合成样本，有效样本量不是1500，而是介于1000到1500之间——因为合成数据违反了"独立、等概率抽样"的前提。如果把合成数据简单等同于真实独立样本做统计检验，错误率可能高达75%-80%。

这个数字值得停下来想三秒钟。你省了钱，但检验结论有四分之三的概率是错的。

五、行动清单：研究者怎么做，甲方怎么看

说了这么多，回到一个朴素的问题：什么才是真正稀缺的？不是生成能力，是判断力——知道什么时候用、用多少种子数据、怎么验证。

给市场研究从业者：

1. 把种子数据当资产管。每个项目拿出5-10%的预算做种子数据采集，建立跨项目、跨行业、跨人群的种子数据池。种子数据不是成本，是你未来合成数据能力的护城河。
2. 掌握偏差诊断。这是AAE框架里最难自动化、最需要专家判断的环节。针对你的核心方法论——segmentation、conjoint、concept testing——分别建立"合成数据偏差档案"，记录每个项目中合成数据与真实数据的差异模式。
3. 把边界判断变成你的差异化服务。在提案阶段就明确标注"合成数据使用范围"和"不适用范围"。客户可以买到AI工具，但买不到你用22年积累的判断力。这份判断力，是合成数据时代最稀缺的东西。

给in-house利益相关方：

1. 看场景，不看价格。供应商说"用AI补了样本"的时候，先问三个问题：这个研究在绿灯区还是红灯区？种子数据有多少？用的什么校正方法？如果答案模糊，保持警惕。不是所有的"AI增强"都值得买单。
2. 探索场景大胆用，决策场景绝不碰。概念筛选、问卷预测试、市场扫描——合成数据在这些场景下确实快、确实便宜、确实够用。但新品上市决策、定价策略、因果归因——用合成数据做这些，就是在抛硬币。
3. 要求"数据血缘证书"。要求供应商为每个使用合成数据的项目提供：种子数据来源、合成方法、已知偏差、验证结果。这是ESOMAR和EU AI Act的合规方向，也是你作为甲方的应尽之责。

合成数据不会取代真实人类数据，但它会深刻改变市场研究的成本结构和交付模式。

Qualtrics做合成面板，Ipsos做数字双胞胎，NIQ做AI-native概念测试——这些都不是噱头，它们在正确的场景下确实有用。但"有用的工具"和"可以替代真实数据"之间，隔着一整条方法论鸿沟。

我是托马斯，在市场研究这个行当做了20年+。正在用AI重新思考这个行业的工作方式。关注AI + 研究、知识工作自动化、行业范式转移。