在一个明亮的高级写字楼里，研究员正对着屏幕字斟句酌。
为了体现“专业”，他在问卷里写下了“隐瞒”、“艰巨”和“假设性”等词汇。
他以为自己在追求精确，却没意识到，在屏幕的另一端，这些词汇正变成一堵堵高墙。
最新的行业调查揭示了一个尴尬的真相：
近 1/5 的大众阅读水平仅相当于 10 岁儿童。当 75% 的受访者曾被问卷“难倒”时，他们并不会举手示意，而是选择敷衍了事，或是“自信地答错”。
作为精英研究员，我们常年困在学历构建的泡沫里，用所谓的“学术规范”把自己和真实世界隔离开来。
有专业人士把这种调研行业中长期存在、却因习以为常而被视而不见的系统性漏洞称为“ 肮脏秘密”（Dirty Secret）”。
这场关于识字率的自省告诉我们：如果你问的问题别人听不懂，你测量的就不是大众的观点，而仅仅是他们的教育程度。
别让你的专业傲慢，成了数据质量最大的敌人。
编者按
源自 | 编译
作者 | Nicky Marks，Charles Moore
原题 | How researcher literacy bias may be skewing your data
译文 | Felix
题图 | AI生成
文末附问卷去偏差检查清单、专业词汇小词典
勺海公号原创译文，转载请注明原文和译文出处
当我们读到苏格兰政府最近关于“调查无回答偏误”（survey nonresponse bias）的研究时，内心产生了一种共鸣。
并非因为研究结果多么惊人，而是因为这些发现与我们的日常经历惊人地接近。它提出了一个重要问题：
我们如何与人沟通，以及作为研究员，我们自身存在哪些局限？
苏格兰政府的工作揭示了一个市场研究员鲜少讨论的问题：
设计问卷的人，可能正在无意识地为我们试图接触的受访者制造障碍。
这不得不让我们开始审视：我们是否也在做同样的事？
01 困在精英泡沫里？
市场研究行业可能会被指责存在一种蓄意但根深蒂固的“文识偏误”（literacy bias）。
几乎所有的市场研究职位都要求大学学位。结果是，我们的职业生涯被学历背景相似的人包围，甚至个人生活也往往遵循同样的模式。
这是一个“自选生态系统”，它在潜移默化中塑造了我们对语言和理解力的看法。
数据表明，无论我们是否意识到，我们都可能被困在自己的“泡沫”里。
例如，英格兰和威尔士只有不到一半的人口拥有学位，近五分之一的人没有任何学历。
然而，我们却试图与每个人对话，并力求研究的开放与公平。
这说明，编写问卷的研究员与回答问卷的广大受众之间存在根本性的脱节。
这种差距会微妙地影响我们在措辞、措辞方式以及“常识”假设上的每一个选择。
02 识字率的现状
国家层面的现状以冷峻的方式强化了这些担忧：
根据一项针对发达国家识字率的重大研究，18% 的英国人和 28% 的 16 至 65 岁美国人的阅读水平仅相当于（或低于）10 岁儿童。
对于这些受访者来说，在调查中遇到陌生的词汇和短语，会形成真正的参与障碍。
为了了解问题的规模，我们进行了自己的研究，测试了市场研究中常用词汇的理解程度：
如“academic”（学术的）、“hypothetical”（假设的）、“redundant”（冗余的）。结果极具启发性：
当我们询问受访者关于问卷困惑的经历时，发现 75% 的人至少有过一次对调查问题感到困惑的经历。
更令人吃惊的是，28% 的受访者不知道英国由几个国家组成。
这告诉我们，研究员对于“什么是常识”的假设是多么主观。
这些显然不仅是易用性问题，更是系统性偏见的潜在来源，会在无意中扭曲我们的数据。
03 理解偏差如何演变为数据偏见
尽管后果复杂，但其运作机制却很直截了当。当受访者遇到难以理解的语言时，可能会发生几件事：
1. 直接流失： 有些人直接退出。
2. 敷衍点选： 另一些人为了完成任务快速点击，虽然在数据中“在场”，但实际已脱离调研。
3. 隐性误读： 还有一些人误解了问题，却自信地给出了答案。
要让调查结果有意义，你必须相信人们对问题的理解与你的预期一致。
否则，就会有完全不同的干扰因素进入，破坏整个研究。
流失问题相对容易处理，大多数调研机构只需剔除不完整的样本。
但“敷衍点选”很难解决，因为受访者受酬金驱动，即使感到厌烦或困惑，也会坚持完成。
最隐蔽的问题是“隐性误读”。
受访者以为自己懂了，其实并没有，从而提供了看起来有效、实则虚假的数据。
与可以通过质量检查检测到的“答题过快”或“直线答题（连选）”不同，真正的误读几乎无法被捕捉。
结果就是样本倾斜：
困惑驱逐了识字水平较低的受访者，导致最终样本向那些能轻松驾驭学术/专业语言的人倾斜。
这种偏见不在于你招募了谁，而在于谁能保持参与度并坚持到最后。
如果他们误解了问题并给出了并不代表其真实看法的答案，这些数据几乎不可能被修正。
04 质量问题，而非“简化”问题
在讨论解决方案时我们非常谨慎，因为如果只追求“最小公分母”（ he lowest common denominator），措辞会变得极其简陋，难以分析复杂事物。
这里有一个关键点：调查问题需要精准且简明。
过度简化会带来新问题，特别是在捕捉微妙态度或复杂行为时。
答案不是让一切变得“简单”，而是让一切变得“清晰”。
我们需要将“通俗语言”重新定义为一种“研究质量工具”，而非一种妥协。
我们有时会为了追求精准而使用不必要的复杂词汇，这反而制造了本可以避免的障碍。
即使意识到这一点，执行起来也不容易。
眼动研究表明，受访者在看在线调查时往往是“扫视”而非深读，他们更关注选项，而非研究员苦心经营的问题描述。
长问题不会赢得更多关注，只会招致更多扫视。这产生了双向压力：
我们需要保持问题足够简短以吸引用户参与，同时又要足够清晰以确保每个人都能理解。
提供定义似乎是一个显而易见的解决方案。
如果有必要使用复杂术语，我们可以给它下定义，但前提是定义本身也得易于理解。
这听起来是一个优雅而简单的办法，但同样，只有在定义被真正阅读并理解的情况下才有效。
平衡也是一个考虑因素。
在 Censuswide，我们对平衡量表有严格规定，以防止诱导受访者偏向特定答案。
如果包含了正面选项，就必须有等量的负面选项；五分量表必须有中点和“不知道”选项。
与确保受访者真正理解发生了什么相比，“不误导人（Not leading people）”反而得到了更多关注。 部分原因在于，想要确定受访者是否真的理解，其难度要大得多。
05 当教育与专业知识背离
B2B 调研面临特殊挑战。
当采访高管或行业专业人士时，研究员往往假设对方拥有极高的文识水平和深厚的专业知识。
通常这种假设成立，但也并非总是如此。
即便拥有资深头衔，对方也可能是行业新人。
一个典型案例是，我们为美国客户进行的一项医疗调研。
该项目针对医疗福利经纪人，内容涉及美国医疗系统错综复杂的结构。
由于英美医疗体系差异巨大，我们的项目经理不断向客户（即研究员）确认：
“这是什么意思？”
“你到底想表达什么？”
由于缺乏文化背景，项目经理无意中扮演了“理解力测试者”。
这种反复沟通迫使客户用通俗语言进行解释，最终形成了更清晰的问题。
我们认为，这种沟通应该是研究过程中的核心环节。
调研机构并不是每个行业的专家，这并非弱点。 如果我们接受这一点，就能迫使专业语言“翻译”成更易懂的表达，从而更好地服务于研究。
我们是研究专家，而客户是行业专家，这种知识的结合以及在项目实地执行前勇于追问的谦逊，才是产出高质量问卷的关键。
06 一场全行业的对话
在市场研究中，数据质量很少被公开讨论，甚至成了行业的“肮脏秘密”（a dirty secret of the industry）。向客户承认我们收集的答案中存在无效性，难免会让人感到紧张。
我们公司通过常规手段移除答题过快、连选或逻辑不一致的样本，并使用陷阱题和数字指纹技术捕捉机器人。
但“理解偏差”不同，它无法通过常规质检捕捉，却会悄悄改变样本构成。
相比社会期待偏差或抽样误差，文识偏见（literacy bias）更难察觉。
如果受访者因为误解问题而脱离调研，目前的工具几乎无法识别。
07 优秀的标准是什么？
如果全行业都重视这个问题，会发生什么变化？
从根本上说，数据会更准确：我们“以为”问的问题，将真正成为受访者“听到”的问题。
实现这一点的第一步是意识，然后是渐进式的改变。
本文并非要开出万能药方，我们自己也并未完全解决这个问题。
但开始思考它，就已经让你拥有了更好的研究方式。
我们对同行的建议是：
识别你自己的偏见。 不仅仅是措辞或教育背景，还包括你的个人和职业经历如何塑造了你对世界的解读，以及你如何假设他人也是如此。
一个鲜活的案例
为了测试我们的假设，我们对 2,000 人进行了一项调查，询问了两组意思非常接近的问题：
第一组对比：
Q1：你是否曾隐瞒（concealed）过自己对某个话题的误解？
Q3：你是否曾藏起（hidden）过自己对某个话题的误解？
结果，当我们将 Q1 中的“concealed”改为 Q3 中更通俗的“hidden”时，Q1 中回答“不知道”的人中有 38% 在 Q3 中给出了明确答案。
第二组对比：
Q2：你觉得完成调查问卷有多艰巨（onerous）？
Q4：你觉得完成调查问卷有多难（hard）？
结果，当我们将 Q2 中的“onerous”替换为 Q4 中的“hard”时，39% 的人给出了不同的答案。
尽管“艰巨”和“难”在语义上略有差异，但如此高比例的答案变动说明：
过于复杂的语言设计会加剧数据偏差。
08 超越单纯的措辞
这场讨论触及了更深层的问题：
谁能真正有意义地参与研究？
谁的声音被准确记录了？
以及无意识的假设如何定义了“有效数据”。
世界的多样性让我们的工作变得有趣，也让捕捉真实看法变得困难。
解决方案并不复杂，尽管实施起来有挑战：
从觉察开始，质疑你的假设，测试理解度，为“清晰”而写，而非为“学术规范”而写。
不要把通俗语言看作“降智”，而应将其视为一种质量控制措施。
因为如果受访者看不懂问题，你测量的就不是他们的观点，而是在测量谁的教育背景足以驾驭你的措辞。
这两者完全不是一回事。
作者简介
Nicky Marks 是伦敦 Censuswide 公司的首席执行官，在过去的 14 年里，她将其打造为全球 B2B 和 B2C 品牌的调研合作伙伴。她拥有埃克塞特大学商业与管理学士学位。
Charles Moore 是 Censuswide 的合规主管，在市场研究和数据分析领域拥有 20 年经验
附-问卷去偏差检查清单
第一阶段：词汇“去精英化”过滤
剔除书面语： 是否使用了“隐瞒”、“阐述”、“艰巨”、“动机”等书面词汇？
优化： 将其替换为“藏起”、“说一说”、“难”、“原因”等口语化词汇。
消除行业黑话： 是否出现了只有甲方或研究员才懂的词（如“全渠道”、“心智习惯”、“功能链路”）？
检测“中英夹杂”： 在面向非互联网从业者时，是否删除了“场景”、“逻辑”、“痛点”、“闭环”等互联网黑话？
替代抽象形容词： 尽量避免使用“频繁地”、“偶尔地”，建议替换为具体的频次描述（如“平均每周 3 次以上”）。
第二阶段：句式“轻量化”压缩
短句优先： 题目是否超过了 20 个字？如果是，请尝试拆分成两个短句，或删除冗余的修饰语。
单一维度： 是否存在“双重否定”或“双重提问”（例如：你是否不认为这个产品不方便？）？
逻辑直叙： 句子是否遵循“主-谓-宾”结构？避免使用复杂的从句或因果倒装。
动词驱动： 尽量用动词（如“买”、“用”、“看”）代替名词化的表述（如“进行购买行为”、“进行使用体验”、“进行内容浏览”）。
第三阶段：假设“常识化”校准
零背景假设： 题目是否预设了受访者知道某个品牌、某个功能或某个专有名词？
对策： 如果必须使用，请提供一个10 岁儿童也能看懂的简短解释。
文化中立性： 题目是否涉及了特定圈层的文化梗？（这在面向下沉市场调研时尤为危险）。
认知匹配： 选项的梯度是否符合直觉？（避免使用过于精细、难以区分的 7 分或 9 分量表，除非受访者是极其专业的群体）。
第四阶段：视觉“扫视化”优化
选项前置： 由于用户更习惯看选项而非题干，题干的核心关键词是否已加粗或放在最显眼的位置？
移动端适配： 在手机屏幕上，题干是否占据了超过半屏的空间？
提供“逃生舱”： 针对复杂问题，是否提供了“不清楚/不知道”选项？（强迫回答会导致受访者为了完成任务而胡乱点选）。
第五阶段：终极“压力测试”
“10 岁儿童”测试： 试着把题目读给一个五年级的小学生听，如果他皱眉，请重写。
“实地翻译”测试： 如果是 B2B 项目，请外行同事读一遍，看他是否需要你解释“这到底是在问什么”。
专家视角：为什么要这么做？
“如果受访者看不懂问题，你测量的就不是他们的观点，而是在测量谁的教育背景足以驾驭你的措辞。”
附-本文专业术语小词典
Nonresponse Bias
调查无回答偏误
因特定群体（如理解困难者）拒绝或无法完成问卷，导致样本无法代表总体的偏误。
Structural Literacy Bias
结构性文识偏误
调研行业因从业者普遍高学历，而在设计问卷时无意识地偏向高阅读水平人群的倾向。
Self-selecting Ecosystem
自选生态系统
指具有相似教育背景的人群形成的闭环，容易导致研究员对“大众理解力”产生认知偏差。
Common Knowledge
常识假设
研究员对“受访者理应知道的信息”的预设，若预设过高会造成理解障碍。
Systematic Bias
系统性偏误
由于设计缺陷导致数据在特定方向上产生的持续性、非随机性误差。
Accessibility
易用性 / 无障碍性
问卷对不同教育程度、文化背景人群的友好程度。
Comprehension Bias
理解偏误
由于受访者对题目意思的误解而导致的数据失真，这是最难检测的偏误之一。
Dropout
样本流失 / 中途退出
受访者因问卷太难、太长或无趣而在完成前离开，导致最终数据样本倾斜。
Clicking-through
敷衍点选
受访者不看题目，单纯为了拿酬金而快速点击选项的行为。
Silent Misinterpretation
隐性误读
受访者“以为”自己懂了其实理解错了，这是常规质检（如查答题速度）无法发现的。
Speeding
答题过快
通过监测答题时长，剔除那些明显快于正常阅读速度、不负责任的样本。
Straightlining
连选 / 直线答题
在矩阵题中不假思索地在同一列（如全部选“3”）进行勾选的行为。
Incentivization Bias
酬金诱导偏误
受访者因渴望获得奖励而强迫自己完成不理解的问卷，产生大量低质数据。
Eye-tracking Research
眼动研究
通过追踪视线轨迹发现受访者更关注选项而非题干，为问卷排版提供依据。
Balanced Scales
平衡评分量表
确保正面和负面选项数量相等，避免在形式上诱导受访者偏向某一端。
Leading Respondents
诱导受访者
使用带有暗示性、倾向性的词汇，引导受访者给出特定答案。
Plain Language
通俗语言
舍弃学术词汇，使用大众在日常生活中交流的语言，作为一种质量控制工具。
Red-herring Questions
陷阱题
在问卷中插入逻辑冲突或常识检查题，用以识别和移除乱填的受访者。
Digital Fingerprinting
数字指纹技术
利用设备特征唯一标识受访者，防止同一人重复答题或机器刷单。
Lowest Common Denominator
最小公分母
调研设计中的一种思路，即将语言门槛降低到让最基层受众也能理解的水平。
定性研究的“幕后英雄”| 像筹备奥斯卡颁奖礼一样去做实地管理
真正跑赢对手的公司，都在做同一件事：系统倾听客户
