质见报告 · 第001期

组会上,导师翻到了方法章节
周颖的组会汇报进行得很顺利。
她用AI辅助完成了32份访谈分析,转录从160小时压到6小时,编码从82小时砍到58小时。数据漂亮,初步发现也有意思。
导师翻到方法章节,看了几行,停住了。
“你这里写:平台自动计算了编码者间信度,Cohen's κ为0.82。”
周颖点头:“对,平台生成的。”
导师抬头看了她一眼:
“每个编码都能追溯到原文吗?”
周颖:“能。平台是verify or drop原则,无法锚定的输出会被自动丢弃。我写的每个编码都对应了原文位置。”
导师点了点头,继续往下翻。
“提示词呢?你记录了提示词吗?”
周颖:“记录了。每次迭代的提示词、参数设置、AI输出样例、人工修改记录,全部在附录里。”
导师合上论文,看了她一眼:
“这还差不多。但你前言里最好加一句,说明为什么这些验证措施是必要的。”
周颖点头:
“好的,老师,我补上。”
为什么周颖的论文能经得起追问?

周颖的研究采用了QualiTaTi平台辅助数据分析
具体来说,平台上的每个工具都会遵守这个原则。
ThemeLens:每个展示的引文在显示前都会与源转录稿核对,无法定位的直接丢弃。内部评估显示,100%的展示引文都经过验证。
QDA Workspace:每个AI编码都解析到确切的字符范围,否则丢弃。在2026年7月的内部评估中,每个AI编码段都能100%映射到源文档中的确切字符范围。
Voice Analytics:无法校准的情绪标签标记为“低置信度”,绝不瞎猜。
Digital Twin Panel:AI回答必须基于参与者的实际访谈内容,数据不足时如实报告。
平台还会自动返回评审人期望的统计量:Cohen's κ、Krippendorff's α、Fleiss' κ,以及每列的一致性热图。
平台自己说了一句话,挺实在的:
“This principle costs us impressive-looking output; it buys you findings you can defend to reviewers, clients, and regulators.”
意思是:这会让我们失去一些“看起来很漂亮”的输出,但换来的是你能拿去给评审人看的有据可查的发现。
一个扎心的真相:多数研究不报告AI使用细节

LLM与人类编码员的一致率:36%–99%
周颖之所以能从容应对导师的追问,是因为她做了充分的准备。但并非所有人都这样。
2026年6月发表在《BMC Medical Research Methodology》上的一项范围综述,纳入了75项使用大语言模型的质性研究。结果触目惊心:
仅13项报告了温度(temperature)参数
仅12项记录了上下文长度
75%(56项) 完全未报告任何参数设置
13% 完全没有提示词细节
45%(34项) 未说明部署方式
更扎心的是:LLM与人类编码员的一致率从36%到99%不等,差异巨大。同样的数据、不同的提示词,可能得到完全不同的结果。
而你的方法章节只写了一行“使用AI辅助分析”,这就像量化研究只写了一句“使用统计分析”,却不告诉你用的是t检验还是回归、样本量多少、p值多少。
现有质性研究报告指南(包括COREQ在内),对LLM使用的记录几无指导。COREQ发布于2007年,那一年iPhone才刚刚问世。
学术界正在做的事:给COREQ打补丁
2025年,Fehring等人启动了COREQ+LLM扩展项目,旨在为LLM辅助的质性研究制定专门的报告条目。
项目邀请了141位国际AI与质性研究专家参与德尔菲研究,早期结果已显示专家间的高度共识。指南的框架已确定,涵盖:
研究团队与反身性:操作者的角色与资质
研究设计与理论框架:LLM在分析中的角色、人机交互方式
模型访问与参数:模型名称、版本、参数设置
提示策略:提示词的制定与迭代优化
验证与偏差缓解:分析程序的验证方法
伦理方面:伦理考量与问责
该项目的最终指南预计将为LLM辅助的质性研究提供第一个专门的报告框架。
同一时间,Jones(2025) 在《International Journal of Qualitative Methods》上提出了一个包含20个问题、覆盖5大主题的启发式框架,要求研究者明确报告:AI工具的角色、研究团队的AI素养、AI在参与者沟通中的参与、AI与理论框架的兼容性、AI在编码和主题化中的精确贡献、以及人机交互的迭代过程和提示词。
但问题在于:这些框架读起来有点累,而你的论文已经在路上了。

在COREQ+LLM正式发布之前,你需要一份直接能用的、覆盖全流程的、写进方法章节不丢人的清单。
以下清单综合了Jones(2025)的20个问题框架和QualiTaTi的验证实践,按实际操作流程编排。
阶段一:研究团队与AI素养
编号 | 你要交代的事 | 怎么写 |
1.1 | 团队AI素养水平 | “研究团队成员均完成了[工具名称]的基础操作培训,对LLM的基本原理有认知理解。” |
1.2 | AI的角色定位 | 明确声明:AI是“助手”(辅助人类判断),而非“代理”(替代人类判断)。 |
1.3 | 最终责任归属 | “全部研究发现由研究者承担最终责任。” ——这句话必须写。 |
阶段二:研究设计与伦理
编号 | 你要交代的事 | 怎么写 |
2.1 | AI工具与理论框架的兼容性 | “[工具名称]支持[归纳/演绎]编码,与本研究采用的[扎根理论/主题分析]方法论兼容。” |
2.2 | 伦理审查 | 如AI使用经过IRB讨论,说明;如未涉及,注明“AI未参与参与者识别或数据采集”。 |
2.3 | 知情同意 | “参与者在知情同意书中被告知:访谈录音将使用AI辅助转录,数据不会用于模型训练。” |
阶段三:数据收集(访谈)
编号 | 你要交代的事 | 怎么写 |
3.1 | AI是否主持了访谈? | 如是:说明AI的角色(完全替代/部分辅助)、访谈格式(文本/语音)。 |
3.2 | 参与者是否知晓AI互动? | “参与者在访谈开始前被告知AI的角色,并同意该互动形式。” |
3.3 | AI是否生成了追问? | 如是:说明追问的生成逻辑及人工审核方式。 |
3.4 | 数据存储与隐私 | “所有数据存储于[平台名称]的加密服务器,符合数据保护法要求。” |
阶段四:数据转录
编号 | 你要交代的事 | 怎么写 |
4.1 | 转录工具 | 工具名称 + 版本号。 |
4.2 | 转录类型 | 三种选一种:内容级 / 标准逐字 / 完全逐字。 |
4.3 | 人工校对范围 | “研究者对全部转录稿进行了逐句校对,重点修正了专业术语和说话人标识。” |
4.4 | 非言语信息处理 | “非言语信息(如停顿、笑声)未被保留,因本研究采用内容级转录。” |
阶段五:数据分析(编码与主题化)
编号 | 你要交代的事 | 怎么写 |
5.1 | AI在编码中的贡献 | “AI生成了初始编码建议,研究者逐条审核后决定采纳、修改或拒绝。” |
5.2 | AI输出的验证方式 | “AI建议的编码中,约60%被直接采纳,40%经修改或拒绝。每个AI生成的编码均可锚定到源文档中的确切文本位置,无法定位的编码已被丢弃。” |
5.3 | 编码手册的生成 | “编码手册由研究者基于前10份转录稿人工构建。” |
5.4 | 人机迭代过程 | 记录提示词→AI输出→人工修订→重新输入的完整过程。 |
5.5 | 编码可追溯性 | “每个编码均绑定到源文档中的字符范围,确保可追溯。” |
5.6 | 编码者间信度 | 如AI参与编码:“采用Cohen's κ系数评估编码者间信度,AI与人类编码者的一致性为κ = [数值]。” |
5.7 | AI在主题生成中的角色 | “AI生成了初始主题候选,研究者对其进行了人工审阅、修订和重组。” |
阶段六:数据饱和
编号 | 你要交代的事 | 怎么写 |
6.1 | AI是否辅助饱和判断? | 如是:“AI辅助生成了新增编码累积曲线。”如否:“饱和判断基于人工审查。” |
阶段七:写作与校对
编号 | 你要交代的事 | 怎么写 |
7.1 | AI在文献检索中的角色 | “AI辅助进行了文献检索的初步筛选,全部候选文献经人工核实后纳入。” |
7.2 | AI是否参与稿件撰写? | “AI未参与核心论证的撰写。AI仅用于语法检查和表达优化。” |
7.3 | AI校对工具 | 工具名称 + 版本 + 校对范围。 |
7.4 | 完整披露 | “全部AI使用已在方法章节中完整披露。” |
方法章节怎么写?参考使用这个模板
数据分析
本研究采用QualiTaTi平台辅助数据分析。该平台遵循“验证或丢弃”原则,所有AI输出均可溯源至源数据。
在转录阶段,平台的ASR功能将32份访谈录音(共计约32小时)生成了内容级转录稿。研究者对全部转录稿进行了人工校对,重点修正了专业术语和说话人标识。
在编码阶段,研究者将前10份转录稿导入QDA Workspace,AI根据研究者预设的编码手册生成了初始编码建议。研究者逐条审核了AI建议的编码,约60%被直接采纳,40%经修改或拒绝。编码手册在第10份后定稿(共41个编码),随后应用于剩余22份转录稿。每个AI生成的编码均可锚定到源文档中的确切文本位置,无法定位的编码已被丢弃。QDA Workspace自动计算的编码者间信度(Cohen's κ)表明编码一致性良好。
在主题化阶段,ThemeLens生成了初始主题候选。研究者对其进行了人工审阅、修订和重组。ThemeLens展示的每个引文均已在显示前与源转录稿核对,无法定位的引文已被丢弃。
全部AI使用记录(包括提示词、参数设置、AI输出样例及人工修改记录)已存档备查。全部研究发现由研究者承担最终责任。
这份清单v1.0的编制,参考了Jones(2025)的20个问题框架,并结合了QualiTaTi平台“验证或丢弃”的实践逻辑。
COREQ+LLM的德尔菲专家咨询阶段已经完成,141位国际专家已就报告条目达成高度共识。最终版指南预计将于近期正式发布。在那之前,这份清单先顶一阵。

如果你有使用反馈,欢迎留言或私信联系。后续版本将持续迭代更新。
?

关注QualiTaTi,想了解更多这方面的内容,请前往https://qualitati.com
欢迎留言,点赞
,收藏,转发
回复“清单”,领取《AI辅助质性研究透明度清单》
?
下一篇预告:【Mimi拆访谈】两个人编同一段话,为什么结果不一样
Fehring, L., Frings, J., Rust, P., Kempny, C., Thürmann, P. A., & Meister, S. (2025). Extension of the Consolidated Criteria for Reporting Qualitative Research Guideline to Large Language Models (COREQ+LLM): Protocol for a Multiphase Study.JMIR Research Protocols, *14*, e78682.
Jones, K. M. L. (2025). Generative AI in Qualitative Research and Related Transparency Problems: A Novel Heuristic for Disclosing Uses of AI.International Journal of Qualitative Methods, *24*, 16094069251404329.
Kempny, C., Frings, J., Rust, P., Meister, S., & Fehring, L. (2026). The use and methodological reporting of large language models in qualitative research: a scoping review.BMC Medical Research Methodology, *26*(1), 137.
QualiTaTi. (2026). AI Accuracy & Methods — How Qualitati Verifies Its AI.https://m.gaiforresearch.com/accuracy
AI-assisted, Researcher-led. AI参与协助,研究者始终主导。 |


