推广 热搜: 采购方式  滤芯  带式称重给煤机  甲带  气动隔膜泵  减速机型号  无级变速机  链式给煤机  履带  减速机 

【质见报告】AI辅助质性研究透明度清单 v1.0

   日期:2026-08-11 11:37:52     来源:网络整理    作者:本站编辑    评论:0    
【质见报告】AI辅助质性研究透明度清单 v1.0

质见报告 · 第001期

组会上,导师翻到了方法章节

周颖的组会汇报进行得很顺利。

她用AI辅助完成了32份访谈分析,转录从160小时压到6小时,编码从82小时砍到58小时。数据漂亮,初步发现也有意思。

导师翻到方法章节,看了几行,停住了。

“你这里写:平台自动计算了编码者间信度,Cohen's κ为0.82。”

周颖点头:“对,平台生成的。”

导师抬头看了她一眼:

“每个编码都能追溯到原文吗?”

周颖:“能。平台是verify or drop原则,无法锚定的输出会被自动丢弃。我写的每个编码都对应了原文位置。”

导师点了点头,继续往下翻。

“提示词呢?你记录了提示词吗?”

周颖:“记录了。每次迭代的提示词、参数设置、AI输出样例、人工修改记录,全部在附录里。”

导师合上论文,看了她一眼:

“这还差不多。但你前言里最好加一句,说明为什么这些验证措施是必要的。”

周颖点头:

“好的,老师,我补上。”


为什么周颖的论文能经得起追问?

周颖的研究采用了QualiTaTi平台辅助数据分析

QualiTaTi的核心验证原则是“verify or drop” ,无法锚定到源数据的AI输出会被直接丢弃,绝不会被悄悄编造。

具体来说,平台上的每个工具都会遵守这个原则。

ThemeLens:每个展示的引文在显示前都会与源转录稿核对,无法定位的直接丢弃。内部评估显示,100%的展示引文都经过验证。

QDA Workspace:每个AI编码都解析到确切的字符范围,否则丢弃。在2026年7月的内部评估中,每个AI编码段都能100%映射到源文档中的确切字符范围。

Voice Analytics:无法校准的情绪标签标记为“低置信度”,绝不瞎猜。

Digital Twin Panel:AI回答必须基于参与者的实际访谈内容,数据不足时如实报告。

平台还会自动返回评审人期望的统计量:Cohen's κ、Krippendorff's α、Fleiss' κ,以及每列的一致性热图。

平台自己说了一句话,挺实在的:

“This principle costs us impressive-looking output; it buys you findings you can defend to reviewers, clients, and regulators.”

意思是:这会让我们失去一些“看起来很漂亮”的输出,但换来的是你能拿去给评审人看的有据可查的发现。


一个扎心的真相:多数研究不报告AI使用细节

LLM与人类编码员的一致率:36%–99%

周颖之所以能从容应对导师的追问,是因为她做了充分的准备。但并非所有人都这样。

2026年6月发表在《BMC Medical Research Methodology》上的一项范围综述,纳入了75项使用大语言模型的质性研究。结果触目惊心:

仅13项报告了温度(temperature)参数

仅12项记录了上下文长度

75%(56项) 完全未报告任何参数设置

13% 完全没有提示词细节

45%(34项) 未说明部署方式

更扎心的是:LLM与人类编码员的一致率从36%到99%不等,差异巨大。同样的数据、不同的提示词,可能得到完全不同的结果。

而你的方法章节只写了一行“使用AI辅助分析”,这就像量化研究只写了一句“使用统计分析”,却不告诉你用的是t检验还是回归、样本量多少、p值多少。

现有质性研究报告指南(包括COREQ在内),对LLM使用的记录几无指导。COREQ发布于2007年,那一年iPhone才刚刚问世。


学术界正在做的事:给COREQ打补丁

2025年,Fehring等人启动了COREQ+LLM扩展项目,旨在为LLM辅助的质性研究制定专门的报告条目。

项目邀请了141位国际AI与质性研究专家参与德尔菲研究,早期结果已显示专家间的高度共识。指南的框架已确定,涵盖:

研究团队与反身性:操作者的角色与资质

研究设计与理论框架:LLM在分析中的角色、人机交互方式

模型访问与参数:模型名称、版本、参数设置

提示策略:提示词的制定与迭代优化

验证与偏差缓解:分析程序的验证方法

伦理方面:伦理考量与问责

该项目的最终指南预计将为LLM辅助的质性研究提供第一个专门的报告框架。

同一时间,Jones(2025) 在《International Journal of Qualitative Methods》上提出了一个包含20个问题、覆盖5大主题的启发式框架,要求研究者明确报告:AI工具的角色、研究团队的AI素养、AI在参与者沟通中的参与、AI与理论框架的兼容性、AI在编码和主题化中的精确贡献、以及人机交互的迭代过程和提示词。

但问题在于:这些框架读起来有点累,而你的论文已经在路上了。



在COREQ+LLM正式发布之前,你需要一份直接能用的、覆盖全流程的、写进方法章节不丢人的清单。

以下清单综合了Jones(2025)的20个问题框架和QualiTaTi的验证实践,按实际操作流程编排。

阶段一:研究团队与AI素养

编号

你要交代的事

怎么写

1.1

团队AI素养水平

“研究团队成员均完成了[工具名称]的基础操作培训,对LLM的基本原理有认知理解。”

1.2

AI的角色定位

明确声明:AI是“助手”(辅助人类判断),而非“代理”(替代人类判断)。

1.3

最终责任归属

“全部研究发现由研究者承担最终责任。” ——这句话必须写。

阶段二:研究设计与伦理

编号

你要交代的事

怎么写

2.1

AI工具与理论框架的兼容性

“[工具名称]支持[归纳/演绎]编码,与本研究采用的[扎根理论/主题分析]方法论兼容。”

2.2

伦理审查

如AI使用经过IRB讨论,说明;如未涉及,注明“AI未参与参与者识别或数据采集”。

2.3

知情同意

“参与者在知情同意书中被告知:访谈录音将使用AI辅助转录,数据不会用于模型训练。”

阶段三:数据收集(访谈)

编号

你要交代的事

怎么写

3.1

AI是否主持了访谈?

如是:说明AI的角色(完全替代/部分辅助)、访谈格式(文本/语音)。

3.2

参与者是否知晓AI互动?

“参与者在访谈开始前被告知AI的角色,并同意该互动形式。”

3.3

AI是否生成了追问?

如是:说明追问的生成逻辑及人工审核方式。

3.4

数据存储与隐私

“所有数据存储于[平台名称]的加密服务器,符合数据保护法要求。”

阶段四:数据转录

编号

你要交代的事

怎么写

4.1

转录工具

工具名称 + 版本号。

4.2

转录类型

三种选一种:内容级 / 标准逐字 / 完全逐字。

4.3

人工校对范围

“研究者对全部转录稿进行了逐句校对,重点修正了专业术语和说话人标识。”

4.4

非言语信息处理

“非言语信息(如停顿、笑声)未被保留,因本研究采用内容级转录。”

阶段五:数据分析(编码与主题化)

编号

你要交代的事

怎么写

5.1

AI在编码中的贡献

“AI生成了初始编码建议,研究者逐条审核后决定采纳、修改或拒绝。”

5.2

AI输出的验证方式

“AI建议的编码中,约60%被直接采纳,40%经修改或拒绝。每个AI生成的编码均可锚定到源文档中的确切文本位置,无法定位的编码已被丢弃。”

5.3

编码手册的生成

“编码手册由研究者基于前10份转录稿人工构建。”

5.4

人机迭代过程

记录提示词→AI输出→人工修订→重新输入的完整过程。

5.5

编码可追溯性

“每个编码均绑定到源文档中的字符范围,确保可追溯。”

5.6

编码者间信度

如AI参与编码:“采用Cohen's κ系数评估编码者间信度,AI与人类编码者的一致性为κ = [数值]。”

5.7

AI在主题生成中的角色

“AI生成了初始主题候选,研究者对其进行了人工审阅、修订和重组。”

阶段六:数据饱和

编号

你要交代的事

怎么写

6.1

AI是否辅助饱和判断?

如是:“AI辅助生成了新增编码累积曲线。”如否:“饱和判断基于人工审查。”

阶段七:写作与校对

编号

你要交代的事

怎么写

7.1

AI在文献检索中的角色

“AI辅助进行了文献检索的初步筛选,全部候选文献经人工核实后纳入。”

7.2

AI是否参与稿件撰写?

“AI未参与核心论证的撰写。AI仅用于语法检查和表达优化。”

7.3

AI校对工具

工具名称 + 版本 + 校对范围。

7.4

完整披露

“全部AI使用已在方法章节中完整披露。”


方法章节怎么写?参考使用这个模板

数据分析

本研究采用QualiTaTi平台辅助数据分析。该平台遵循“验证或丢弃”原则,所有AI输出均可溯源至源数据。

在转录阶段,平台的ASR功能将32份访谈录音(共计约32小时)生成了内容级转录稿。研究者对全部转录稿进行了人工校对,重点修正了专业术语和说话人标识。

在编码阶段,研究者将前10份转录稿导入QDA Workspace,AI根据研究者预设的编码手册生成了初始编码建议。研究者逐条审核了AI建议的编码,约60%被直接采纳,40%经修改或拒绝。编码手册在第10份后定稿(共41个编码),随后应用于剩余22份转录稿。每个AI生成的编码均可锚定到源文档中的确切文本位置,无法定位的编码已被丢弃。QDA Workspace自动计算的编码者间信度(Cohen's κ)表明编码一致性良好。

在主题化阶段,ThemeLens生成了初始主题候选。研究者对其进行了人工审阅、修订和重组。ThemeLens展示的每个引文均已在显示前与源转录稿核对,无法定位的引文已被丢弃。

全部AI使用记录(包括提示词、参数设置、AI输出样例及人工修改记录)已存档备查。全部研究发现由研究者承担最终责任。


这份清单v1.0的编制,参考了Jones(2025)的20个问题框架,并结合了QualiTaTi平台“验证或丢弃”的实践逻辑。

COREQ+LLM的德尔菲专家咨询阶段已经完成,141位国际专家已就报告条目达成高度共识。最终版指南预计将于近期正式发布。在那之前,这份清单先顶一阵。

如果你有使用反馈,欢迎留言或私信联系。后续版本将持续迭代更新。

?

关注QualiTaTi,想了解更多这方面的内容,请前往https://qualitati.com

欢迎留言,点赞,收藏,转发

回复“清单”,领取《AI辅助质性研究透明度清单》

?

下一篇预告:【Mimi拆访谈】两个人编同一段话,为什么结果不一样

参考文献

Fehring, L., Frings, J., Rust, P., Kempny, C., Thürmann, P. A., & Meister, S. (2025). Extension of the Consolidated Criteria for Reporting Qualitative Research Guideline to Large Language Models (COREQ+LLM): Protocol for a Multiphase Study.JMIR Research Protocols, *14*, e78682.

Jones, K. M. L. (2025). Generative AI in Qualitative Research and Related Transparency Problems: A Novel Heuristic for Disclosing Uses of AI.International Journal of Qualitative Methods, *24*, 16094069251404329.

Kempny, C., Frings, J., Rust, P., Meister, S., & Fehring, L. (2026). The use and methodological reporting of large language models in qualitative research: a scoping review.BMC Medical Research Methodology, *26*(1), 137.

QualiTaTi. (2026). AI Accuracy & Methods — How Qualitati Verifies Its AI.https://m.gaiforresearch.com/accuracy

AI-assisted, Researcher-led.

AI参与协助,研究者始终主导。

 
打赏
 
更多>同类资讯
0 条相关评论

推荐图文
推荐资讯
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  皖ICP备20008329号-18
Powered By DESTOON