无需植入电极，首次从脑扫描中“读出”连续想法
brain–computer interface
前言：
脑机接口技术作为连接大脑与外部设备的关键桥梁，在医疗康复、人机交互等领域具有巨大应用潜力。传统侵入性脑机接口虽能实现一定程度的语言解码，但需通过神经外科手术植入设备，适用范围受限且存在安全风险。非侵入性脑机接口因无需手术、安全性高，成为领域研究热点，但此前的非侵入性语言解码器仅能识别少量词汇或短语，难以满足连续语言交流的实际需求。为解决这个问题，一种基于功能性磁共振成像（fMRI）的非侵入性连续语言语义重建方案被提出，突破了传统技术的局限。为全面了解该技术的创新点、应用价值及发展前景，特开展本次调研。
01
技术突破
长期以来，非侵入式脑机接口面临一个尴尬的瓶颈：它们更像是选择题答题器，只能识别从几个到几百个不等的预设词汇或短语，无法重建连续、自由、复杂的语义思想流。
非侵入性连续语言语义重建的研究扭转了局面。其核心创新在于建立了一个通用的大脑语义解码模型。它不去识别具体的发音或单词，而是直接解码大脑活动背后的高级语义特征。
研究发现，语言的含义并非只储存在大脑某个特定区域。语音网络、顶颞枕联合区、前额叶等多个皮层区域都存在冗余的、词级的语义表征。这种天然的“多重备份”，为稳定、灵活的解码提供了生理基础。
正是基于此，一个在大脑倾听真实语音时训练出的解码器，竟然能成功“听懂”一个人内心的想象语音，甚至能解读出他观看无声视频时脑海中推断出的情节。
02
四大技术支柱
解码思想的实现，依赖于一套精密的“翻译”系统：
第一支柱：编码模型
它充当“大脑词典编写者”。研究人员在受试者聆听十六小时自然口语叙事故事时，记录了其大脑反应数据。然后从故事的短语里提炼出能体现核心意思的关键特征，再用线性回归的方法，分析这些特征会如何影响大脑的反应。靠着这些数据，训练出了一个 “编码模型”。对于任意词语序列，该模型都能以较高准确度预测受试者听到该序列时的大脑反应。
第二支柱：语言模型
它担任“语法校正官”。单纯靠大脑反应拼凑出的词语序列可能语无伦次。因此，研究引入了一个经过大规模自然语言训练的生成式预训练模型，确保生成的句子在语法和上下文上合理、流畅，符合人类的语言习惯。
第三支柱：束搜索算法
它是最终的“最优解筛选器”。解码过程是逐词进行的。在每个时间点，系统会生成多个可能的候选词，结合编码模型给出的“大脑匹配度”和语言模型给出的“语言流畅度”，筛选并保留几条最优的候选词。
第四支柱：Word速率模型
它是一个“时钟”，用来预测词语被感知或想象的时间，为序列解码提供时间维度的参考依据。
03
实验验证
这套系统的性能，在严谨的实验设计中得到了验证。
在量化评估中，解码器在72%-82%的时间点上，其解码结果的语义相似度得分显著高于随机猜测。在感知语音任务中，尽管单词错误率（WER）较高（约0.93），但BLEU、Meteor等衡量语义相似的指标表现良好，说明它虽不能逐字复述，却能抓住核心意思。最生动的证明来自行为实验。研究人员招募了100名在线受试者，只给他们看解码器输出的、可能并不通顺的词序列，让他们回答关于原始故事的16道阅读理解题。结果，超过一半（9道）的题目能被正确回答，这强有力地证明了解码结果保留了至关重要的语义信息。
04
核心研究结论
01
解码性能
解码器能有效还原感知语音、想象语音及静默视频的语义信息。
02
脑区表征特性
语言语义可从语音网络、顶颞枕联合区、前额叶区等多个脑区独立解码，这些区域存在冗余的词级语言表征，为脑机接口的灵活应用提供了生理基础。
03
跨场景适用性
基于感知语音训练的单一解码器可跨任务迁移，想象语音识别准确率达 100%，且能准确还原无声视频中的事件。
04
隐私安全性
解码器的训练与应用需受试者主动配合，跨受试者训练的解码器表现接近随机水平。受试者可通过执行认知任务有意识抑制解码，保障了心理隐私。
05
误差来源
解码错误主要源于模型设定错误，其次是 fMRI 记录的低信噪比和训练数据集规模限制，且解码器可适配便携式设备的低空间分辨率。
05
应用前景展望
01
医疗康复领域
为失语症患者、渐冻症患者等失去语言表达能力的人群提供交流工具，通过解码患者的想象语音或大脑语义活动，帮助其实现与外界的有效沟通。
02
人机交互领域
开发更自然、直观的人机交互方式，用户无需通过键盘、鼠标等传统输入设备，仅通过大脑语义活动即可控制智能设备，应用于智能家居、智能驾驶等场景。
03
科研领域
为神经科学研究提供新的工具与方法，助力科学家更深入地探索大脑语言处理机制、语义表征规律等前沿问题，推动认知神经科学的发展。
总结：
非侵入性连续语言语义重建技术，突破了传统非侵入性脑机接口的技术瓶颈，实现了多场景下的语义精准解码，兼具安全性、多适应性与隐私保护能力，为脑机接口技术的实际应用迈出了重要一步。
END
撰写人：尹子悦 戎泽 王伟旭 张忠伟
黄靖雅 师苏美
审核人：马磊
