眼动追踪行业深度解析(上)
未来的情绪感知将走向多模态融合：眼动追踪通过瞳孔变化与视线轨迹，为脑机接口提供了直观的‘认知背景’与‘情绪唤醒’参数，这种协同不仅大幅降低了脑电信号的噪声干扰，更让情绪识别从单纯的‘信号解码’跃升为精准的‘意图洞察’。
Part1行业发展概况
1.1定义和分类
1.1.1什么是眼动追踪
眼动追踪（Eye Tracking） 简单来说，就是通过传感器捕获眼球特征，结合AI算法来估计视线的方向或注视点位置。眼动追踪技术：利用传感捕获、提取眼球特征信息，测量眼睛的运动情况，通过图像处理等AI技术估计视线方向或眼睛注视点位置，预测用户的状态和需求，并进行响应和交互。眼睛运动的模式主要分为定位眼动和非定位眼动两种，其中最常用的便于研究者分析眼动数据的三种模式是：眼跳(saccade)、注视(fixation)、平滑尾随跟踪(smoothpursuit)。- 眼跳：也称扫视，指在被注视目标上的一系列停留点之间的快速跳动，是双眼的联合移动，视角在1˚~40˚之间，持续时间30~120ms，当持续时间超过100ms以上时，停留点被称为注视点。一般只有在获得注视点时，才能获取信息。
- 注视：在被注视目标上停留时间至少持续100ms的停留点。眼球注视时伴随着微小的生理震颤，颤动幅度一般保持在1˚以内。
- 平滑尾随跟踪：眼球跟随动态目标缓慢移动，通常物体运动速度低于50˚/s，同样是双眼的联合移动，通常伴随着注视和眼跳。实际上人的双眼几乎总是同步运动。
在人机交互中常用的两种：注视（Fixation）和扫视（Saccade），前者是指眼睛停留在固定区域一段时间，通常为200-300毫秒，但注视并非眼睛完全固定不动，在这一过程中可能伴随轻微的眼动（、漂移和微扫视）；后者则是指眼睛在不同注视点之间跳转的过程，在1°～45°之间，但是一般情况下如果跳转角度超过30°通常会伴随头部转动以提高效率。我们需要从空间分辨率（Spatial Resolution）和时间分辨率（Temporal Resolution） 两个维度拆解不同应用场景对眼动追踪性能的需求，其中空间分辨率包括准确性（Accuracy）和精确性（Precision）；而时间分辨率则包括采样率（Sampling Rate）和整体延迟（End-to- End Latency）。1.1.2为什么要研究眼动
- 眼-脑假说：眼动是大脑控制结果，通过监测眼动变化解析大脑状态。
(Just & Carpenter, 1980).
- 视网膜的中央凹狭窄：由于中央凹只覆盖1-2度的视角区域，人像看到更多信息必须要通过眼球移动来实现，因此眼动可以一定程度上反应想法。
- 眼动追踪有助于免提设备的交互，支持不能或不想将手作为输入方式的用户。这种能力是辅助技术的核心。眼动追踪有效地控制了细菌的传播，并在人们需要戴防护手套或手被占用的情况下简化工作流程。
1.1.3什么是眼动仪
用于记录和分析眼动数据的系统或设备称为眼动仪，一个完整的眼动仪应该包含采集眼动数据的硬件及眼动追踪技术，以及记录和分析眼动数据的用软件产品。1.1.3.1硬件
早在上世纪八十年代末就已出现商用眼动仪。目前使用比较广泛的眼动仪有ModelMonEOG眼动仪、EyeLink系列眼动仪、Tobii系列眼动仪、SMI眼动仪等根据英国科学研究所建立的眼动仪数据库公布的结果，全世界有超过44家眼动仪生产商。主要的产品有加拿大SR公司利用角膜反射法生产的Eyelink型眼动仪，德国SMI公司生产的iView型眼动仪，美国应用科学实验室(ASL)生产的H6型眼动仪，日本ISCAN公司生产的ETL500系列眼动仪，澳大利亚SEEINGMACHINE公司生产的faceLAB非接触式眼动仪，瑞典Tobii系列眼动仪。1）眼动追踪硬件的主要有5个模块：校准模块、图像采集、红外光源、眼电处理、瞳孔定位。校准模块
由于视网膜中心不完全在眼球几何轴线上，所以视线方向与眼球光轴存在一定的夹角。视线方向与眼球光轴在水平方向夹角大约为5度，左眼为5度，右眼为-5度，竖直方向夹角大约为1.5度，不同的使用者之间最大存在3度的差异，所以使用时需要标定其kappa角：具体步骤如下：1）使用者注视屏幕上固定点Pe，同时根据上一过程计算出光轴方向OP0。2）连接眼球中心O和固定点Pe，得出视线方向OPe当眼睛注视各点时，测量相应的瞳孔与光斑间位置相对偏移量，然后确定眼睛转动引起的注视点变化与偏移量间存在的映射关系。由于人眼形状，大小，结构，存在个体差异，眼睛球面上的点在摄像机参照系中的投影点位置和眼睛转动角度之间存在非线性关系，并且视线估计方向与真实视线方向有模型误差，所以视线跟踪系统需要校准环节。在开始记录眼动数据前，用户将首先进行校准过程。在此过程中，眼动软件系统会测量用户眼睛的特征并利用这些与内部的眼球模型结合计算凝视数据。此模型包含了眼睛不同部分（如角膜，中央窝位置等）的形状，光线折射与反射信息。在校准过程中，用户需要观察屏幕上特定位置出现的点，此点被称为校准点。在此期间，眼动仪会对采集到的几幅眼睛的图像进行分析。然后分析的结果信息会与眼球模型结合并计算出每幅图像的凝视点。在校准过程中用户不需要将头部完全保持静止，只要令视线的焦点跟随移动的校准点移动即可。在校准时眼动仪会使用明瞳和暗瞳两种方式进行测试以识别最适合当前光线条件和用户眼睛特征的追踪方式。在标定过程中,用户被要求将自己的注意点凝视在屏幕上一些已知的目标上,从而获得一个对应点的集合。图像采集
图像采集模块将来自一个或者多个传感器的输入信号转换成某种适合的信号模式。通常,使用红外照相机拍摄一副眼睛的图像,并抓取适当解析度,比如640×480的图像。为了减少噪声和处理代价,也可以选择生成更小的图像。另外,对于特殊硬件的系统,图像采集模块负责将视频信号拆解开,分别生成亮瞳孔和暗瞳孔图像。明瞳追踪，即光源与成像设备在同一条光学路径上，使瞳孔出现发亮的效果(这与相片中出现的红眼现象相同)；暗瞳追踪，即光源放置在成像设备较远的位置(不在同一条光学路径上)，产生瞳孔比虹膜暗的效果（明显的对比）。通常,红外光源的轴线和照相机镜头同轴时会产生亮瞳孔效应;反之,在两者不同轴时,瞳孔比眼睛的其他部分更暗一些。红外光源
瞳孔和虹膜之间的分界线并没那么清晰，为了提高这一步的精准度，交替用不同方位的光源向人眼发出近红外线，然后在每两帧相邻的图像中，获取用户暗淡的瞳孔，从而更清晰地“抠”出瞳孔，再计算瞳孔的质心和形状等参数。之所以要用近红外线，是因为人眼无法察觉到，不至于晃眼，影响用户。这些光束很弱，只要研究者按照眼动仪说明书上指示的距离安排用户就坐（比如离眼动仪60cm以上），用户即便在工作的眼动仪前待8个小时也不会有放射性危险。眼图处理
该模块基于数字眼动视频对眼球图像进行处理。从采集到的眼图中提取瞳孔中心坐标和角膜反射光斑中心坐标。首先，探测瞳孔轮廓以及获得特征点，然后验证拟合瞳孔轮廓，确定瞳孔中心坐标。由于瞳孔中心坐标是后续工作的基础，因此在该系统中，尤其是瞳孔中心坐标的提取环节，定位算法的优劣将直接并严重影响整个眼动跟踪系统的精确度。同时还要对眨眼或眼睑遮蔽瞳孔的情况作处理。瞳孔定位
为了确定瞳孔和角膜高光的位置,首先使用红外照相机拍摄眼睛的图像,然后对红外图像进行分割,并对得到的眼睛各部分进行分析参数化。通常,先对眼睛图像进行灰度化处理,然后使用阈值的方法或者搜索眼睛图像中的连通区域的方法实现对瞳孔的检测。在检测到候选瞳孔后,使用人体测量学的方法对瞳孔进行确认。然后对瞳孔进行参数化处理,以消除睫毛、下眼皮和普金野图像等对瞳孔区域的覆盖而产生的影响。双椭圆拟和方法可以很好地消除这些噪声。首先要大致确定出瞳孔中心点的位置和瞳孔半径，进行瞳孔粗定位，为下一步精确计算瞳孔中心坐标提供基础。在粗定位瞳孔的基础上，检测瞳孔边缘，然后拟合瞳孔轮廓，最终确定瞳孔中心的精确位置。1.1.3.2软件
1）数据处理
对于原始眼动数据在使用前必须进行预处理，主要分为数据平滑和去噪、有效区域校准或补偿、识别定位等。数据平滑和去噪，是基于连续点对数据进行均值处理，获得平滑数据，降低突变的噪声干扰(如用户头部的运动)；利用小波变换对信号进行过滤，保留100Hz以下信号。有效区域校准或补偿，指剔除脱离有效区域的数据信息，或对持续时间不够的采样点进行聚类等数据加工的方式。识别定位，指基于差分和区域匹配的眼跳识别，利用差分算法实现眼动波动点识别，利用区域匹配算法实现眼动的位置识别2）数据分析
目前主要眼动数据处理软件是基于ScanEval软件包开发的，它能够提供大量的统计和获取数据的方法，对数据实时分析、反馈，包括训练系统评估、界面评价等。以上文提到的Tobii公司自主研发的TobiiStudio软件为例，它支持广泛的刺激材料，如文本、图片、视频、屏幕记录、网页、使用场景摄像机的实际物体或场景以及外部视频源等。a.数据记录：包括眼动数据和用户视频、声音、鼠标点击、击键等全方位的数据，并在记录过程中提供问卷功能，收集被试者的回答。b.可视化分析：提供注视轨迹图、热点图、集簇分析图和蜂群图视频，并提供自动或手动划分兴趣区域两种划分方式。c.数据统计：图表的制作和导出，可将数据放在软件内分析或导出到SPSS或MATLAB等外部程序中分析。1.2行业发展历程和趋势
1.2.1技术发展
眼动追踪的技术经历了以下几个发展阶段：1897年（Javal）观察法、1898（Richardson）年机械记录法、Robinson（1963）线圈记录法、1950年红外线法、1955年电流记录法。直接观察法
最原始的眼动跟踪测量方法是直接用肉眼观察被试者的眼球运动。1897年Javal通过放置在被试者面前的镜子，站在其背后进行直接观察，1925年Miles使用窥视孔法，即躲在阅读材料的后面，通过阅读材料中间的小孔观察被试者阅读材料时的眼动。在最初对眼动的研究中，观察法发挥着重要的作用，眼动的一些基本规律，如注视、眼跳等都是通过观察法发现的。但同时它只能对眼动进行比较粗略的了解，而且观察的结果具有不确定性，现如今该方法很少被用于眼动研究。机械记录法
眼动的机械记录是指把眼睛与记录测验装置用机械传动方式连接起来实现眼动记录。该方法充分利用角膜凸起的特点，借助一个杠杆来传递角膜的运动情况。1898年Richardson等利用橡皮膏将一个杠杆连接在眼球上，第一次记录了被测试者阅读过程中的眼动轨迹，如图2所示。机械记录法一般有3种：支点杠杆法，角膜吸附环状物法，气动记录法。眼动的机械记录法所使用的装置较复杂且不易调整，更重要的是实验结果的准确性也很低，现在普遍被准确性相对较高的方法所取代。线圈记录法
线圈记录法最早由Robinson于20世纪60年代提出,该方法利用带有线圈的隐形眼镜在电磁场中运动,通过电磁感应原理产生的信号来测量眼球水平及垂直方向的运动,从而实现眼睛位置检测.眼动有时伴随着头部运动,传统的探查线圈记录法利用亥姆霍兹线圈构建磁场,但无法直接捕捉头部运动。Eibenberger等利用Merritt线圈产生稳定磁场,并利用MATLAB进行仿真,实现了无需头戴设备的检测,并成功降低了测量误差.此外还提出了一种新的硬件系统和校准方法,可以将记录模拟信号的老式线圈系统改装为数字记录系统,同时指出不同的运算放大器可能有助于探查线圈记录法的性能提升.探查线圈记录法测量准确、采样率高,但无法长时间佩戴,成本也相对较高。电流记录法
电流记录法是一种成本较低、操作性强的眼动跟踪方法,在闭上眼睛的情况下也可以正常工作.眼球发生转动时会产生生物电现象,具体是指角膜和视网膜新陈代谢率的不同导致产生电位差,电位变化可以通过传感器测量眼部周围皮肤获得.如所示,苏黎世联邦理工学院研究的一种电流记录法眼动跟踪设备,通过不同的电极片分别记录垂直眼动和水平眼动.由于设备问题,如果电位差过小或电极接触不良,电流记录法无法保证测量效果,所以电流记录法并不适用于日常眼动跟踪应用,一般应用于特定实验室环境下.红外线记录法
红外线法（视频记录法）需要在眼部附近安装红外光敏管,根据瞳孔、巩膜、角膜等不同光学界面反射的图像来测量眼动.常用方法包括瞳孔−角膜反射法、虹膜−角膜反射法等.这种测量方法目前已被广泛地研究和使用,许多学者提出了光线检测或瞳孔检测的算法提升测量准确率.文献提出了快速鲁棒椭圆检测算法,利用径向对称性搜索瞳孔位置,并利用两个细化步骤来适应某些图片中发生椭圆形变的瞳孔外观,增强了模型的泛化能力.Mestre等利用12次角膜反光获得高清瞳孔和角膜图像,同时使用了一个标准化因子校正瞳孔中心反射点向量.标准化因子的引入提升了垂直眼动跟踪43.2%的准确率,同时减少了设备对于光源数量的要求.其他具有代表性的相关算法和技术有Santini等制作的开源的EyeRecToo软件、Else、星光镜和霍夫变换结合等.红外线法是一种非侵入式的眼动跟踪方法,不会造成眼部不适且精度较高。视频记录法主要利用视频摄像机记录的眼球运动过程,通过计算机自动分析处理视频图像.摄像机可以采集人眼图像或者眼球反射的红外线图像,然后通过计算机自动处理图像数据,实现非侵入式的人眼瞳孔中心检测或者视线注视点估计.从摄像机安装方式上,视频记录法可以分为头盔式、遥测式和头部固定式,相机数量上可以使用单相机或多相机.单相机方法通常使用红外光源引起暗瞳效应,此时瞳孔较暗,虹膜较亮,容易分割瞳孔区域从而实现眼动追踪.多相机方法拥有更大的视野,通常使用一台相机拍摄眼睛图像,其他相机用于定位头部位置或进行校准.Khamis等[18]研发EyeScout系统,利用摄像头识别人体运动信息,并利用Pursuits方法检测眼动和屏幕中物体运动轨迹的相关性,进而判断是否需要调整眼动追踪装置的位置以适应人体运动.Kong等将VOG技术应用于人耳前庭功能检测,使用红外摄像机和红外发光二极管获得视线水平移动数据,利用形态学运算和轮廓检测获取瞳孔位置.Brousseau等提出一种融合了三维视线估计的混合模型,训练了多个卷积神经网络用于眼睛区域定位和特征提取,在传统位置估计网络的基础上增加了质量中心结构,实验结果表明眼动跟踪的准确率有显著提升。1.2.2眼动追踪技术的行业应用发展
从现在往回看30年，眼动追踪技术的发展历史大致可以分成三个阶段：2000年前，早在19世纪开始的人眼注视点研究，主要应用于生理学、心理学及眼科学相关学术研究领域，用于理解人类的眼睛是如何工作的，以及人是如何在有意识和无意识的情况下处理信息的（Javal，1990）。2000～2020，这一阶段随着IT行业等兴起，互联网经济几乎等价于注意力经济，也被称为，伴随着眼动追踪技术的小型化、轻量化，越来越多地应用于网页应用、广告营销等领域。2020后，眼动追踪技术等应用领域更加广泛，特别是近眼显示形态的XR设备上开始集成了眼动追踪技术，最具代表性的有来自微软的AR眼镜HoloLens2和广泛应用于科研领域的HTCVIVEProEye，均发布于2019年。1.3行业政策和监管环境
2022年10月28日工业和信息化部教育部文化和旅游部国家广播电视总局国家体育总局5大部门联合发布《虚拟现实与行业应用融合发展行动计划（2022—2026年）》的通知，目标在2026年我国虚拟现实产业总体规模（含相关硬件、软件、应用等）超过3500亿元，虚拟现实终端销量超过2500万台，培育100家具有较强创新能力和行业影响力的骨干企业，打造10个具有区域影响力、引领虚拟现实生态发展的集聚区，建成10个产业公共服务平台。在工业生产、文化旅游、融合媒体、教育培训、体育健康、商贸创意、智慧城市等虚拟现实重点应用领域实现突破。开展10类虚拟视听制作应用示范，打造10个“虚拟现实+”融合应用领航城市及园区，形成至少20个特色应用场景、100个融合应用先锋案例。其中推动的关键技术之一：感知交互技术。重点推动由内向外追踪定位技术研究，发展手势追踪、眼动追踪、表情追踪、全身动捕、沉浸声场、高精度环境理解与三维重建技术，加强肌电传感、气味模拟、虚拟移动、触觉反馈、脑机接口等多通道交互技术研究，促进感知交互向自然化、情景化、智能化方向发展。
