一文了解视线追踪系统技术及应用

本文选自《视线追踪系统选择指南》，文末附下载方式

一、视线追踪的介绍

当今视线追踪技术快速发展，能够解码各种场景下受试对象的行为和心态细节。

1、视线追踪的典型应用场景和案例包括：

•  帮助理解和改善眼部疾病的治疗。•  辨别不同的神经学状况，比如自闭症和阿尔兹海默症。•  训练飞行员和宇航员，帮助他们更正未来实际飞行中的视线观察技术。NASA在他们的驾驶舱模拟器和研究用驾驶舱中都安装了视线追踪系统，用来监控飞行员的状态和行为。•  助力汽车行业仿真测试、更好理解车内人员的行为特征。

当前市场上有数量众多的视线追踪方案，每个方案都有其与众不同的特性和功能，每个方案都有其优势和不足。根据用户的行业特点选择一个满足需求的视线追踪方案不是一件容易的事。

这篇指南的目的是帮助你选型一个合适的视线追踪方案。我们会列出评估视线追踪方案需要考虑的重点项，同时我们会帮助你理解不同的功能和特性。这篇指南会在你选型时提供帮助。

2、什么是眼睛视线追踪？

眼睛视线追踪的基本概念就是使用非接触相机或其他光学传感器捕捉和分析红外光在眼球上的反射结果。系统的算法会计算出眼睛视线的方向。

举个例子、下面是基于相机和AI算法的视线追踪系统的工作流程（例如Smart Eye）：

•  第1个步骤是提供数据供视线追踪系统分析，我们使用基于相机的监控系统来捕捉眼睛图像和其它面部特征。这些相机都为红外相机，能够适用于不同的光照条件。

•  一旦图像被提取，软件就会运行计算追踪受试对象的视线和眼球移动。

•  同时AI算法会解读捕捉面部的具体信息，如对象状态和情绪。系统每次识别面部信息时，都会加深对其特性的了解，从而提高效率和获取更准确的数据。

3、下面是Smart Eye视线追踪方案的主要特点:

•  远程视线追踪（非接触式）•  适用任何光照条件•  Real-time实时分析•  360° 头部和视线追踪•  充裕的头部活动空间•  宽广的视野范围•  适用非防红外的眼镜（包括太阳镜）•  尺寸: 120 x 40 x 40 mm•  最新软件版本: Smart Eye Pro9.3•  运行系统: Windows 10

二、视线追踪的3个主要优势：

1. 以数据说话. 和简单的观察某人看哪儿不一样，视线追踪系统可以提供客观的测量数据，通过专业的算法计算出客观的数据（或者依据）来输出受试对象的视线信息。比如在飞行训练中，管理员不需要再依赖于飞行员的主观回忆，视线追踪数据能够提供完整准确的信息（何时看往何处），为人人和人机交互研究提供了更深入的研究视角。

2. 注视和扫描Patterns. 除了扫描Partterns以外，受试对象注视点的信息也能够帮助理解其对哪些区域更感兴趣，以及注意力的细节信息。

注视和扫描patterns能够提供认知标识，当受试对象在某个特定位置停留时，这可能表明正处于注意力集中阶段，或者还包括认知处理。

3. 感兴趣区域分析. 通过追踪受试对象的视线，研究者可以更好的理解人们是如何感知他们的环境，并且与它们进行交互。

感兴趣区域能够概要的展现，研究者可以获得某个特定兴趣区域的浏览数据（频率和时间）、注视时长以及有多少受试对象浏览了该兴趣区域。

视线追踪领域的常用术语

•  Gaze凝视 —— 某人视线的方向

•  Fixation注视 —— 视线方向在某个特定目标上停留一段时间。

•  Saccade眼跳/扫视 —— 眼睛在注视点之间的快速跳动，眼跳/扫视主要发生在你没有一个物体需要追踪的情况下。想象着你的视线从房间屋顶的一角沿着墙角移动到另一角，你的眼睛不会沿着墙角线平滑移动，实际上其间掺杂着注视和眼跳。大脑过滤了眼跳信息，你自己认为视线是在平滑移动。

•  Smooth Pursuit平滑追踪 —— 人眼追踪移动物体通常采用平滑追踪，想象着举起你的食指从左移到右或者追踪一辆行驶中的汽车，你的眼睛会平滑的追踪对象。

需要指出的是，眼球的眼跳和平滑追踪通常是互相排斥的，但是他们在追踪移动物体时两者可以互相配合，通常平滑追踪会晚于对象物体，称为“catch-up”眼跳会将小凹拉回到对象上。

•  Perceptual Span知觉广度 —— 角度概念（水平和垂直），人眼在此角度范围内能够准确实施某项动作（例如阅读或面部识别）。

三、研究开发的需求和特性

为你的研究开发选型合适的眼动追踪系统会遇到不少挑战。

正如先前提到的，有众多不同类型的视线追踪方案可供选择，在其特定应用场景下，每个方案都运行良好，同时功能丰富。

在方案选型之前，你可以先思考一下以下几个简单的问题。

•  你要进行的测试或研究基于什么场景？

•  需要获得哪些测量数据？

•  你对数据可视化和数据分析的要求？

•  有没有针对特别项目的特殊功能或要求？

让我们继续深入下去，具体分析每个问题。

1、场景

谈到场景，我们首先要明确你会在哪里进行实验和研究，下面是我们一般要考虑的点：

•  你只是在一块单独的显示屏上进行测试吗？或者实验场景有些复杂，比如多屏幕应用、模拟器、实车或飞机驾驶舱、开放区域或者其它？•  你的研究是否包含多个不同的应用场景？•  是否需要为未来的项目预留升级空间？如需要更大的视野范围 。•  实验场景下光照条件如何？（太阳强光或者弱光场景可能会对某些视线追踪设备的正常工作造成挑战）•  受试对象的移动性（例如受试对象是基本固定不动或者是随意移动的？）•  受试对象戴眼镜吗？（包括太阳镜）•  你的受试对象愿意佩戴眼镜式视线追踪设备吗？（需要说明的是一般年轻和老年受试对象更加不愿意佩戴笨重的头部生理测量设备或者眼镜式测量设备，因为很多人感觉佩戴以后不自然，可能会对实验效果产生影响，而且有些受试对象日常已经佩戴了眼镜，不愿意也不方便再佩戴眼镜式视线追踪设备。）

2、测量参数

•  视线和视线交叉

当谈到测量参数时，重要的一点是我们要考虑哪些数据是和你的研究目的紧密相关的。最近几乎所有的视线追踪系统都可以提供视线矢量，有一些视线追踪系统会让用户自己来想办法计算视线和环境的视线交叉落点。

但是极少数视线追踪系统不但可以提供视线矢量信息，还可以提供视线和真实世界物体交叉点的信息。Smart Eye的旗舰视线追踪解决方案Smart Eye Pro包含了一个3D世界模型系统，可以基于真实测试环境创建3D物体模型。Smart Eye Pro不光能提供视线矢量信息，还能提供视线交叉点的位置信息（3维坐标数据）。

这将给很多用户的研究带来极大的便利，如果你的研究包含了疲劳/工作负载评价，你就希望视线追踪系统不仅要提供眼睛视线数据，还希望提供其它关键的测量数据，比如眼睑开启数据（包括眨眼）、头部姿态和角度、以及瞳孔测量数据等。

•  准确度

另外一个关键的问题是你的研究项目需要什么程度的数据准确度。准确度级别和你选择的视线追踪系统相关。通常来说如果预算紧张，准确度稍弱一些的视线追踪系统是可以接受的，毕竟准确度越低，系统硬件和软件算法的要求就会容易很多。但是一般来说你还需要考虑一些其它问题。

举例来说，如果你的研究感兴趣眼跳/扫视或者微跳，你在系统选型时就需要考虑那些能提供高采样频率的方案。这是因为眼跳/扫视发生的间隔很短，为了捕捉这些微小的时间间隔，较高的设备采样频率是必须的，眼动仪的采用频率一般从30Hz到超过1000Hz。

3、高级特性和功能

对于科研研究目的用途的视线追踪设备，必须能够适用于各种不同的光照条件以避免丢失数据，这也是很多低成本方案不适合科研项目需求的原因之一，其它的限制包括测量数据种类有限以及系统准确度偏低。

科研级别的视线追踪系统的技术要求处于同类设备的顶端，要求更高的性能表现。Smart Eye长期致力于高精尖功能的开发和应用，让你的研究更加高效和便捷。

Smart Eye Pro作为Smart Eye的视线追踪方案的旗舰产品，其最大的优势之一就是3D世界模型系统，能够基于真实实验环境创建虚拟的对象模型。

如先前提到的，绝大部分视线追踪设备都可以提供视线方向矢量、但是大部分设备都需要用户自己来计算视线和测试环境相交的数据，这需要投入极大的时间和工作量。

为了避免上述额外工作量的发生，一些领先的视线追踪解决方案会利用3D模型来创建真实实验环境下的关键对象。这些3D模型就有助于研究者基于X、Y、Z格式的坐标系来获取数据，也能够实时查看视线和这些实验场景下关键对象的视线交叉的信息。

4、如你所愿，下面这些功能将大大简化实验和分析流程：

•  可以将测量数据通过UDP或者TCP传输到另一台PC或者模拟器上。•  数据兼容Excel或Matlab（选项），如果你是汽车行业的用户，你还可以通过CAN Bus传输数据。•  一些视线追踪系统还可以支持和第三方平台的集成（如模拟器、测试PC和其它生理传感器等），还包括时间戳功能和使用NTP网络时间协议来进行多数据平台的时间同步。•  时间戳功能在刺激物分析时很有用。•  一些高端的视线追踪系统还包括了适用于远程控制的API，可以开始/停止数据采集及其它任务，如校准和用户轮廓创建。•  可以记录音频和视频数据。

Gaze Trail凝视轨迹

受试对象的凝视轨迹，通常还包括注视数据

热点图单个或者多个对象（统计）某段时间的注视点总体分布情况，采用颜色标记。

感兴趣区域 (AOI)

针对受试对象或者研究者兴趣点研究所定义的区域。可以是固定（固定对象）或动态（无论对象是否移动）。

四、可视化、数据分析和实验报告

我们很多科研领域的客户倾向于使用原始数据而不是可视化呈现的数据。但是也有相当的用户希望有额外的可视化和分析工具。

我们已经有了一些常规的数据可视化功能比如视线轨迹、注视、热图、AOI兴趣区域。AOI是受试对象的感兴趣区域。这可以基于驾驶的实车、驾驶模拟器、飞行模拟器、网页浏览等不同场景。能够展现受试对象的视线兴趣所在。

但是你还可以使用其它一些功能，例如：

1、数据记录/Logging和回放

Smart Eye Pro (SEP)软件可以输出其测量的任何一项数据（视线、眼睑开启距离 、头部倾斜角度等），输出的log文件可以保存在本地PC上，另外一份数据（和log文件一致）可以通过以太网发送给另一台PC。

至于视频数据记录，如果视频是使用SEP软件录制的，该视频可以在SEP软件中进行回放，而且回放时所有视线追踪和算法功能都同样适用，换句话说无论是Smart Eye视线追踪相机拍摄的实时画面还是SEP软件已录制的历史视频数据，SEP软件都可以对其进行相同的视线追踪和分析（包括记录log文件或者将测量数据通过以太网发送给另一台PC）。

2、数据图形化展示/预定义格式的分析报告

Smart Eye Pro软件能够将数据以X-Y类型的图表进行展示，同样支持第三方软件从其获取测量数据以生成相关报告，如受试对象工作负载、驾驶员疲劳和注意力级别等。

3、视线叠加

视线叠加简单来说就是将视线和视频或者图像进行叠加。一种途径就是使用场景相机，视线可以直接和场景相机拍摄的画面进行叠加，这种方案工作可靠，但是会产生一定的视角差，原因是实验对象和场景相机位置之间的视角会存在偏差。另外一种途径就是视线直接和定义的3D世界模型进行叠加，这种叠加仅限定于视线和已定义的3D模型之间，这种方式能够提供更高的准确性以及消除了视角差的发生。

4、多系统融合

可视化工具的另一个功能是融合多套视线追踪系统进行多人同时视线追踪研究。在此场景下，你可以看到每个受试对象的视线追踪情况以及受试对象之间的交互，典型应用场景包括多人协作评估和飞行机组工作研究。

五、需要考虑的重点特性和能力

如我们先前的介绍，在选型眼动追踪系统之前需要考虑众多重要的特性和能力。在这里我们列出一些评估的关键项，希望对你的工作有帮助。

•  能够在不同光照条件下工作

•  校正和头部轮廓生成步骤简单快速

•  头部位置/旋转角度和瞳孔测量

•  低数据丢失和延迟

•  高精度：即使对象在移动

•  移动自由度（宽裕的头部空间）

•  可扩展性

•  适用多重工作环境

•  3D世界模型、基于X、Y、Z坐标系的数据信息。

•  数据集成（数据输出、时间同步、API）

Smart Eye为用户提供业界性能领先的视线追踪系统，在复杂应用场景下提供一流的性能表现。我们的方案在汽车、航天航空、残疾人设施、广告媒体、行为科学等众多领域的人类行为和人机交互研究领域得到了广泛的应用。今天我们的客户包括NASA、空客、波音、丰田汽车、戴姆勒、奥迪、通用汽车、哈佛大学等数百个研究机构和高校。

我们的子公司Affectiva是业界领先的情绪识别AI算法供应商，帮助企业更好的理解他们的用户对其产品（内容、产品和服务）的感受，客户涵盖汽车、媒体娱乐、市场研究等行业。28%的世界500强企业和70%的世界大型广告公司都在使用Affectiva的解决方案。

我们的子公司iMotions提供业界领先的人因多模态分析软件平台，能够实现跨传感器平台的实时数据同步。

SmartEye的汽车行业量产解决方案目标是赋能主流汽车OEM的下一代车型，提供更安全、更人性化的出行体验。

Smart Eye作为专业的人因分析AI技术供应商，在复杂应用场景下解析和预判对象行为，在人类和机器之间架设一个沟通的桥梁，努力创造更加安全和可持续的未来。Smart Eye成立于1999年，总部位于瑞典，在美国、英国、德国、丹麦、埃及、日本、新加坡和中国拥有分支机构。

如果你希望了解更多或申请Smart Eye眼动仪现场Demo演示，欢迎联系我们。

东扬精测系统（上海）有限公司

汽车电子测量部

上海市静安区梅园路228号企业广场901室

021-6380 9633

car@toyochina.com.cn

smarteye.ai

识别二维码 下载：

《视线追踪系统选择指南》