FBEC2023 | 七鑫易维 副总裁路伟成：XR眼球追踪的几大关键落地场景

FBEC2023未来商业生态链接大会暨第八届金陀螺奖于2023年12月8日在深圳福田大中华喜来登酒店6楼盛大召开，本次大会由广东省游戏产业协会、深圳市互联网文化市场协会指导，陀螺科技主办，中国光谷、游戏陀螺、VR陀螺、陀螺财经、陀螺电竞联合主办。

大会以“合力共生·韧者行远”为大会主题，以具有行业前瞻洞察的“航行者”为视角，破冰之旅为主线，关注AI、元宇宙、XR、游戏、电竞、数字经济等科技与互联网前沿领域，全方位呈现科技前沿成果，聚焦时代与商业热点议题，探讨新科技、新商业、新模式的未来价值，与真正的勇者共赴剧变革新下的凛冬破冰之旅！

主会场C：元生未来，共链价值——2023全球元宇宙产业核心技术论坛，邀请到七鑫易维 副总裁路伟成带来主题为“XR眼球追踪的关键点”的精彩演讲。路伟成认为，XR眼球追踪的几大关键落地场景有：注视点渲染、瞳距（IPD）调节、表情追踪（+反向透视）、交互、身份识别、眼动数据分析以及虚实对齐与消除VAC。

以下为演讲实录：

大家，下午好！我是七鑫易维的路伟成，今天和大家分享的主题是XR眼球追踪的几个关键问题，集中阐述XR眼球追踪的应用场景。

XR眼球追踪的时代已经到来，全球领军消费电子公司苹果，第一款XR产品Vision Pro就集成了眼球追踪。而除了苹果之外，主流的XR品牌几乎全部推出了集成眼球追踪的XR型号，如Meta Quest Pro、PICO 4 Pro等。具体来看，XR眼球追踪的落地场景有：

（1）注视点渲染。加了眼动的VR，基本都会加注视点渲染。Vision Pro发布，VR、MR的分辨率都向苹果看齐，超高分辨率意味着渲染压力非常大，而注视点渲染则可以大幅度降低渲染压力，如《Red Matter 2》登陆Quest Pro后，像素密度比之前提升了33%（等同于视觉中心的像素数量增加了77%），文字清晰度、光影和色彩表现足够优秀，突破了Quest头显的图形极限。再看PSVR2使用动态照明和阴影等高要求的图形质量下，渲染和计算跟踪的帧时间从33.2ms下降到14.3ms，运行一个4K的飞船Demo演示时，CPU线程性能和GPU帧时间分别快了32%和14%。最后总结下来就是注视点渲染提高GPU帧数达2.5倍，注视点渲染+眼球追踪可提高3.6倍，由此注视点渲染是刚需。

（2）IPD调节。加了眼动的VR基本都加了IPD，Vision Pro也加了，但是在发布会上并没有提。用户感知不到的东西，苹果就不会提，感知不到的技术是最好的技术，就像空气一样使用它就可以。七鑫易维早在2018跟歌尔合作的时候，就推出了自动的IPD的调节。

（3）表情追踪。目前的落地情况，只要加了眼动，肯定都能实现表情追踪，Vision Pro还额外加了个反向透视。七鑫易维很早就实现了通过眼球追踪进行表情追踪的功能，可以把人的表情，眼部表情都表现出来。这已经是落地的场景，在VR的社交类应用或者是远程会议等都用得到。

（4）身份识别和认证。目前用得比较少，仅Vision Pro和HoloLens2用了，运用虹膜识别作为身份识别的方式。虹膜识别和眼球追踪实际上是可以统一到一起的，因为硬件采用的是一套。虹膜识别是我们认为目前最合适XR身份认证的方式。为什么会这么说？主要因为虹膜识别已经有眼球追踪不需要额外加其他的套件。眼球追踪是很好的活体识别方式，提升了虹膜识别的安全性，虹膜识别还能给眼球追踪提供身份信息，当切换用户的时候可以自动切换眼球追踪的参数。这方面我们已与微信支付、创维XR推出了整体的虹膜识别和眼球追踪的XR方案，预计年底或明年初可以实现量产。

（5）交互。几年前我们就讲，眼手口多模态自然交互是XR交互的未来，但在Vision Pro未发布前，大家都不相信。在苹果看来，眼手口多模态自然交互，是继键鼠交互、触控交互之后的第三次交互范式大变革。眼睛除了用来做简单的选择之外，还有很多场景是适合的，比如做信息显示、自动滚屏、自动缩放、自动隐藏等。有了眼动数据，可以展开很多想象，交互潜力会变得非常巨大。推荐一篇Meta的论文《基于眼动追踪的交互具有巨大潜力》

Leveling the Playing Field: A Comparative Reevaluation of Unmodified Eye Tracking as an Input and Interaction Modality for VR，感兴趣的可以去看一看。

（5）眼动数据分析。眼动数据分析，可以挖掘用户很多的心理信息、生理信息，可以用在广告分析、用户体验分析、用户心理分析等。这可能是XR行业靠眼球追踪挣钱最多的功能之一，只是在C端会慢一些，C端用眼动分析不多。七鑫易维之前就做过VR看房的案例，用户看到的是有颜色的，商家会看到用户在什么地方看的注意力比较集中，什么地方没有关注到，这对于商家来讲可以挖掘的信息非常多。

除此之外，像虚实对齐被视为未来很快落地的场景，只是目前还没有。但AR在这方面有很强的需求，AR常用的场景就是虚实融合，如导航，要在真实的路面上出现虚拟导航的轨迹，但是每一个人佩戴眼镜的姿势不确定，显示的位置很可能就产生偏差，基本上很难100%的对齐，这就需要实时根据用户眼睛的位置进行调整，也就是需要眼球追踪。其次就是消除VAC，这个依赖于变焦系统的成熟，现在变焦系统还没有成熟，所以没有落地的场景。但随着变焦系统成熟，消除VAC就自然而然产生需求。

那么，Vision Pro的眼球追踪和七鑫易维之前推的方案有什么不同呢？基本的路线是一样唯一的不同是苹果的堆料够狠。当然，也有代价，就是高功耗、高算力、高成本。我们也有类似的方案，预计原型机今年底或明年初会出来。

大家也会疑惑单眼单摄不能用了吗？仍然具备高可用性，关键是眼球追踪可用性不仅仅和本身性能相关，还和交互设计强相关。还有一个小问题，人眼数据是用户生物特征数据，所以人们对于用户隐私安全越来越重视，这是很关键的事情。据我了解，所有用户认证用到生物信息，都不可以在海外建数据库，这涉及到国家安全的问题。刚才也有嘉宾讲过，高科技领域我们要防止卡脖子，七鑫易维，无论是在硬件算法，还是软件上，全部做到了自主可控，所以不存在卡脖子的问题。

七鑫易维成立于2009年，历经14年发展，在国内的眼球追踪市场已经遥遥领先，目前在全球申请的专利数量将近600项，其中发明专利占到了2/3。

如上图所示，这是七鑫易维已经发布的一些产品，大家感兴趣可以细聊。接下来，还会陆续有一些新的型号发布。

最后，总结一下：（1）注视点渲染、动态超分和反畸变、瞳距调节将成为XR的基本功能；（2）表情追踪作为社交强需求，将成为XR的基本功能；（3）虹膜识别将成为XR身份识别和认证的最常用方式；（4）眼手口多模态自然交互将成为XR的交互趋势；（5）眼球追踪在XR上已经成熟，具备高可用性；（6）眼球追踪将成为XR的标配，如果大家想要加眼球追踪，找七鑫易维，谢谢！

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。