2023年8月15日

高通撑腰AR眼镜开始轻装上阵

作者 admin

从 2016 年发布以来,AR 游戏《Pokémon Go》就创造了无数的奇迹,不仅刷新了大众对 AR 体验的认知,还在商业上取得了巨大的成功,即使在全球遭遇新冠疫情之后,依然能让玩家在 2021 年投入约 13 亿美元,同比 2019 年还高出约 4 亿美元。

但手机屏幕既不是为 AR 而设计的,也不是 AR 的最终归属。

11 月 17 日,在高通举办的 2022 年骁龙峰会上,不仅发布了基于骁龙 XR2 Gen 1 平台打造的骁龙 AR2 Gen 1——高通首款专门面向下一代 AR 智能眼镜的处理芯片,高通还联合《Pokémon Go》开发商 Niantic 展示了 AR 头显的最新参考设计。

AR 眼镜参考设计,图/高通

根据介绍,该设计在前部采用了常规的 AR 眼镜设计,主体是超薄的透明显示屏幕,还配备了多个相对隐蔽的对外和对内摄像头以及一块 AR 协处理器,有明显的面罩设计以贴合面部。AR 主计算单元则被安置在了后部,再通过头带连接前部的显示屏幕,无线连接模块似乎被放置在头带内侧。

同时,Niantic 在一段 AR 原型机 实机演示视频 中展示了更多的细节,比如电池被明显放在后部,此外还配有一个手部。

图/Niantic

Niantic 在会上强调,AR 眼镜或头显至少不应该超过 250g 重,并至少提供 1-2 小时的持续续航。要做到这两点,AR 芯片需要变得更小,同时还要提供更低的功耗和更强的处理性能。

这正是高通在骁龙 AR2 Gen 1 上所做的,但比起现有的性能提升,高通为 AR 设想的技术路径更值得期待。

算力不够,手机来凑

一个客观的事实是,目前真正的 AR 眼镜还远未达到工业化和量产阶段。

 

现阶段存在一些 AR 头戴显示器产品,比如Nreal、雷鸟等,但更多只是作为一种「观影设备」,没有多少交互能力。而在光谱在另一侧,如微软 HoloLens 2 和最近上市的 Magic Leap 2 等,高昂的成本和较大的体积、重量都限制了它们在消费级 AR 市场的可能性。

目前在硬件技术上困扰 AR 设备的核心是两点——光学显示和计算性能。后者更是要面对算力、续航和体积的不可能三角。高通在靠近这个目标,并且展示了一个颇具可行性的未来。

据高通介绍,骁龙 AR2 Gen 1 采用了多芯片的架构,由 AR 处理器、AR 协处理器和无线连接模块组成,分布在 AR 设备的不同位置并起不同作用。对比骁龙 XR2 Gen 1,骁龙 AR2 Gen 1 的PCB 占用空间减少了 40%,AI 性能提升 2.5 倍,同时功耗还降低了 50%,分布式也使芯片运行产生的废热不再聚集,从而实现更好的散热效果。

图/高通

这些改进都让一个更轻便的长续航 AR 眼镜成为可能,或者用高通的话说:「这使得 AR 眼镜可以舒适地长时间佩戴,并满足消费者和企业的需求。」

具体到多芯片架构,其中 AR 协处理器负责从连接的摄像头和传感器中收集数据,支持眼球追踪和虹膜识别,由于在设计上就专注数据收集,功耗也得以降低。

AR 处理器是主计算单元,高通表示 AR 处理器「针对低运动(手部动作等)到光子(数据传输)的延迟进行了优化」,同时支持最多 9 个并发摄像头,还增强了一系列感知能力,包括:专用硬件加速引擎,改善用户运动跟踪和定位;AIR 加速器,减少手动跟踪或 6DoF 等敏感输入交互的延迟;投影引擎,以获得更平滑的体验。

但除此之外,很多人都会忽视骁龙 AR2 Gen 1 的无线连接模块。

骁龙 AR2 Gen 1 无线连接模块利用 WiFi 7 连接 AR 眼镜与智能手机或其他主机设备,眼镜端收集的数据和感知结果——6DoF、眼球和手势追踪等——将传输到主机端,由主机端上的芯片进行画面渲染,再经由编码器及压缩,最终传输回眼镜端显示。

图/高通

从数据流通的角度看,当用户使用搭载骁龙 AR2 Gen 1 的 AR 眼镜,AR 协处理器会从本地传感器,如摄像头中采集大量本地数据,经由 AR 处理器计算处理,通过高通的 FastConnect 7800(WiFi 7 芯片)传输到搭载骁龙 8 Gen 2 的旗舰手机中。再由骁龙 8 Gen 2 进行画面渲染,并经过编码和压缩,回传至 AR 眼镜解码,最后经过重投影引擎并显示在 AR 眼镜的屏幕上。

高通宣称整个完整过程的延迟将小于:9ms。

高速低延迟的无线连接,已经可以让手机分担 AR 眼镜部分场景的算力需求了。当然,9ms 的延迟还远远无法满足所有场景。高通指出,有些对延迟极为敏感的任务会直接在 AR 处理器上处理完成并显示在 AR 眼镜的屏幕中,比如股票交易、多人在线游戏等 ,其他更复杂的数据需求将被转移到搭载骁龙处理器的智能手机、PC 等主机设备上。

不过,高通还是画了一张更大的饼,或者说描绘了更大的可能。

手机,也是 AR 的主机

就在《Pokémon Go》推出的 2016 年,一段鲸鱼在体育馆高高跃起并落下的视频冲击了所有看过的观众。

 

图/Magic Leap

当时 AR 行业尚处在高光时刻,微软 HoloLens 带来的震撼还没有散去,AR 初创公司 Magic Leap 就带着这段视频和 Magic Leap One 再次激起了我们对 AR 的期待与兴奋,不久后还拿到了谷歌和阿里等投资者共计超 26 亿美元的投资。

等到 2018 年首款 Magic Leap One 创作者版真正发售,首批到手的媒体发现 Magic Leap One 远远没达到他们宣传出的效果,缺点有视场角 FoV 小、亮度低、不够清晰……但相比微软 HoloLens,Magic Leap One 头显部分的重量只有前者的一半多一点——316g,到今年发售的 Magic Leap 2,更进一步减小到 248g,这很大程度上要归功于外置处理器盒子——一个微型 PC 或者说异型手机,因为系统已经转向 Android。

Magic Leap 2 的外置主机,搭载 Android 定制系统,图/Magic Leap

但如果要面向消费级市场,这样的设计也导致很难将 Magic Leap 带到室外场景。高通的想法则是用高速低延迟的无线代替有线,用搭载骁龙旗舰处理器的手机作为「主机」,充分利用我们口袋里的高性能计算平台。

甚至更进一步,高通希望在 2025 年后实现完全的分布式处理,将 AR 眼镜的大部分算力需求分派给我们身边的各种智能终端,包括智能手机、平板、笔记本电脑、智能手表等。

事实上,普通用户在使用中不会关注计算处理的终端,就像用 PC 时我们只会关注显示器、键盘和鼠标,用手机更是只关注那块屏幕。算力在哪对用户来说不重要,重要的是交互和显示界面。

HoloLens 2,图/微软

算力的解放,不仅可以缓解 AR 眼镜续航和体积的矛盾,光学显示方案也会有更大的改进空间。而高通对骁龙 AR 芯片寄予的想法也是:「彻底改变头戴式眼镜的外形,并为现实世界/虚拟世界的组合开创一个空间计算体验的新时代。」

诚然,即使是骁龙 AR2 Gen 1 距离高通描绘的「新时代」依然还很远,核心是无线连接和分布式技术的突破,但高通确实在一步步接近。当前的分体式 AR 眼镜几乎都采用有线连接设计,只有在投屏这类简单任务上支持无线,而高通在支持有线连接的阶段就明白无线才是未来,并有计划地推进 AR 眼镜与手机的低延迟无线连接。

这当然也是整个 AR 行业的共识,AR 眼镜最终都是要朝轻量化、小型化的方向演进。但不同的是,高通认为实现目标的技术路径应该是分布式的多终端支持,而非在摩尔定律失效的背景下主动踏入「算力、续航和体积」的不可能三角。