加州理工学院的研究人员使用 HoloLens 为视障人士提供方向和物体识别

当计算机有视觉而人没有时,为什么不让前者帮助后者呢? 这就是认知增强现实助手 (CARA) 背后的要点,这是一款由加州理工学院开发的全新 HoloLens 应用程序。

在 HoloLens 的深度感应功能的帮助下,该软件使用计算机视觉算法扫描环境并识别物理对象。 然后,该应用程序会向视障用户宣布物体的存在,使用空间音频引导用户找到物体在他们空间中的相对位置。

图片来自加州理工学院/YouTube

“想象一下,你身处一个世界,你周围的所有物体都会发出声音,并且可以和你说话,”加州理工学院的 Anne P. and Benjamin F. Biaggini 生物科学教授兼神经生物学执行主任 Markus Meister 博士说。 宣言. “无论你看哪里,你关注的不同对象都会激活并告诉你它们的名字。 你能想象在这样一个世界中移动,执行我们通常使用视觉系统执行的许多任务中的一些吗? 这就是我们在这里所做的:赋予物体声音”。

  • 不要错过:美国陆军宣布 Microsoft 赢得价值 4.8 亿美元的 AR 耳机合同

CARA 由研究生 Yang Liu 领导的一组科学家在 Meister 的实验室开发,它提供了多种方法来帮助用户。 System Spotlight 模式根据用户的视线报告已识别的对象,而 Scan 模式则在 HoloLens 扫描环境时从左到右指示项目。

图片来自加州理工学院/YouTube

该团队通过设计一条穿过加州理工学院贝克曼行为生物学大楼的路线来测试该应用程序,供志愿者遵循。 每个测试对象在使用基于 HoloLens 的系统时都成功地在迷宫中导航。 此外,该团队还设计了一个虚拟现实环境作为其他研究人员评估他们自己的辅助设备的标准化测试。

该应用程序仍在开发中,目前的工作包括完善和改进计算机视觉算法。 该团队设想银行、酒店和零售中心最终会实施该软件来帮助客户驾驭他们的环境。

与此同时,Meister 和 Liu 以及合著者、南加州大学博士后研究员 Noelle Stiles 详细介绍了该团队在 一篇研究论文 标题为“增强现实为盲人提供认知助手”。

图片来自加州理工学院/YouTube

去年,游戏开发者 Javier Dávalos 用 HoloLens 创建了一个类似的概念证明。 它的版本还使用环境扫描来识别表面和空间音频来为用户提供关于他们的相对位置的线索,但演示应用程序不是口述所识别的对象,而是发出警报,当用户靠近障碍物时声音会越来越大。

越来越多致力于 AR 和辅助视觉工具的公司正在以各种方式应用该技术来帮助残疾人。 近日,来自纽约大学的一群学生 开发了一个应用程序 可以实时翻译手语,连Magic Leap都有 同类专利技术. 同样, 耳廓 AR Starks 可以通过头戴式显示器为听障人士提供隐藏式字幕。

观察家们经常将增强现实描述为赋予凡人“超能力”,如果你了解你的超级英雄传说,这可能是好事也可能是坏事。 所以现在,就赋予那些没有这些能力的人虚拟视觉的天赋而言,我们至少是在善用这些能力。