Facebook的Joel Hesch谈到Oculus Insight跟踪是VR / AR的现在和未来

Facebook的Oculus最近发生了很多变化，移动VR团队的主要高管Nate Mitchell和Max Cohen离职了。但今年春天发布的Facebook独立VR耳机，Oculus Quest，仍然是今年最好的VR硬件成就......并且可能表明Facebook可能会成为AR的下一个目标。

Facebook现在公开谈论Oculus Insight如何在将虚拟现实转变为增强现实的同时推动未来的耳机技术。Insight是在计算机视觉和基于AI的跟踪在裂谷S和任务耳机，它使用在耳机照相机，运动传感器和红外LED在控制器以真实空间映射到VR和使一切感觉光滑和流体。Facebook并不是唯一一家在VR中使用此类跟踪的公司，但很明显Facebook也将此技术视为AR的踏脚石，并且将成为Facebook长期承诺的AR眼镜技术工作的一部分。

负责Oculus Insight开发的Facebook工程经理Joel Hesch与CNET讨论了追踪技术可能最终落户的地方。

VR和现实的混合

有时，Oculus Quest感觉像是虚拟和真实融合的门户，特别是在设置虚拟游戏空间边界和踏入游戏世界的泡泡时：Oculus Insight基于摄像头的跟踪非常适合感觉像你一样在现实世界中重新划定界限。跟踪可用于接下来的大规模体验。

Hesch将去年的Oculus Connect 5会议作为一个指标，参考去年的竞技场规模跟踪演示，玩家在一个有障碍的巨型竞技场周围跑来跑去玩VR激光​​标记版的VR射击游戏Dead and Buried。“我们有真实世界的物体，这些盒子你可以隐藏在后面，与虚拟世界物体对齐。这种体验给我们考虑的一些东西，我们如何考虑混合现实世界和虚拟世界内容，我们如何考虑多用户体验，在这个领域不止一个人。

Facebook是否能够使Oculus Quest能够为基于位置的体验的公司或LBE(像The Void这样的主题公园般的VR吸引力)更加可定制，还有待观察。(对于定制Oculus Insight跟踪的经验的制造商来说，“选项不会脱离桌面”，Hesch说，但承认优先考虑的是“尽可能多的情况。”)一些公司，如MANUVR，已经找到了办法使用Microsoft的Azure空间锚点将Oculus Quest与更大的竞技场混合在一起。Facebook已经通过系统更新改进了对Oculus Rift S和Quest的跟踪。Hesch说，“我们非常致力于改进的漫长路线图。”

Facebook AR耳机的入口

Facebook的博客文章称，“这项技术的未来是全天候可穿戴的AR眼镜，它们具有空间意识。这需要运行SLAM(同时定位和制图)以及更大的限制，包括进一步减少延迟和降低功耗。只需2%的HMD(头戴式显示器)SLAM所需。“ 但AR眼镜也可能意味着将Oculus Quest的物理控制器的输入改为其他东西。

Hesch没有说明未来的Facebook AR耳机是否也会使用像Oculus Rift S和Quest这样的控制器，但他说Oculus VR或AR有可能最终识别出手势：“理论上，你有一套四个设备上的摄像头，所以如果你看一下学术文献，有许多不同的计算机视觉，感知应用程序可以用普通的摄像机数据完成。不是在谈论路线图上的任何具体内容，但你可以用你的想象力当你有相机数据时，会有不同的可能性。“

使用AR耳机，输入最终可能更基于手动，就像Microsoft HoloLens和Magic Leap已经融入的那样。“如果你考虑一般的虚拟和增强计算体验的输入，”Hesch说，“它应该是什么样的?我们真正围绕着试图找出在他们正在处理的用例中对用户最有意义的东西。我们希望随着时间的推移不断发展。我们非常致力于寻找输入跟踪选项的全部空间，并了解我们可以在产品中带来什么，这将使用户体验到最好的东西。

Facebook门户网站和其他设备会相交吗?

Oculus Insight允许的空间跟踪不仅仅是面向VR耳机：Hesch说，计算机视觉技术的元素已经在Facebook基于手机的AR中使用。“对于我们今天在移动设备上使用AR做的事情以及我们在Quest和Rift S上所做的事情，很多像Insight系统这样的常见构建模块实际上是跨平台运行的，我们认为这是一个利用我们的机会的真正机会我们研究新的外形和我们可以推向市场的新产品。“ Hesch特别指出空间AI：“我们认为空间AI对于所有平台来说都是如此重要。”

Facebook门户网站是Facebook AR / VR部门的视频会议平板电脑，尚未使用Oculus Insight技术。但是，Hesch建议“如果你看一下可穿戴设备和基站设备之间的跨平台交叉，那么合作/重叠肯定存在潜力。”

关于Oculus接下来的所有其他公告可能会在9月底的Oculus Connect 6上发布，距离仅一个月之遥。我们将看到有多少Facebook的AR计划在那里公布。