探索
EXPLOE
从工程师的角度看虚拟现实感知
发布时间:2024-12-11
打印
{{ isAudioPlay ? '暂停播放' : '播放声音' }}
放大 缩小

没有什么问题是无知的,兰图尔的问话就是最好的证明。

兰图尔:索菲,你有没有想过,为什么当你移动眼睛、脑袋或跑步的时候,外部的世界是不动的?尽管你在运动,但你的感知告诉你:世界是静止的。这是怎么回事呢?

鸟:我们的眼睛是如何做到这一点的呢?

索菲:你确定这仅仅是眼睛的缘故吗?

索菲:想想看,如果用一只眼睛感知世界是什么样的感觉?你有没有想过,为什么你的目光是来自两只眼睛而不是三只、七只眼睛?为什么你有两只耳朵,而且沿中线对称,而不是三只耳朵,或者两只都在同一侧?从这些你可以推想,我们自我的三维感知体验跟感官系统的分布结构有很大关系。

鸟:噢,是的,这点我知道。实际上,拥有两个一样的感觉器官可以经历

很多有趣的事。拥有两只翅膀和拥有两条腿也一定有很多说法。

索菲:的确,因为有两只耳朵,那么出自同一既定声源的声音到达每只耳朵的时间就会有所不同。两只耳朵接受的声音在时间上的差别可以让人判断出声音的空间源头;视觉之所以可以判断深度也是由于基于视差的估测。

那么,你是如何在感知外界稳定性的同时感知自己身体正在向前移动的呢?这是一个不容易理解的问题。

你身体的运动是由你的关节和身体连接处的传感器跟踪记录的。这种感觉叫作本体感觉,和视觉系统没有相互影响,你无须查看就知道你的手是抬起来的、不用照镜子也能用手摸到眉毛和鼻子。人的外界稳定性的感知不仅仅来自眼睛,还涉及其他感官系统。

一个值得考虑的概念就是行动感知周期。当你在运动或单纯是在和环境互动,同时感知环境的时候,你的大脑也同时在工作。

你感知到的画面不是一个从外界到你大脑的被动流动,而是一个主动估测,甚至是预测的结果。这种预测在运动开始之前就已经形成并发送到相应的感官系统了。

兰图尔:你是说,一旦运动神经系统选定一个动作,比如,向前走,向右看,抬起头,拍打翅膀……就会有一个预测信号发送到所有的感官系统中?而且这个信号将会预测这一动作对感官的影响?这样做有什么用呢?比如,我拍打翅膀,会有怎样的视觉流?但是之后呢?这样做有什么用呢?

索菲:这样可以节省时间、精力,以最佳的方式监督运动。想象一个食肉动物在追捕猎物。自身运动(头、眼睛、身体、四肢等的运动)对感官影响的预测,被解读到视网膜坐标中,然后从视网膜的实际感觉结果中减去。最终的感知往往和没有被预测一样。如果预测完美,你不会感觉到任何变化。

鸟:你是说,我的视觉皮层感觉到的结果是预测信号和实际感官输入信号的差别?

索菲:是的,似乎是这样的。

鸟:如果预测信号是错的呢?

索菲:如果预测是错的,你首先会感到惊讶。然后你会根据情况,改变身体姿势、力量或方向。如果你在努力逃脱追捕者,那么最坏的结果就是你可能会摔倒、死掉。如果你只是在飞翔,那么你可能会感觉到恶心。

从行动感知周期到虚拟现实

索菲:虚拟现实(VR)实际上是计算机科学、人工智能、神经科学(脑科学)、实验心理学和物理学的交叉地带的一项新技术和研究领域。

如今,它还指通过计算机模拟创建的交互式3D环境——这也是我们称其为“虚拟”的原因。但是,它产生的体验非常逼真,接近我们真正的感知体验,人们几乎可以称其为“现实”。

使用包含立体显示器(支持3D感知)的VR头盔,就可以实现这种逼真效果。许多系统的头盔包含两个监视器,每只眼睛一个;它们一起使图像产生立体效果,给人以深度感。头盔还配有头部运动跟踪系统、立体声耳机、操纵杆等。目前,最受欢迎的VR头盔之一是由Oculus公司生产的Rift。

头盔处理来自头部跟踪器的输入,并将输出发送到显示器的装置。这里就要用到我们提到的感知规律一Oculus Rift头盔正在模拟实际存在于你大脑中的机制。

当戴着头盔的你开始运动,你走路、跑步、掉过头看后面,显示器视野中的景物也在做即时的变化。你转头往后看时,视野中的景物也做180°的变化。这就使得我们可以出现在一个还原生活大小的虚拟世界里面。

为了达到完美的效果,VR头盔使用特制的运动传感器和方向传感器,包括陀螺仪、加速度计和磁力计。他们每1/1000秒都在捕捉和分析你的运动、速度、方位和加速度!

来自所有3个传感器的数据通过称为传感器融合的过程相结合。根据这些数据,一个程序,即一个模拟器,就可预测你应该看到什么,并进行相应的显示更新。

如果虚拟环境包括一段森林中的漫步,那么你视野中的树木位置会在你每次移动时都进行更新。Oculus Rift头盔的逼真度不仅归功于1280×800的像素(约720p高清晰度分辨率),也得益于动态环境的时间分辨率。如果显示画面的更新与你的肢体、头部和眼睛运动完美同步,那当你从大峡谷悬崖的顶部向下俯视,你会感到恐高头晕。

兰图尔:但是,你说过,在大脑中,预测信号在动作发生之前就发出了。头盔设备不跟踪大脑活动,只跟踪实际运动。那么,信号只能是在动作开始之后才能发出啊?

索菲:说得非常对。不过,你没有考虑大脑速度和人工智能速度的差别。相对于人工智能电脑的电子电流,大脑使用的离子电流要慢得多。大脑的时间尺度是毫秒,这意味着当神经元发放冲动时,它必须等待至少1毫秒才能再次发放冲动。

用户操作与虚拟环境刷新之间的滞后称为延迟。飞行模拟器的研究报告称,人类视觉系统可以检测到50毫秒的延迟,而听觉系统可以检测到更短的延迟。当用户发觉延迟时,他就会意识到自己处于虚拟环境中,沉浸感即被打断。

此外,重要的是,Rift头盔使用的是具有非常高的时间分辨率的AMOLED显示器。它们可以在不到1毫秒的时间内切换颜色,而最好的标准LCD更改像素颜色的时间长达15毫秒。增加了灵敏度的头部追踪器足以创造一个沉浸感十足的逼真环境。

兰图尔:抱歉,索菲,我还有问题。我们的眼睛也会转动啊,可是你的传感器并没有检测眼球的运动。

索菲:这一次你说的还是对的。因为视觉信息是以广角显示的,所以眼睛的运动就不太重要了。不过,就因为这一点点的不完美,所以用户有时会感到恶心。一个比较新的产品叫作FoveVR的头盔就能够跟踪眼球运动。

实际应用和未来研究

鸟:除了视频游戏玩家,还有谁在用这种设备啊?

索菲:VR在需要模拟危险环境的领域(飞行员、司机、军事)以及研究领域中均有应用。

军方支持和开发VR技术已经有很长一段时间了。他们的培训计划包括方方面面,从车辆模拟到小组战斗。与其他培训方法相比,VR系统更安全,从长远来看成本更低。经证明,与在传统条件下受过训练的士兵相比,经过全面的VR训练的士兵具有同等的战斗力。

外科医生还可以通过使用机器人设备进行远程手术。1998年,巴黎的一家医院进行了第一次机器人手术。

一些建筑师创建了他们的建筑计划的虚拟模型,以便大家在构建基础之前就可以初步了解建筑结构。客户可以在建筑的内部外部走动,问一些问题,甚至对设计提出更改建议。

兰图尔:有了VR,我们一个人可以生活在两个世界里,这太好了。

索菲:为了让虚拟世界更真实,还有很多技术难点需要攻克。包括运动跟踪的灵敏度和速度,执行感官预测的软件的质量(最基本的,模拟器的数学模型必须是智能的),以及显示更新像素的速度——延迟越短,体验越好。

目前,VR领域面临的最大挑战是如何进一步减小延迟。通过开发更敏感、更快速的跟踪系统,预测用户感知更好、更快的算法,以及立即更新其像素的显示器,就可以减小延迟。

科学家正在探索开发VR使用生物传感器的可能性。生物传感器可以检测和破译神经和肌肉活动。使用适当校准的生物传感器,计算机可以破译用户在物理空间中如何移动,并将其转换为虚拟空间中的相应运动。