新闻资讯 人物专栏

ICEVE精选 | 宋维涛:近眼显示技术的现状和展望


导语

本文是由未来影像高精尖创新中心举办的ICEVE2017(北京国际先进影像大会暨展览会)的精华演讲等整理而成的系列专题文章,本系列内容涵盖专家专访、大会报道、行业纪实等,致力于梳理和提炼ICEVE大会的精华内容并传播给行业和大众。


大家好,我是宋维涛,来自未来影像高精尖创新中心。今天前面几个报告探讨关于 VR和AR 显示内容相关的研究。我代表未来影像高精尖创新中心未来显示团队介绍一下关于VR和AR的硬件显示呈现平台以及近眼显示现在的发展和未来的展望。

 

image.png

 

近眼显示设备是虚拟现实和增强现实的一个重要呈现平台,被认为是继电影屏幕、平板显示之后显示领域的又一次革命,也引起了广泛的关注。近眼显示设备也被称为是头盔显示器。它主要是由显示屏幕和显示目镜组成的,主要工作原理是由显示目镜把显示屏幕成像放大在较远的地方,它的一些具体设计参数,包括出瞳大小、出瞳距离、视场角、分辨率以及光学目镜的成像质量。大的出瞳直径可以让用户的眼球在更舒适的范围内进行运动,较大的出瞳距离可以让大家佩戴这个眼镜更便携更舒适,视场角、分辨率,以及光学目镜的成像效果决定了它呈现给大家的效果。所以近眼显示系统追求做大的出瞳直径、长的出瞳距离、大的视场角以及良好的成像效果。

 

沉浸式的显示设备也就是应用于VR的眼镜,从结构上主要分为半沉浸式和全沉浸式结构。目前大部分眼镜,像Oculus, Samsung, 还有HTC都是采用全沉浸式的这种显示方案。大部分市场上的眼镜都是由单片式的镜片构成目镜系统。刚才晶怡老师说去年VR创业公司死了一批,其实不仅仅是内容没有做好,设备也没有做好。

 

我们在十年前,用了六片全球面的镜片,目的是获得一个更好的目镜成像效果,该系统在圆明园重建工作中虚拟显示进行了一些应用,效果良好。团队在去年使用了两片非球面镜片并进行了一个优化设计,获得了一个大视场、高分辨率的一个VR呈现平台,该设备应用到航天领域,神舟十一号的宇航员通过该设备与家人隔空进行交流。

 

image.png

 

关于AR系统,由于其光学系统需要光学穿透显示, 结构就显得复杂一些,所以它的结构形式就较多一些。最早受到大家关注的AR眼镜是谷歌眼镜,其结构是一个潜望式的光学结构。图像从图像源出来经过三次的反射,然后进入到人眼。同时人眼透过半透半反的玻璃观看真实世界,虽然它比较小巧,但是它的视场角比较小,而且由于只有一个表面有光焦度,所以其解析度和视场角都略显不足。

 

image.png

 

第二种结构是利用自由空间耦合面结构,目前结合一些手机的屏幕可以实现一个较大的视场角,而且较低成本的近眼呈现。著名的Meta公司推出的产品就是采用这种结构。目前这个结构的缺点就是它比较笨重。

 

自由曲面棱镜是有3个自由曲面的表面,自由曲面就是一个各个方向都不对称的一个结构,它引入了很多自由度,可以实现更大视场角更便携的一种近眼的呈现。

 

我们团队其实也在这个领域做了大概近十年的工作,目前也获得了很多国家和国际的专利。实际上的设计效果其实也优于学术期刊中显示的优秀成果的效果。而且我们这个设计由北京耐德佳显示技术有限公司产品化,目前相关光学性能优于竞品,显示模组也在多家AR的近眼显示产品中得到了一些应用,比如联想和悉见科技公司。

 

image.png

 

自由曲面棱镜的结构虽然小巧,而且进行了一些优化,但是用户可能对这个小巧程度还不够满足,目前自由曲面的厚度大概也会在10mm左右。所以为了进一步让系统更加小巧更加薄,光波导也被引入了近眼显示的设计当中。光波导技术是通过光线在内部进行全反射,来增加光学长度,从而来减小光学厚度。这种光波导的近眼显示结构,光需要进入到光波导内,然后由光线在光波导内部的传输,最后从光波导耦出进入人眼。

 

根据耦出端的不同,结构又分为四种。比如EPSONBT-300的产品,它就采用曲面的反射进行耦出;Optinvent ORA这个公司,实际上采用了自主提出的棱镜表面进行了耦出,可以使得出瞳更大;Lumus提出了多反射镜的方案,对于产业化和杂散辐射进行了一些优化,获得一个良好效果;衍射光学表面也被很多产品引入到近眼显示的设计当中,比如Hololens和Sony的AR产品。

 

image.png

 

刚才对目前的近眼显示设备进行了分类总结,主要是阐述一些现状。关于未来近眼显示设备将会向哪个方向发展,我想学术上的一些热点研究可能可以代表它的一些方向,所以接下来我将对于学术上比较热点的、小型化、大视场的高分辨率化以及真实化三个方面进行解述。

 

关于小型化,其实大家就希望它无感化,希望戴着它跟完全没有一样,这是大家理想的目标,在这里,很多学者进行了一些努力。我们团队在自由曲面研发基础上结合光波导的技术,希望通过光波导技术可以使得镜片的厚度进一步降低,通过自由曲面棱镜增加它的优化参数,使得光学性能更好,从而达到最优的效果。我们搭建了基于这个原理的样机,并对系统的杂散辐射进行了一部分优化,最后获得了一个比较良好的成像效果。

 

另外,在研究过程中我们发现,近视或者是远视的用户在使用近眼显示设备的时候,需要同时佩戴自己的矫正眼镜,这样的话近眼显示设备就比较厚,而且佩戴起来比较复杂,基于这种想法,我们提出了一个结合了自由曲面的光学目镜以及矫正的近眼显示设备,使两镜片一体化,设备更小巧更方便。


image.png

Innovega公司同时提出了一个更好的想法,它想把近眼显示和隐形眼镜结合在一起,通过隐形眼镜增加一个微透镜,将显示屏上一个物体呈现到较远的一个位置,同时除了这个透镜之外的地方进行一些镀膜的处理,使屏幕上的一些显示并不能进入人眼当中,而且这块外界的物体通过其他部分呈现到人眼。这样系统更加小型化,但是目前它的量产性评估和生理性评估也是正在进行,也希望它们这个产品能够成功。

 

第二个研究热点:如何实现一个大视场,同时能够保持一个较高的分辨率。由于现在一些VR和AR设备的屏幕分辨率是一定的,随着视场角的增加,角分辨率也会降低,这个关系在学术上称为分辨率/视场角不变量。

 

为了解决这种不变量,除了增加屏幕的分辨率,学者们还想到了一些其他方案。但是目前很多方案比较笨重复杂,也就没有引入到工业化当中。我们也研究了光学拼接的方案,通过多通道光学系统,通过通道拼接来实现高分辨率,在保证了每个通道内的分辨率的基础上形成更大的视场角。


image.png 

我们分析了传统光学拼接的一些问题,发现存在这些问题:拼缝比较明显,系统比较笨重,很难进行穿透式显示,为了解决这些问题,我们提出了一个新型的自由曲面的拼接方案,通过光学整体注塑成型,还有自由曲面多参数的特性,可以解决刚才说的一些问题,并且获得了一个较好的拼接效果。同时我们也探讨了自由曲面拼接的不同方案,目的是为了获得更大的分辨率,获得更好的沉浸感。

 

另外,在学术界和产业界一个比较重要的研究方面是构建真实感的近眼呈现。就是大家在观察真实空间当中,除了双目视差,包括刚才晶怡老师也提到,每个单眼也会有一个聚焦的效果。比如人在观察真实世界当中,人看到这个物体其实单目是起到调节聚焦到这个平面上的,同时通过双目视差感,它的辐辏也是感觉形成到这个平面上。但是对于目前商用化的近眼显示,在空间当中,只有一个呈现平面,这样的话,我们单眼的聚焦是在这个平面上的;但是为了产生3D感,我们通过视差的方式,使得我们辐辏的感觉是离开这个平面的,这种聚焦和辐辏的不一致,就是导致我们佩戴VR眼镜和AR眼镜感觉不舒适,无法长期佩戴的一个主因。

 

针对这个问题,也有很多解决和缓解的方案,在这里就挑几个比较典型的方案进行简述。由于传统的近眼显示设备在人眼前只构建一个平面,很简单的一个想法,就是说我可以在前面构建多一些的平面,亚利桑那大学Hua教授团队在近眼显示设备中插入了液体透镜结构,通过改变液体透镜的电压,从而改变液体透镜的焦距,从而使得成像平面在空间中形成多个,通过这种方案来缓解辐辏和聚焦的不一致。

 

我们团队也使用了两片胶合光学目镜,通过胶合位置使用半透半反膜使得用户可以同时看到两个屏幕,控制结构位置使得呈现在不同的深度上,来实现多深度重建方案并且获得较好的成像效果。

 

image.png

 

另外,重要的解决方案是光场近眼显示技术,光场是一个表述物体各个方向光线的重要手段,如果可以将要呈现物体的光场稠密地输入眼睛当中,我们就可以获得它的深度信息,斯坦福大学Wetzstein团队提出多层显示屏的近眼显示方案,通过计算机一些优化方案充分利用多层显示屏上的像素,来构建进入人眼的稠密的光场,但是他们算法较为复杂,暂时无法进行实时渲染。

 

英伟达公司Lanman博士通过传统方法,这里使用的是集成成像方法,构建稠密的光场进入到人眼当中,而且它的光场每一条光线,都严格地跟像素一一对应,并且他们使用了GPU技术实现了实时的光场渲染。我们团队也是国际上最早提出使用光场手段来解决聚焦和辐辏不一致问题的团队之一。

 

image.png

 

我们团队利用微孔阵列结构,同时利用光学目镜的放大作用,实现一个大视场角可穿透式光场呈现,我们完成了基于该原理的样机,并通过将相机在出瞳的位置模拟人眼进行了拍摄,获得前后聚焦的景深效果。

 

最后作为本次演讲的结论,近眼显示目前发展的三个方向——小型化,大视场高清化以及真实化,在学术上大家都在探讨研究,但是目前还没有一个让产业界或是用户更满意的方案,还有很长的路要走。总之,希望便携化、适人的、高沉浸感、真实性的显示技术可以更快应用到大众之中。谢谢!