新闻资讯 产业资讯

CBS创始人聊了聊《怪奇物语》中的虚拟产品与虚拟现实

导语:本文译自Craig Weiss在SIGGRAPH大会上的演讲(原地址戳这里),本文开篇可点击观看。



大家好,我是Craig Weiss,哥伦比亚广播公司(简称“CBS”)的编导,也是公司创始人。我带领的团队从属于CBS集团。今天我邀请Jim Burn来到现场,他是我们的虚拟现实制作主管。我们将一起探讨虚拟产品向虚拟现实转换过渡的趋势。我们接触每一样事物的过程中都会使用欧特克软件,它或许已经融入我们的DNA里了。今天能来到现场探讨这个话题,我倍感荣幸。


我们的核心业务是广播节目视觉效果,历经努力,业务线已经融合进虚拟产品组合,今天就是来分享我们向虚拟现实转型成功的经验。我常常跟导演说,可以摇摄,可以上下移动镜头,但不能用移动摄影车,一句话来说就是,我喜欢发问:“我们要怎样才能做得更好?有更好的方法吗?”尤其拍摄的日程节奏非常快,几乎不可能留有时间给导演准备,后面还有很多新导演在等着上位呢。


为此,我们常常思索新方法,改善所谓的传统,那种平面摄影工作。我要谈的第一件就是布景。我们是这个领域的行家。没有什么真的布景是……这么说,洛杉矶拍摄的每一部片子其实都可以在别的地方找到背景棚。所以,拍摄《丑女贝蒂》(Ugly Betty)的时候,我们在纽约取景,或者北卡罗来州的夏洛特。这只是个小例子,让大家了解我们的布景工作,包括大部分传统业务与部分虚拟场景。


image.png


所以,我们的工作算是结合了传统的电特效与少量的虚拟场景。如我所说,我们的目标是升级技术,尤其是在广播中,拍摄时间与日程等等都面临着那么多变动,我们就花了大力气,投入虚拟场景的制作开发。我想简单谈谈两部作品,那是在进军虚拟现实领域之前拍摄的。第一部VH1连续剧《后见之明》(Hindsight),故事说的是一位叫Becca Brady的女孩,在二婚的新婚夜产生了迷惑,莫名其妙回到了1995年,重历了多幕人生场景,注视着命运一步步来到那个夜晚,以及她改变人生的历程


image.png


挑战在于,这是部电视连续剧,取景原设为纽约城夜景。应该祝我好运气,对吧?花费可不小。1995年那会儿,客观条件还没那么优越。因此,我们并没有表现得太超前,在街景里画太多汽车。我们的挑战有点像:“哦,我们该怎么完成这个呢?真得一周拍摄一百个只有五分钟的场景?”于是,我们在亚特兰大的摄影棚搭建虚拟的纽约街道,建了大约80英尺长的酒吧街,还去了四处实景地取景,包括曼哈顿大厦的楼顶、地铁站,要在那儿拍电视连续剧基本不可能,拍摄成本太高了。


开始制作传统视觉效果的时候,我们出外景,取了纽约市的两座建筑作背景,着手重建图像的3D模型。我们希望这部剧集能赋予观众一种流动感,可在这条街道上随处移动。虽然我们把场景布置为一间酒吧的正面图,我们还延伸了街道长度,设了几条人行道,你可以在那一组镜头里面看到,演员沿着人行道走动。这就是搭建街道模型的早期测试,包括了日间与夜间的照明测试。不过也只算得上早期探索……背景里不断有车子经过。而且大部分镜头都在后景拍摄完成。我们多少想要搭建出一些真实场景,并用数字模拟出延伸感。这就是一点小经验,那部剧集算一次小突破。


image.png

image.png


事实是,大部分场景都创建出来了,而且最终有些效果非常突出。即便日程紧凑,演员们也终于能一天跑几个取景点。


第二部我想要分享的影视作品是我们参与制作的《地球上最后一个男人》(Last Man on Earth),曾在福克斯电视台播放。最开始,他们拍摄飞行员陷入死胡同的一幕时,因为男主角是地球上最后一个男人,身边的景物设定都是残败不堪、死气沉沉,所以剧组找了这个实景地,用废弃的粗麻袋把所有草坪装扮一番,每一片草场都“难以幸免”,我们最后得为这片草坪付费,还没算上迫不得已的情况呢,剧组人员只能在半夜十点半跑到那儿去布景。这可是剧组面临的大问题。我们最终的解决方法就是再一次前往那个实景地,采用了传统的视频特效制作,扫描了一幅死胡同的画面,然后在摄影棚里还原搭建了这个场景,画出一条柏油马路、一个死胡同,其余部分都是绿屏。


image.png


拍摄一启动,我们就产生了想法,试图自行优化拍摄环节,包括拍摄管道、流程和产出效果,因为要处理的拍摄场景数量如此庞大,剪辑处理的速度要足够快,尤其要在拍摄日程之内完成。时间之紧张、工作量之大非常惊人。所以,有一样工具对我们特别重要,那就是景深工具。通常,制作以绿屏拍摄的镜头为基础,用动画关键帧构建景深,但我们认为,这个方案把拍摄节奏变得太紧张。不过,我们还有一些灯光器材,那是与摄影指导沟通的辅助工具,确保双方拍摄的画面同步。画面会传输到后端管道——摄影枪。


这个环节至关重要,为此我们制作了自定义工具,在摄影棚里选用了跟踪摄像机,只需同步云据与实际画面的时间码。要是编辑决策表(EDL)上的某段镜头画面需要删去,我们会剪去虚拟摄像机的画面,保留摄像枪里的内容。摄像枪的实际镜头控制器能够摄取大部分镜头数据,并调节画面焦距。有几个小例子可以分享。当时,我们开始研究灯光的使用方法,为摄影指导搭建死胡同的场景。我们想要确认,摄影指导看到的角度与灯光是否符合其要求,这就是我们同步画面的方法——每一个人都找一处站位,同时,摄影指导打开灯光,照亮场景,这时,前景里的每一样东西就是它在场景里的实际位置,而后景都是虚拟场景。关键在于,我们搭建了一个三百六十度无死角的死胡同,能够获得更多的角度。

 

如我所言,景深工具对于拍摄团队十分重要,为此我们制作了某些工具,用插件如实还原景深。可以看看这幅图, 最上层显示的是影片长度,接下来我们会把影片二次制作,变成3D模式,再从摄影棚的Preston FI+Z采集用镜头控制器数据,能够驱动我们的散景插件,完成同步。这种做法的理念就是避免人工关键构造景深。而且,我们还想做得更极致一些。可以看看这里,左边是用红光摄像机拍摄的感光胶片,右边是我们的3D背景。我们把它们对应好,准备好镜头控制器的数据,接通插电器,就能将画面传输到背景上。这幅展示仅仅是想让大家看看,什么才是真实的3D,而不是烟雾弹效果。我们所做的不只是复制粘贴电影长度。 


所以能够用上所有的好工具,打造一条高效的拍摄管道,实在是太重要了。不管你本身多厉害,要是做不到输出,拍摄管道不顺畅,你就不算出色。始终待在一个地方,让演员都围着日程转,没有哪个人会喜欢这样的剧组吧。

 


还有两个案例值得分享。后来,我们继续使用这项技术,将它推广到其它拍摄项目中。这一部作品是在美国古典电影频道(AMC)播出的《美国主妇》(AmericanHousewives)。当时的拍摄在外景地完成,剧组在那儿借了一处房子,但街道对面的房子位置不合要求。所以,我们把地点改在了康涅狄格州。剧组的需求很明确,指定要阿卡迪亚的某一座房子。


image.png


我们便外出,将那座房子扫描下来,获取点云数据。随后开始建模,第一步要处理的是原图,接着按照1﹕1的比例渲染。这个过程中,我们付出了许多,因为我坚信,未来的业务发展必然有虚拟场景的一席之地。我们所处的行业正在分崩离析,视觉特效很可能会打破电影行业的壁垒,理由有千万种。我可以找一个恰当的类比来形容这种状况:过去,每一个人都可以拍摄电影,但没有人拍摄数字电影,大家想拍电影只是因为数字电影当时看起来没那么好;接着,数字化缓慢而悄无声息地出现了,我们尚且无法一眼就辨认出这混杂在电影作品中的新浪潮。


现在,拍摄电影这件事儿超越了人们的想象起码电视连续剧领域如此。我们认为,虚拟场景将与虚拟现实领域具备同等的影响力。为此,业内人士斥资成千上万的资金搭建虚拟场景。最终的选择是,他们要么废弃场景,要么将它储存起来,虚拟场景就成了可交易的大宗商品。试想,如果虚拟场景成了主流趋势,观众还可以用它重新拍摄。随着时代发展,情势更乐观,个人能拥有电视节目、个人财产,大部分都是数字化、视觉化的,那样的时代就是虚拟时代。听起来有点像“买二送一”,这样的念头让我为自己的事业与3D虚拟视特效的前景振奋不已,以及我们使用的这一切工具——我们在这个世纪所做的一切,正在为明天铺路。

 

现在我们介绍一下团队自主设计的新一代系统,以此结束虚拟场景这一话题。我们正在使用非现实游戏引擎,显然,借助引擎的工具,我们能够实时改变虚拟场景里的灯光效果。我们还创造了类似于可预览的预览机器,能够让摄影指导和导演参与、发掘这座场景。他们可以用Avid软件或Final Cut软件记录下某一节场景,决定拍摄的角度与方式。它还能帮助我们阐述蓝屏应布置的位置,有多少虚拟场景需要搭建。


对我们而言,这项工作真正关乎的是为故事讲述者创造工具,在我们的世界与观众的世界搭起一座桥梁。我认为关键之处在于,剧情片从视效预览中有所受益,因为我们节省了预算,试图将……带到荧幕上。最终这是一场双赢。当导演身处电视节目现场,准备整整一个星期开拍,他的时间非常有限,掌握视觉特效和摄影并非他真正的职责所在。我们希望能够支持导演的工作,通过制作优良精湛的预览工具。导演很快就能拍板: “没错!就要这样的!”那样,等到我们在现场盯着蓝屏的时候,他不会烦躁不安或有别的情绪了。因为他明白了运作的环节。这就是我们倾注全力推动的事情,将虚拟转换推入虚拟生产、虚拟现实。

 

还有一点,我们正在制作虚幻场景,无论是制作玛雅时代的背景模型用于拍摄,还是用于摄影棚,观众都能够看到场景与制作摄像机的连续镜头同步显现。我们记录画面,导演可参与剪辑,删减连续镜头。这个时候,导演在摄影棚看见的并非绿屏,而是临时画面因此他眼中所见并非一束绿光,每个人都有种现场感。有了新一代系统,我们能够搭建照明工具与色彩科学。受保护的画面能让摄影指导节省心力,因为我们清楚剧组的需求,同心协力,提升画面质量。


image.png


接下来,我们讨论虚拟现实,谈谈我们是如何从虚拟场景中得到启发,向虚拟现实转移。

 

早期的试验作品中,有一部客户的作品名称为《龙虎少年队》(22 Jump Street)。客户想要制作一大批的市场宣传资料,却只能找到短期演员。所以我们想了个主意,只做了一个虚拟场景,亦适用于其它虚拟现实的体验。这算是我们的一次早期试验。

这个想法的最终实现可不是贴一枚“邮票”就行了。在当时的情形下,客户若无法找到演员,我们就不得不套用现有的场景——只有最小数量的固定布景,可能是酒店房间,也可能是会议室,这就是想法最后演变成现实的结果。

 

我们在虚拟现实领域的第一个项目是与Netflix公司完成的,以过往的虚拟场景为基础。Netflix想要我们做的是《超胆侠》(Daredevil),为电影粉丝创造机会,在他们最喜爱的电影中沉浸式体验。我们的想法是,虚拟现实正日益成熟,这个渠道正是赢取粉丝心意,实现沉浸式体验的好方法。此外,虚拟现实的成就之处未必在于被动式体验,而是为观众创造了某种混合式体验。这类交互式体验能够令观众与最喜爱的电影内容互动,以超越想象的方式产生体验。我们就这样上路了,最终将打造出一场盛宴,或是给我们自己一次全方位体验。


image.png


因此,曾用于虚拟场景的技术都保留与转移到新的摄影棚工作中——我们做了扫描,将云点数据与摄影测量相结合,用软件记忆我们的摄影机位,方便准确投影,进而如实重现场景。有一点十分有意思,大部分视觉特效管道拍摄出来的几何图形都是高密度的,画面中的细枝末节都要清晰明了,我们的场景搭建经验非常具体,对每一个场景房间、每一片螺栓、每一扇门都有精确要求。但现实是,我们所推动的大多数工作都依靠游戏引擎,将其作为一种模块化方法使用,能够高效地渲染时间与实时运行数据。这儿就存在某种二元性,值得我们留意,这儿简单提醒一下。

 

这一次,我们遇到了相同的情境,在摄影棚捕捉拍摄。所有的摄影数据与色卡同步。我们绘制了镜头,如此一来就能分离出镜头畸变的画面,搭建虚拟现实的场景。况且,许多细节都能归类于此,因为我们并不十分肯定,观众到底会有何种反应,什么时间点会把视线投向何处。于是,我们想要一开始就能有所确定。届时轮到Jimmy做分享,等到探讨《怪奇物语》(Stranger Things)这部片子的时候,他会详细地阐述我们是如何解决纹理分析率与纹理流的问题。想要从经验中充分吸取教训,这一部分可不能错过。

 

随后,我们就开始规划发展的路径与目标。可惜,要创造这样的世界,我们没有任何捷径,有许多领域趋势相同,但我们一直在努力探索不一样的道路,高效创造,打通某种捷径,为我们打造虚拟现实世界助力加速。


如各位所见,这就是我们大打造的“盛宴”。第二季即将上映,我们的核心理念就是让观众能够体验厄勒克特拉的装备服装,大家可以看到,她与装备链条正在互动,那一边也能互动,粉丝可以戴上厄勒克特拉的装置,亲眼看看她的装置与面具,想要与第二季的道具互动也没问题。这项活动最终演变成我们用于参展的特技项目,跟着我们参加了不同的展会节庆,例如动漫展,《怪奇物语》给钟爱这部剧的粉丝创造了一场沉浸式体验。

 

image.png

image.png


接下来,我为大家介绍一下《怪奇物语》。这部剧的场景十分独到,设定为一座房间,配备了光学追踪功能,首映于电视评论家协会,观众能够在剧中的整间客厅随意穿梭。这是种特别的体验,场景里设有闪光灯、剧透警报,体验者可环视整个房间,屋子内每一处物体都有自己的影子。观众还能够听见旁白Winona Ryder的声音,指引体验者沿着走廊前进,拿起电话——这儿说的是真实的移动哦,拿起的也是一部实体电话。


image.png


电话被标记了光学记号追踪,实时跟踪虚拟电话与实体电话的位置变化。接着,体验者打破第四面墙,有人伸出手摸向那部虚拟电话,实体电话也在那个位置,所以看起来……让人兴奋不已,体验者会被吓得哇哇大叫,真是一场刺激的经历。







本中心长期征集以先进影像技术为主题的优秀原创稿件,稿费从优,欢迎各相关领域从业者、学习者和爱好者踊跃投稿,投稿请寄 contact.fve@bfa.edu.cn

主题涵盖::

先进制作流程:实时渲染引擎、可视化预览、数字资产与虚拟角色、智能拍摄、动作捕捉、三维快速扫描与建模、先进制作管理系统等。XR影像内容:VR/AR/MR/全息影像技术及叙事艺术创新等。未来影像技术前瞻:人工智能、光场技术、体获取与体显示技术、机器人与自动化在影像产业中的应用等。高质量影像:高帧率、高动态、高分辨率、激光光源、广色域等。

详情点击高精尖创新中心征稿启事