新闻资讯 深度文章

干货 | 实时虚拟预演在电影《刀背藏身》中的应用

导语:本项目由北京电影学院未来影像高精尖中心资助,项目完成之后,由参与者邵丹(北京电影学院摄影系)、邓宇(上海诺亦腾影视科技公司)、宋震(北京电影学院未来影像高精尖中心)共同撰写了该论文(该论文发表在《电影艺术》2017年第3期,原题目为《实时虚拟预演在电影艺术创作中的应用》)。本文通过在电影《刀背藏身》拍摄过程中使用虚拟拍摄系统的实际体会和技术解决方案这两个角度,对实时虚拟预演提出了创新的思路。                                                                



关键词:实时虚拟、电影预演、电影创作流程、《刀背藏身》


电影实时虚拟预演是当前国际上电影制作流程的最新发展趋势,实时虚拟预演被业界称为是“下一代电影工业技术流程”中的重要一环,是连接导演、摄像、美术、灯光、特效和后期制作等技术流程的桥梁。


实时虚拟预演是以全数字环境为基础进行的,涉及到众多虚实结合的场景、角色的拍摄和互动。因此对制作内容的实时可视化呈现,在虚拟预演中起到了至关重要的作用。实时虚拟预演可视化呈现,一般在电影制作流程每个实际生产环节之前进行。预演在不同制作阶段有不同的分类和应用,总的来说在电影创作过程中起到创意挖掘、叙事探索、元素预呈现、技术方案测试等作用。通过虚拟预演,能够在整个制作团队内达成共识,减少沟通成本和指导实际生产,最终节省制作成本、提高制作效率。

 


一、虚拟预演的历史与现状                



1、    电影的制作需求导致了虚拟预演的诞生

虚拟预演在早期的电影拍摄中通常将它称为可视化预览或电影预视,也有人形象的叫做“动态分镜”,“3D故事板”。指的是为电影拍摄的各个阶段提供可预览拍摄效果的技术。虚拟预演早期的做法是用3Dmax、maya等动画软件,根据导演分镜图用3D模型将拍摄内容简单制作一遍,以低模,简单动画制作,展示出演员走位,取景,摄影机角度,摄影机运动等大方向,供导演,摄像指导等人拍摄时参考。


image.png

早期电影预演工作流程


2、    实时演算技术使虚拟预演得到广泛的应用

近几年来,随着实时演算技术的发展,虚拟预演已经从原始的三维动画制作渲染向实时渲染过渡,同时传感器技术、空间定位与捕捉等技术的加入,使得虚拟预演在影视制作过程的应用范围越来越广,从原来的可视化参考工具已经演变为通过实时交互与实时渲染直接嵌入影视前期到拍摄的所有制作过程中,涵盖了电影融资竞标(Pitchvis)、拍摄方案设计(Previz)、拍摄技术指导(Techviz)和后期制作预览(Postviz)等各个领域,成为影视主创人员不可缺少的创意工具。


image.png

电影<火星救援>实时虚拟拍摄


现在已有像The Third Floor这样的专业公司为影视制作专门提供虚拟预演服务,依托庞大的数字资产库和完善的工作流程,为影视制作专门提供高质量虚拟预演服务。

 



二、 《刀背藏身》拍摄虚拟预演系统使用体会                



在《刀背藏身》这部电影中,我们使用虚拟预演系统对一个大范围、数千人的拍摄场景进行了虚拟预演创作设计,预演系统还原的场景位于河北涞水境内约5平方公里的山地地形。


image.png

<刀背藏身>拍摄外景


该地形属于典型北方山地,山形复杂、植被茂密、交通不便;山地内主要景观为残长城,长城经过岁月侵蚀,采用普通建模手段难以还原;场地制高点地形狭小,设备很难在上面开展工作。在使用过程中,我们发现实时虚拟预演系统与传统拍摄流程相比,有以下优势——


1、    成本优势

成本优势主要是节省了时间成本和拍摄中的创意成本。在实际电影的拍摄过程中,大场景与超多演员之间的拍摄方案设计与场景调度一直都是难以解决的现实问题。在影片技术复景的过程中,由于当天现场大雾,能见度极低,群众演员扮演的敌我无法分清、演员的运动位置、特效炸点的高度、炸点与演员的关系、航拍飞行器高度等拍摄要素都无法在现场进行工作,导演无法在现场进行设计与指导,这种情况下,虚拟预演系统发挥了巨大的作用。导演与摄像、群众演员调度、烟火特效等创作人员直接在虚拟预演系统的电子沙盘上进行可视化沟通与效果设计,通过在电子沙盘上进行演员、机位、特效、航拍等单元的时空同步设计,极大的节省了工作时间和人员调度成本,由于在电子沙盘上进行了创作预演,对预演中发现的问题都有了相应的应对措施,保证了最终拍摄圆满完成。


image.png

实时虚拟预演系统还原的拍摄场景,在重要拍摄位置都有可视化标记

 

2、    效率优势

虚拟预演能够仿真创意设计结果,使创作人员明确所用工具的物理极限,及时发现问题。在《刀背藏身》拍摄过程中,有无人机对大规模战争场景进行航拍的需求,通过对虚拟预演中的无人机进行飞行仿真计算,我们得知如果按照现有的无人机和摄像机,不可能按照预想的速度进行拍摄。


这个问题如果不进行虚拟预演计算,而在实际拍摄过程中才发现的话,将给拍摄带来很多问题,尤其是涉及千人的大场景拍摄。在预演摇臂拍摄的过程中,通过仿真摇臂的运行轨迹,提早发现了现场石头或树木遮挡镜头的问题,及时修改了拍摄器材,将这些问题提前到拍摄现场之外。使用虚拟预演,能够及早发现创意设计中的瓶颈与缺陷,找到实际拍摄中可能出现的限制因素,极大的提高拍摄效率。


image.png

image.png

实时虚拟预演系统拍摄场景细节-摄像机视角

 

3、    交互优势

利用虚拟预演的实时性特点,可以直接对演员、摄像机等拍摄要素进行实时交互操作,由于没有后期渲染的等待过程,使得创意能够实时呈现,创作人员对拍摄效果有了更直观的判断和理解。在《刀背藏身》拍摄过程中,我们利用虚拟预演系统进行拍摄镜头的设计,因为拍摄场地为带有长城的山地地形,几乎没有平地,如果按照传统方式,需要携带摄影器材在山上跑几天才能把全部的取景地点看一遍,并且外景还受下雨、大雾等天气状况的影响,有很多不确定性。


利用虚拟预演所带的虚拟摄像机定位系统,可以很方便的在电子沙盘场景中进行镜头设计,只需要创作人员拿着虚拟摄像机设计运动轨迹,拍摄效果就可以直接反馈在操作屏幕上;同时通过在场景中加入演员和烟火等表演元素,其他创作人员可以同时看到效果,方便多人进行协同创作。


image.png

实时虚拟预演系统摄像机交互与镜头设计




三、 《刀背藏身》电影虚拟预演制作保障实践                



1、资源获取与硬件环境

由于本片重场戏涉及长城野外景及现场上千人的大场面调度,虚拟预演场景资产的物理外观与地理位置正确性至关重要。符合现场实际情况的精确地形图乃至基本的植被分布是保证镜头画面设计如实,演员和器材调度安全可行的关键。


为了实现有效的资源获取进而构建数字资产,我们与诺亦腾虚拟制作团队、智造宝科技的数字地形扫描团队,在正式进组之前一个多月就三次奔赴河北山区外景地进行现场勘景及扫描采集工作。


通过两次现场勘景,以及研究GoogleEarth等数字地图软件等提供的地形参考,结合主创团队现场口述的初步创意,虚拟预演制作团队判断总共需重现5平方公里左右的险要山地,平均海拔1000米,最大高差约400米左右;涉及长城城墙长度2公里以上,敌台(烽火楼)8座。现场勘测同时注意到,由于海拔较高,地形复杂,局部气象条件多变,伴有较强的阵风;另外沟壑众多,植被茂密,日间地面光影反差较大,秋冬季光照均匀分部的时间只有上午11点到下午3点左右。这些因素对航拍航测可能造成不利,需要谨慎安排地形扫描的气象窗口。


长城城墙和敌台分布复杂,由于年代久远,多有坍塌和变形的情况。这些特征对于航拍以及地面拍摄构图都可能是非常重要的创作依据,故团队决定在无人机航拍航测之外同时进行地面多站点激光扫描,配合大量高精度照片以求完整重现长城形态。为了最大限度实现现场创作的自由度,在没有故事版参考的情况下,也决定对于可以攀登的重点敌台内部进行扫描重建,使得机位可以进入长城内部。这也为后来此类镜头的调度创造了条件。


外景原始数据采集工作选择在连续日光条件好无雾霾的天气下进行,虚拟预演制片、制片助理、无人机飞手、助理飞手、地面激光扫描操作员等团队一行8人携带设备驱车二百多公里来到河北涞源长城外景地开始进行地形扫描采集工作。团队分成航拍、激光扫描和图片采集三队,分头行动。


image.png

拍摄地无人机数字资产采集


航拍选定整段长城沿线中点附近的一座小山坡(也是后来实拍主要的飞行和爆破路径点)多次起降从高空对地形进行序列照相。为保证采集精度,我们选用了大疆八旋翼专业飞行器平台,搭载佳能5D Mark全画幅相机和佳能专业红圈广角定焦镜头。相机采取RAW无损格式,单帧分辨达到5760 x 3240超过1800万像素。


激光扫描采用了德国Leica徕卡出品的ScanStation专业三维激光扫描仪,最大扫描范围超过200米,采样点较密的可用范围100米左右。即便如此,由于长城山地的尺度非常大,地形转折多,平均每个几十到百米的地图网格平均需要安排10个乃至更多的站点。同时需要考虑站点之间需要有重叠的部分,以便软件缝合并最终与航测生成的Point Cloud点云合并。最终共计采用超过40个激光扫描站点。


图片采集同样采用佳能5D Mark相机配合不同焦段的镜头拍摄了大量的图像测量建模用素材,以及供模型资产人员用的形体材质参考。


2、支撑平台与工作流程

完成现场采集资源获取只是整个工作流程的开始。回到工作室整理统计各种原始数据达到数百GB。为有效处理这些数据,团队采用了高性能多路工作站和存储集群支撑这些大数据量的密集计算处理工作。


通过在专业照片测量建模软件中反复尝试不同参数,最终确定了数百张航拍照片建模批量处理采取的解算配置;同时在徕卡激光扫描数据处理软件里对40多个站点获取的原始扫描数据进行登记缝合、点云生成和清理等工作,此后采用私有软件和开源MeshLab对不同来源的点云数据进行三维网格化处理。然后通过Zbrush和R3DS WrapX等软件对三角面网格多边形进行四边面包裹生成等处理,并制作材质贴图。最终得到可供导入Unreal实时引擎的基本地形资产。


考虑到虚拟预演中的实时性要求,在Unreal引擎中继续数字场景的完善工作,主要包括植被、天光、外围地形天际线等,同时创建了一个专门为本片拍摄虚拟预演工作现场所准备的虚拟道具、特效和指示符号素材库。


为加快工作进度,引擎资产和集成团队在采集数据处理过程中已经开始并行工作。一旦拿到初步数据,即开始各项测试,如动态植被,烟火等;同时集成团队开始进行搭建虚拟摄影机蓝图等操作逻辑程序开发。诺亦腾团队在北京办公室的实验室里搭建了测试虚拟摄影棚,以便随时对资产和逻辑进行测试和调试。


整个虚拟资产制作和引擎交互逻辑搭建过程真正体现了虚拟制作条件下的前期预演的特点:首先是流程上的非线性,所有工序可以并行,等待时间少;其次是交互性强,早期低精度数字资产可以马上在实时环境中视觉呈现,便于调整效果并逐渐迭代到高精度;测试环境就是实际工作环境,对于配合主创团队工作种可能碰到的需求有直观的分析和预演,相当于是预演的“预演”。


最终完成的实时虚拟预演工程包含完整、符合真实空间比例的地形模型,包含真实贴图也极大弥补了模型精度的不足;参照航拍照片,在地形上重建了重要的山石和植被,基本符合实际分布情况;天光系统可以模拟从上午到下午的光线变化,但限于时间因素没能实现地面的物理光线反应;工程还包根据剧情需要提供的三种以上符合比例的角色静态模型资产,采用不同颜色和外形特征区分平民、日军、中国军队,以及男女主人公等;多种烟火爆炸等实时特效,可以在引擎中任意添加缩放旋转叠加;电影摄影机模型和15米摇臂有效范围指示网格球等;地磁、敌台序号和不同规格标高尺和地面测量尺等指示符,方便现场识别朝向和标注。


这些工作在后面的实际预演过程中证实是非常必要且有效的。数字资产制作和虚拟预演逻辑搭建团队包含虚拟制作制片人员、扫描处理专家、数字资产艺术家、实时引擎技术研发、技术美术和虚拟摄影棚技术指导等共13人左右,总共耗时2周。如以传统方式制作和在三维软件里搭建,人力和时间开销可能以十倍记。


3、现场搭建与创作交互

本项目虚拟预演主要依靠上海诺亦腾影视科技公司提供的Trance传神虚拟拍摄系统实现。在数字资产制作和虚拟预演逻辑搭建过程中,诺亦腾团队已经在北京办公室搭建了测试摄影棚,实际上这个系统就是最终在现场使用的系统。


传统虚拟摄影棚主要依靠多镜头光学运动追踪系统实现,如已经在很多影视拍摄中使用的品牌:Vicon、Motion Analysis和后起之秀Optitrack等。这些系统都是基于先进的计算机视觉算法,由架设在场地中的多个高速摄影机同步捕捉和检测目标特征点的运动来实现人物动作、道具乃至摄影机的跟踪和实时空间坐标输出。


此类系统的优点是软件算法成熟、精度高、数据准确。其缺点也较为明显,为了保证特征点始终可见,通常依靠增加跟踪用的高速摄影机数量来提高系统的鲁棒性,根据制作复杂度不同,摄影机数量最多可达上百台;另外虽然有智能算法的保障可以提高特征点的识别度,但在复杂拍摄环境和光线效果下系统依然可能出现误判导致数据与实际情况不符。由于这些问题,一般此类系统都架设在固定的摄影棚中,在恒定的光线和安装条件下保证较稳定的使用。如果需要移动使用,庞大的光学系统准备时间会相当长,并且难以在非标准环境中搭建。这也使得购买或租用光学系统的费用相对较高。


诺亦腾开发的Trance传神系统即针对更高鲁棒性、适应性、灵活性设计。基于诺亦腾多年的惯性运动捕捉技术,巧妙结合光学系统精度高的优势,将惯性传感器和主动光学跟踪结合在一起研发了混合运动跟踪系统,与纯光学定位系统不同的是该系统克服了定位时间长、安装调试困难的问题,可以根据需要灵活搭建与部署。


在这样的混合系统支撑下,可以快速便捷的针对虚拟预演和拍摄进行的引擎和软件开发,Trance传神虚拟摄影系统有力支持了本项目的创作。


在剧组转场河北井陉同时,虚拟预演团队用半天时间打包设备,全套设备装箱后直接可以放在商务车后备箱里。虚拟预演制片、技术美术、虚拟摄影棚技术指导共6人直接奔赴剧组驻地山区宾馆。到达后经协调部署空间,仅用不到一天时间即完成在一个6米乘4米层高3米的餐厅房间里搭建起了完整的虚拟摄影棚环境并且顺利在预制好的Unreal工程中启动实时虚拟摄影机。为方便工作,同时用一台DLP投影机直接在现场提供整面墙大小的实时监看画面。


整个系统仅用4个光学跟踪摄影机实现对摄影机的实时捕捉。实际上在测试摄影棚里,还可以同时追踪两个虚拟角色及若干道具。对现场条件除了正常的市电插口没有任何其他要求,也无需特殊照明。系统搭建完成后,最低限度只需要技术美术和技术指导两人就可以操作。同时我们也将虚拟场景的正北方向对齐当地地磁正北,以便临时虚拟棚朝向与景地现场实际情况对应。


创作交互过程其实耗时不长。剧组日间需要外出拍摄,如无夜戏只有傍晚时间可以来工作。搭建完成第二天晚上,先由摄影指导在摄影棚里试拍。摄影指导直接操作虚拟摄影机进行构图走位等模拟调度,虚拟预演团队实时配合调整摄影机和场景比例关系并通过在场景里添加占位符和标记符等操作随时记录镜头take数据。大概两个小时左右,已经初步完成含航拍在内的若干重要镜头设计,同时对美术制片爆破烟火等部分的配合要求有较为具体的掌握。


完成设计后,从引擎输出的视频直接交付给摄影供与剧组其他部门沟通用。再次转场到涞源长城景之前的一个傍晚,包括导演的所有剧组主创完成日间拍摄任务后一起来到临时虚拟摄影棚,由摄影指导持虚拟摄影机重现此前设计的镜头。画面呈现所有上设计好的元素如炸点、航拍标高参考、群众演员站位、摇臂位置和运动范围等。


整个剧组马上就艺术效果、具体部门配合要求、实施安排等等展开讨论。并且在虚拟预演现场调整若干机位,增加若干镜头设计。由于有直接的视觉引导与反馈,以及预制好的包括虚拟道具角色在内的各种组件,镜头之间等候技术美术进行软件操作的时间不过一两分钟,而虚拟摄影机等硬件则连续不断工作,真正做到随拿随用。


根据创作团队的需求,针对摄影组采用的ArriAlexa 摄影机和蔡司MP系列镜头,虚拟预演团队预先开发了虚拟摄影机的精确FOV镜头开角匹配工具,加上符合真实比例尺的场景地形,虚拟预演镜头画面的还原度非常高。如最长的一个大广角航拍镜头,飞行高度在海拔1100米,全长400米以上镜头有效长度250米左右,跨越两个长城烽火台和其间的峡谷,我们在虚拟场景里三分之二行程处设置了高差不到10米(大约在海拔1090米到1100米之间)的安全飞行高度区间指示标杆,在画面、构图等元素满足导演和摄影需求的同时,严格仿真和论证了地面炸点和航拍飞机的安全距离。


根据虚拟预演镜头设计方案的仿真结果,制片方更换了航拍团队。新的航拍飞手在实拍当天凌晨才到达河北涞源的剧组驻地宾馆。此时预演团队已经从井陉来到涞源,在宾馆会议室里二次搭建了预演虚拟摄影棚。在飞手还没有到现场看过外景的情况下直接与摄影指导拿虚拟摄影机在虚拟预演系统中沟通拍摄方案,三四个个小时后直接奔赴现场准备拍摄。当天还有将近千人的群众演员在海拔1000米的长城上配合此航拍镜头,涉及大量复杂的协调和安排工作。


最终拍摄任务顺利完成,虚拟预演镜头画面在实拍中的还原度达到95%。运用虚拟预演系统准确表达和传达创作意图,统一协调安排所有各部门,这无疑是相关工作完成的必要和有力保证。




四、结语                



实时虚拟预演是一种协作式的艺术创作形式,通过技术手段将电影工业化流程中的各个环节通过实时可视化手段连接在一起,正在逐渐成为连接电影投资、创意、拍摄、后期过程中的标准与依据,通过在电影《刀背藏身》拍摄过程中实时虚拟预演的使用,我们感觉利用实时虚拟预演的特点,能够使创作人员从静态叙事的传统方法中解脱出来,可以在虚拟系统中进行动态的非线性叙事,大量节省了创作时间和成本。未来在国内电影拍摄中这种技术手段作为一种强大的影视流程生产力工具必将发挥更大的作用,为提升电影创作质量和提高电影拍摄效率提供越来越多的支持。

 

作者:

邵丹 北京电影学院摄影系

邓宇 上海诺亦腾影视科技公司

宋震 北京电影学院未来影像高精尖中心

 

参考文献:

探索行业未来:DreamSpace项目虚拟制作流程  cgangs.com

可视化动态预览:好莱坞电影背后的魔法棒张文佳、Auriel

WikipediaPrevisualization,  https://en.wikipedia.org/wiki/Previsualization

The Thirdfloor Visualization https://thirdfloorinc.com

Dan Sarto Casey Schatz Talks Techvis on ‘The Martian’

Avatar - Making Of Creating The World Of Pandora,


附:《刀背藏身》预告抢先看↓↓↓






本中心号长期征集以先进影像技术为主题的优秀原创稿件,稿费从优,欢迎各相关领域从业者、学习者和爱好者踊跃投稿,投稿请寄 contact.fve@bfa.edu.cn

主题涵盖::

先进制作流程:实时渲染引擎、可视化预览、数字资产与虚拟角色、智能拍摄、动作捕捉、三维快速扫描与建模、先进制作管理系统等。XR影像内容:VR/AR/MR/全息影像技术及叙事艺术创新等。未来影像技术前瞻:人工智能、光场技术、体获取与体显示技术、机器人与自动化在影像产业中的应用等。高质量影像:高帧率、高动态、高分辨率、激光光源、广色域等。

详情点击高精尖创新中心征稿启事