影像沙龙

沙龙纪实 | 表演艺术中的智能交互媒体研究

导语:

本期沙龙探讨了采用虚拟/增强/混合现实技术(VR/AR/MR)、可穿戴计算、智能传感设备等,包括本领域经典案例以及主讲人的研究项目,具体围绕媒体艺术,表演艺术创建新型的交互模式,构建基于特定使用场景的交互方法与反馈机制,进一步探索人工智能以及认知科学在艺术领域的前沿交叉研究。「周末影像沙龙」是由本中心举办的影像领域产学研交流平台,每周选取一个产业热点作为主题,并邀请业界专家和企业代表进行演讲与交流,旨在为该领域的先进技术、产品和人才提供对接产业的舞台。



blob.png

闫烁 北京理工大学智能数字表演博士、MIT MEDIA LAB联合培养博士

 

家好,今天的主讲内容是表演艺术中智能交互媒体的研究。我们会从交互行为出发,给出一些经典的表演案例以及我个人的研究项目。在内容概述方面,大致分为五个部分,首先是智能表演空间的定义以及它与传统表演空间的区别;第二部分是“AR”舞台的变迁,“AR”即“AugmentedReality”,也就是对传统舞台进行数字化增强;第三部分是表演者视角,是指在练习或表演过程中,表演者如何对其自身的行为变化进行观察;第四部分观众感知,也是今天演讲的重点,通常受众反馈对一场表演的成功与否能起到决定性的作用;最后未来的表演,是一个比较开放的部分,我会就未来舞台的发展方向提出一些自己的看法。


blob.png




什么是智能表演空间(Intelligent Performance Space,IPS)?




智能表演空间(IPS)这个概念是我提出来的,就是怎样能够让传统的表演空间更加智能化。传统表演空间中一般具有三个元素,表演者(Performer),观众(Audience),和表演内容(Performance Content)。这三者之间的关系,尤其是表演者和观众之间,是一种双向交互的关系,双方都同时与对方进行观察和反馈行为。


blob.png

表演空间中的交互行为

 

表演空间其实有两层含义,第一是指其物理特性,即空间本身具有一定的容纳度,第二是指场所特性,也就是说,只有当实体景物是作为反映表演事件的场所时,才具有真正的表征意义。而智能表演空间,目前我们可以分成两个部分来看,一个是表演者和表演内容之间的交互,我们通过为表演者佩戴可穿戴设备来对表演者自身的行为进行观察,然后通过多媒体技术映射到表演内容当中去,同时产生相应的变化反馈给表演者。


第二个部分,观众和表演内容之间的交互,其更多的是一种间接交互行为,我们可以通过各类生理信号传感器,对观众进行监测。通过数字信号处理,识别与理解,生成情感监测模型,通过观众的实时反馈对表演内容进行改变。在观众和表演者之间,其实也有一种隐性的交互在里面,但关于这方面目前还没有具体的研究成果,更多的还处于实验概念阶段。


blob.png


“AR”舞台的变迁(Augmented Theatre)



首先,早期的“AR”舞台原型是2000年MIT Media Lab所设计的stage“IVE”(Interactive Virtual Environment)。其整体结构所占面积大致为15㎡,前置视角向下的广角摄像头,后置单面的投影屏幕。一旦目标舞者进入到摄像头的捕捉范围之内,即对其手部,头部,前胸以及双脚进行定位,并将每个定位点视觉化为一个球形体,与一种乐器声效相连接。不仅将舞者的动作变化抽象成一种视觉化的语言投影到屏幕上,同时还糅合了音乐的创作,从视觉和听觉上对舞蹈表演本身都进行了充分的表达。


blob.png

blob.png

现场观众


十年后,Adrien和Clarie两位法国设计师开始创作一种前卫现代艺术表演,主要通过视频投影、电脑成像、以及传感器的动态捕捉,来配合表演者完成视觉化的效果呈现。他们开发出了一套全新的影像创作工具,能够将一些看似不相干的元素,比如杂技、舞蹈、或音乐,完美的融入到另一种视觉创作当中,呈现出一种潜在的,诗意化的表现形式。我们可以将其归结为一种新颖的数字舞台创作美学。


在这十年间,“AR”舞台的变化主要体现在视觉呈现形式上。从最原始的单一屏幕,变成了现在的多屏、沉浸式的表现环境,在视觉空间上进行了拓展。然而在所有的舞台表演中,其关注重点仍是表演者对于表演内容的创作,同时这也是一切交互行为的源头,对未来表演的发展具有重要的启示作用。


blob.png

Adrien M & Claire B 的公开表演《Hakanaï》

 

表演者视角(The Perspective of Performers)OutsideMe是我们团队在2015年人机交互会议上发表过的一个研究项目。这项研究的出发点是为舞者设计一套可以进行视野扩展的表演交互系统。一些传统的排演方式,比如对照镜子或录制练习视频,都会产生一定的时间滞后性。OutsideMe能够让舞者在动作排演,或者说是舞蹈创作的过程中,全方位的,实时的看到自己的动作变化,并且对真实世界环境具有较强的感知力。


blob.png

 

我们在Oculus Rift 头盔上叠加了一个前置摄像头,通过前置摄像头,我们可以捕捉到现实世界中的画面,也就是说,当舞者戴上头盔之后,能够看到真实世界环境,这种方式也叫做“Transparent VR”。在旁边我们放置了一台Kinect,用来捕捉舞者的动态图像,并将其与真实环境进行自然融合,那么舞者可以在排演过程中持续的看到自身的动作变化。我们设计了三种交互场景用于实验测试。第一个是表演者的自我排演(self-practicing);第二个场景是虚拟指导(training withvirtual dancer),我们将标准化的舞蹈动作进行预先录制并叠加到真实图像中,舞者可以跟随标准动作进行学习;第三个是舞者间的排演(rehearsing with partner),可以让远程的舞者在同一空间进行结组练习(具体的实验效果参见视频:http://vimeo.com/124795730)。


未来这个想法可以在AR头盔上进行重现,不仅仅是舞蹈,太极拳、瑜珈、或是一些体育项目都可以使用这样的方式来进行动作观察和姿势纠正。



观众感知(Audience’s Perception)



2011年,美国北卡罗来纳大学人机交互实验室的Celine教授使用GSR设备监测观众在观看表演过程中皮肤电信号的变化情况。她发现当观众感受到兴奋,或者惊异等情绪时,GSR电阻会减少,证明生理信号可以用来检测表演内容与观众反馈之间的关系,并且GSR曲线与人们情感当中的激发维度普遍呈正相关。2013年,研究员将观众的生理信号监测应用在电影领域,根据观众的EEG脑电信号状态,电影自动生成四个不同的结局作为观众反馈,但这从根本上也与电影的叙事方式相违背。



blob.png

主讲人闫烁


2016年,我们针对观众感知做了两项研究。


首先是将北京电影学院表演系的舞台剧《德龄与慈禧》作为实验,创建“基于EEG的现场表演观众参与度的监测与评估”研究。我们在这部十四幕的舞台剧中选取了两幕,并设置为两个阶段(矛盾起点与对立冲突),然后分别对每个阶段中观众的EEG信号进行采集与分析。选取这两幕的原因是,一方面在表演内容的复杂性上有显著的差别,同时表演者的情感激烈程度有所不同,那么对观众也会产生很不一样的影响。


blob.png

北京电影学院表演系《德龄与慈禧》的实验采集现场


实验结果显示,相比于矛盾起点阶段,在对立冲突的阶段中观众的θβ频段在脑部额叶区域的活动水平要明显升高,说明观众的关注度更高,沉浸式的体验感更强。另外在情感维度方面,我们也发现观众的激发维度与其参与度水平呈现一定的相关性。


我们的第二项研究主要是创建了“基于数字表演的自适应性脑机交互系统”。在上一个研究中,我们对观众在现场表演中的参与度进行了监测,而接下来我们希望能够将舞台数字化,可编程化,从而根据观众的EEG参与度曲线变化实时调整表演内容并进行反馈。这项研究于2016年在IUI人机交互会议上发表。


blob.png

数字表演自适应性脑机交互系统概念图

 

在系统搭建方面,首先我们对实际舞台进行了数字重建,其中包括舞美布景,舞台机械,以及灯光特效等等,同时对表演者的动作进行多次捕捉,将每套骨骼数据添加到演员的模型上,最终合成为一场完整的表演。在实验方面,我们仿真了歌剧《齐格弗里德》以及动作舞蹈《万马奔腾》两场表演并进行对比,根据舞台表演理论,为每场数字表演分别设计多组与内容相关的表演诱因。实验结果表明本研究提出的观众参与度自适应阈值检测算法可以准确地检测出观众的参与度状态,同时不同模式下的表演诱因对观众的参与度均有提升作用,但在不同类型的表演中存在一定差异。有关这项研究的详细内容请参见论文:http://dl.acm.org/citation.cfm?id=2856768&CFID=743101633&CFTOKEN=68924857



未来的表演(Future Performance)



我们可以大胆设想一下,未来的舞台表演形式会发生什么变化?从视觉呈现上看,去中心化以及去空间化可能会成为一种趋势。中心化就是观众是固定在观众席上的,以舞台为中心。去中心化最先在VR电影和先锋话剧中有所应用,结合舞台表演,就是观众有可能出现在舞台中的任意位置,甚至直接参与到表演活动中来。


去空间化,现在听起来好像有些不切实际,目前的表演活动仍然需要物理空间作为媒介。然而若我们利用真实世界作为舞台环境基础,并采用AR技术,将表演者与自然环境融合,即可创造出一种混合现实的表演艺术形式,现在已经开始出现这方面的表演原型设计,那么这将会是表演艺术的又一次革新。