所有产品

和记娱乐「面部动作捕捉」是一项什么技术?主

  面部动作捕捉(Facial Motion Capture),有时也被称为「面部表情捕捉」(Facial Expression Capture)。它是动作捕捉(Motion Capture)技术的一部分,指使用机械装置、相机等设备记录人类面部表情和动作,将之转换为一系列参数数据的过程。

  与捕捉由关节点构成、较为稳定的人体动作相比,面部表情更为细微复杂,因此对数据精度要求更高。

  CG 电影、大型游戏在预算允许的情况下,倾向于选择捕捉真人面部来完成角色的演出。与人为制作的动画角色表情相比,通过捕捉真人面部动作生成的角色会更具线 年,Lance Williams 在论文《Performance-Driven Facial Animation》中讨论了「一种捕捉真实面部表情用于计算机生成人脸的方法」,这被认为是第一篇讨论面部动作捕捉的论文。

  与人体动作捕捉设备类似,这些面部动作捕捉设备通常由多个关节和刚性连杆组成,关节中装有角度传感器,固定在人的嘴部、眼部等位置。运动产生时,角度传感器可以测的角度的变化,依据连杆的长度计算出固定点在空间中的位置和运动轨迹。

  机械式设备的优点是成本低、精度高,可以实时测量。缺点是使用起来不方便,对表演者的表情限制较大。

  1992 年,SimGraphics 为面部专门开发了面部动作捕捉系统「Face Waldo」,通过固定在双颊、嘴唇、下巴、眉毛等位置的传感器追踪脸部动作。「Face Waldo」辅助完成了任天堂产品发布会上的实时 Mario 形象演出,佩戴该设备的演出者隐藏于幕后,通过屏幕上的 Mario 形象与观众交流。

  目前几乎所有的面部动作捕捉设备都基于光学,从数据来源(即光学信息获取设备)上可以分为:

  捕捉面部二维数据及其变化的基础设备是光学镜头。通过算法标记、处理捕捉到的数据,理解人的面部表情及动作,完成虚拟形象的合成。

  除数码相机之外,设备也可以是电脑摄像头、手机前置摄像头等移动设备上的摄像头,优点是成本低、易获取、使用方便,缺点是捕捉精度与其他方法相比较低。

  三维数据即在通过光学镜头获取二维数据的同时,通过一定的手段或设备,获取画面的深度。

  阵列即以一定间距和规则摆放相机,为面部动作捕捉设计的相机阵列通常呈环形。演员需要居于中心点进行拍摄,目的是通过不同视角所获的不同人像,来获取人面部表情及运动的三维数据。

  结构光是最为常见的获取画面深度的方式。在光学镜头之外会配合红外镜头,有时也需要泛光照明灯、泛光感应元件、点阵投影器等辅助设备,来获取人脸的深度信息。

  点阵投影器可以向人脸投射肉眼不可见的光点组成的点阵,脸部的凹凸不平会使点阵形状发生变化,红外镜头可以读取点阵图案,再与前置摄像头拍摄到的人脸通过算法相结合,以获得带有深度信息的面部信息。

  基于标记点的面部动作捕捉系统较为常见,标记点数量不定,由配套使用的设备及系统决定。面部标记数量最多可能达到 350 个,需要与高分辨率相机等设备配合使用。

  设备通常为头戴式。这些设备可与姿态捕捉系统配合使用,演员的表演过程连贯不受影响。依拍摄场景、实现方式不同,有时也会改由他人辅助手持拍摄。

  无标记点方法通常依靠鼻孔、眼角、唇部、酒窝等标志性位置,确定脸部的表情和运动状况,这种方法最早由 CMU、和记娱乐IBM、曼彻斯特大学等机构通过使用主观表现模型(AAM)、主成分分析(PCA)等模型及技术实现。

  无标记点面部动作捕捉系统也能追踪人的瞳孔、眼皮、牙齿咬合等细节,帮助完成动画合成。有时需要对拍摄到的图像进行人工处理,如对极限表情进行面部勾线等等。

  此后出现的无标记点面部捕捉系统如 MOVA 、Dynamixyz,都是目前在用的无标记点商用面部动作捕捉系统。

  如 Faceware 的面部动作捕捉系统使用的是头盔式单个相机,没有红外功能,且不需要标记点

  ;推出的 Cara 解决方案使用了多个相机,需要面部有标记点;Face/Off 需要向人脸投影;MOVA 系统虽然没有使用标记点,但需要在脸部涂抹特殊的荧光涂料。>

  电影、电视剧、游戏中的虚拟形象,在捕捉演员的面部动作后通常需要较长时间的调整、渲染和合成,以获得更好的表现效果。

  这种方法还可以突破演员的年龄限制,在电影《花与爱丽丝杀人事件》筹备拍摄时,此前拍摄《花与爱丽丝》的演员年龄过大,最终使用动作捕捉设备和电脑合成完成了拍摄。

  实时应用通常带有展示性质,如 Vicon 与 Epic Games 合作展示的「Siren」形象,身穿动作捕捉套装和面部动作捕捉设备的演员可以即兴表演,三维「Siren」可以实时复制演员的动作。