关于《阿凡达2:水之道》的技术内容我们曾经发布了两篇内容。今天我们更专注的讲讲制作流程中的面部动画制作管线内容。
Weta早正在2019年就公布了一个全新的面部管线。最近为了配合《阿凡达2:水之道》的上映,正在SIGGRAPH ASIA上又公布了其最新的研讨成果。
新的面部动画系统基于肌肉纤维曲线作为解剖基础。这一新方法被称为Anatomically Plausible Facial System或APFS,它是一个以动画师为核心、以解剖教为灵感的面部建模、动画和沉定位传输系统。
新系统取代了Weta FX不断使用的FACS管线。2019年正在Weta正在制作《阿丽塔:战役天使》中使用FACS方法后,开发团队发觉了FACS系统具有很多问题,如面部肌肉分离、覆盖、线性组合使用和大规模冗余。例如,当FACS映照一组肌肉驱动表情的面部姿态时,为了获得脚够的面部动画保证动画师正在后续制作中实现实正在可信的表演,FACS绑定可能最终会有多达900个FACS外形增加到绑定中。这并不是道FACS是“错误的”,而是道它不是一个基于时间的面部动画而设念的系统。它不是盘绕着道话而建立的,而是孤立的情感表达。现正在Weta需求一个让艺术家间接控制面部行为的系统。
于是Weta开发团队决定从零开始处理整个面部管线。研讨脸上的肌肉,看它们是如何分布的,以及它们是如何连接的。
做一个表情会激活一块肌肉,而其他肌肉被串联激活,或者肌肉被被动拉动。由于肌肉的互相连接方式,正在一种类似于神经网络的网络中。于是开发团队就念为什么不做一个间接使用肌肉作为基础的神经网络呢?目标是建立一个系统,让动画师能够以独特的方式表现下巴、眼睛和肌肉的任何组合活动。
“作为一个基础,这是非常棒的,由于我们现正在能够锻炼这个系统来观察西格妮·韦弗(饰演阿凡达中的格蕾丝博士)的脸,尝试处理“肌肉”正在做什么,然后运转另一个网络,将其传送给角色。”
此外,经过肌肉曲线,动画师能够间接控制面部肌肉。肌肉曲线是为了处理面部问题而设念的,但其方式动画师是能够控制的,而且与以难以置信的高逼真度捕捕到的面部动作相婚配。
APFS系统
新研发的这个APFS是基于178条肌肉纤维曲线或“当变”曲线实现。这些曲线能够收缩或松弛,以提供细粒度的高保真面部表情。端到端系统既向内向外(面部由肌肉纤维曲线驱动),也向外向内(动画师能够“准确”地从面部表面拖动和挪动面部)。该系统不是人体肌肉的1:1映照,由于某些面部方面(如上唇蜿蜒)实际上是由下颌和下面部肌肉驱动的结果。相反,这个系统是一个由178条曲线组成的跨越式阵列,答当一组受解剖教启发的控制,但不答当间接进行肌肉/肌肉仿真和模仿。固然面部肌肉一般是带状肌肉,但APFS曲线没有宽度。正在需求的地方增加了额外的曲线来阐明这一点。肌肉曲线并不是肌肉模仿,“现实上,动画师们不期视这样。”参与该项目的工程师道,“动画师念要帧到帧的控制。他们念要活动变形控制。他们不念设放一个(sim)配放,然后点击播放,看到实际的活动模仿。”
Deep Shape
正在《阿凡达:水之路》中,许多演员都是正在水中表演捕捕的,但他们的大部分面部动画都是正在陆地上进行的二次捕捕,然后与主要表演捕捕相融合实现的。正在进行面部表演时,演员们佩戴了一个立体头戴装放(HMC),由于采用了新技术,其沉量比《阿凡达1》中原始HMC轻。
由于HMC相机的固定立体布放,Weta的团队开发了一种强大的新可视化工具,称为Deep Shape。立体图像用于提供可从任何角度观看的演员实际表演的3D点云沉建。图像是单色的,没有多边形化,但高度还原实际表演。这种新的可视化技术使动画师能够具有一个虚拟化的直观摄像机,就好像正在距离脸部几英尺的地方拍摄一样,而不会出现广角失真和实际拍摄摄像机原始输出的奇怪视角。这样的3D深度沉建视图答当一种更强大的方式来查看嘴唇和下巴的延伸,并判断后期完整可控和沉建的动画能否忠实于原始视图。这是一个非常有用的观看设备。这是史无前例的技术打破,Weta FX是第一个精确实现深度外形可视化的团队。该工具为比较和判断APFS仿真提供了面部地面实正在性的关键参考工具。这是基于端到端APFS的新处理方案的又一创新。
眼睑动画
每条肌肉或当变曲线都有一个关联的当变值。肌肉曲线并没有真正扭曲,但当变值正在其局部空间中提供了沿曲线的收缩或扩张。从某种意义上道,它是长度变化的百分比。实际曲线当变数是无单位的,这有帮于转移到不同的特征。当变值与其道是作为一个集合的一部分,不如道是孤立地发挥作用。例如,对于眨眼,有沿睫毛线(程度)和正交(垂直、上下、眼睛周围)的肌肉曲线。正在这种情况下,程度曲线的实际当变值变化不大,由于它正在眼球上方旋转,而垂直曲线的当变值变化很大。但最主要的是,垂直曲线沿着肌肉曲线的曲线外形缩放——这与眼球的曲线相婚配。正在开放和闭合的混合外形之间进行类似的混合外形过渡,只会沿直线从关闭挪动到打开(不会正在眼球周围蜿蜒)。正在Maya中,能够链接混合外形以模仿盘绕眼球蜿蜒的眼睑,但会再次增加了臃肿的混合外形计数。
下巴动画
正在新系统中,下巴和嘴唇得到了更多的关心,“由于对面部形状的主要控制是下巴,特地是正在对话中,下颚不断挪动。它是形状的主要驱动力。此外,开发团队还留意到任何人的下颚只能以盾牌的轨迹外形挪动。下颌骨或下颚骨经过颞下颌关节与颅骨相连,并由韧带和肌肉固定。因此,能够经过追踪颌上的一组概念点来映照颌的活动范畴。当你将一组这样的点映照到一个人一切可能的对话和表情上时,你就会得到盾牌的外形。这被称为Posselt的活动包络线或Posselt盾牌。
这样肌肉问题得到处理。然后会对演员进行数字头骨的法医拟合。再计算出下颌的活动范畴,然后使用HMC立体相机进行求解以提取深度音讯。
异样,演员的眼睛也处理得很存心。此系统的眼睛模型与演员的巩膜、角膜和虹膜都是相婚配的。经过旋转眼球正在每一帧中调整眼睛凝视方向,使虹膜模型与角膜缘环和瞳孔对齐,这正在每台相机捕捕的图像中都是可见的。由于眼睛的晶状体及其显现的折射,很难追踪眼睛,所以使用多个相机角度来考证对准,并阐明角膜折射的光。即便是一个小的正面眼睛凸起也会使用于每个眼睛旋转,以加强角色的眼睛实正在感。
四面体(Tet)面部体积
由于曲线肌肉只是线条,因此需求正在数字角色的当变肌肉和皮肤之间建立联系。这些曲线捕捕了肌肉动作的线条,但它们也嵌入了实正在的面部。正在这里,经过使用四面体体积离散化角色静止姿态中的面部软组织的体积表示来模仿面部。tet体积位于皮肤和头骨和颌骨之间。tets形成概念上或数教上的“果冻”。正在这个tet体积上对皮肤顶点和颅骨作为位放束缚的整个扫描序列进行了被动、准静态模仿。使用有限元分析(FEA),以帧到帧的方式对135000个tet(受多个位放、滑动和碰碰束缚)进行了“被动模仿”,就产生了解剖教上合理的肌肉行为。这里生成的“肉面具”只正在锻炼阶段发挥作用。
传输姿态库
动画师自然习气于使用姿态库。姿态库并没有什么问题,但姿态不会强制或编码任何活动,组合使用很容易脱离模型。为了更好地提供熟悉的工作环境,为动画师建立了基于当变的动作库。这种由外到内的方法提供了曲线的反向映照。而且考虑到系统的建立方式和自动编码器的使用,动画师不会偏离模型。肌肉拉伸和收缩可能是直观的,但用当变向量驱动面部表情并不简单。该团队结合了一个自动编码器(AE),经过束缚当变向量保持正在合理的面部动画边界内来协帮艺术家。
耳朵动画
团队为演员的数字为身制作动画,做到面部表情非常逼真,然后将动画传输到角色模型上。为了正在动画转换中最大化演员与角色面部的婚配,Weta设念了角色锻炼过程,以分享相当演员的潜正在肌肉行为。3D角色面部模型最终具有相同的共享当变自动编码器,与各自的演员相同。使用用户定义的权沉图精确地映照皮肤,并分别处理眼睛和下巴区域,这样能够更精确地传送面部关键部位的表情。自然,考虑到纳威人独特的外形,需求仔细肠将演员的下颌绑定与角色婚配,用它来弥补牙齿和头骨解剖的偏差。
曲线肌肉系统具有一组向下延伸到颈部区域的曲线,这样能够与身体表演捕捕更好地相结合。然而有一个是独立于这个系统的,那就是耳朵的动画。耳朵本身并不驱动任何东西,而对于纳威人来道,他们的耳朵有着丰富的表现力,人类身上根本没办法表现,所以是一个单独的动画控制系统。
以上就是Weta为《阿凡达2:水之道》开发的新面部管线系统。它能够更精准的把真人面部的表情传送给角色模型,给与动画师最大化的可控性,此外正在前期面部捕捕时就拍摄了更为精准的面部参考,保证了阿凡达角色面部表情的实正在,自然的还原。
感觉不是拍电影,是为了技术而拍电影啊,太强了!
本文拾掇自fxguide
全文完