带有 OB视讯官网Faceware 的面部动作捕捉帮助独立创作者 Sowl Studios!

  新闻资讯     |      2023-05-13 22:21

  OB视讯当 Solomon 和 Nerissa Jagwe 夫妻团队组建艺术、动画和数字制作机构Sowl Studios时,他们的使命是通过挖掘丰富多样的非洲遗产,为他们的两个孩子、其他孩子和子孙后代创造内容学习机会——并几乎都是在自己家里做的。

  结果是 Sowl 的 Nkoza 和 Nankya 历险记,这是一部动画系列,讲述了两个角色,目前可以通过YouTube 频道和相关应用程序观看。地理、计数和语言(例如卢干达语)以及其他重要的文化方面是应用程序和视频的核心组成部分。

  令人难以置信的是,角色的面部动画都是使用一系列可访问的工具仅用有限的资源制作而成的。这包括使用 Faceware 的硬件和软件启用面部动作捕捉,该软件由 Faceware Mark IV 头盔式摄像头 (HMC) 和 Xsens 动作捕捉套装以及其他工具组成。

  在深入研究 3D 角色动画之前,Solomon 和 Nerissa 已经开发了一款非洲语言应用程序,父母可以使用它来帮助孩子更多地了解他们的文化,但他们想更进一步。这就是 3D 角色 Nkoza 和 Nankya 的用武之地。

  所罗门说:“我们着手扩展我们的语言应用程序,以帮助父母使用包含引人入胜的内容的教育工具。”他补充说,动画主要是在他们的“客厅”中完成的。

  事实上,为了制作应用程序和 YouTube 频道的内容,他们需要快速高效的方法来完成面部动作捕捉。作品背后的小团队分布在三大洲,其中一位主要配音演员位于英国(所罗门和尼莉莎在弗吉尼亚)。

  当 Faceware Studio 发布并且我们看到支持使用视频的功能时,我们非常兴奋地尝试了一下。它让我们相信我们可以通过 Faceware Studio 处理它们来驱动我们角色的面部动画。

  作为 Nkoza 和 Nankya 面部动画探索的一部分,Solomon 说他也一直在“寻找一种耐用且轻便的头戴式摄像头系统来捕捉面部表情。”他甚至制作了“自己的自制系统来帮助捕捉我自己的表演,但它太重了,我当然不能相信它与其他配音演员一起使用。”

  然后,Faceware 向他发送了 Mark IV 系统。“我兴奋地在云 9 上。头盔佩戴舒适且重量轻。它提供了一种无线解决方案,可以在表演时更轻松地四处走动,而无需连接到计算机。”

  然后是 Mark IV HMC 上重构的 LED 照明系统。所罗门表示,他之前曾在自制的头戴式摄像头系统上尝试过各种照明选项,但由于面部光线过亮而导致视频过载。

  “我使用 Mark IV 系统记录了自己表演一首诗的过程,以及 Nkoza 和 Nankya 历险记中的故事,”Solomon 补充道。“我们的儿童演员有一些场景需要我添加一些额外的动画,所以我加载了音频并进行了口型同步以匹配我儿子和女儿的声音。我能够使用来自 Faceware Studio 内部 Mark IV 系统的视频作为视频输入,并使用专业头显作为面部跟踪模型,并将其传输到 Reallusion iClone 中。”

  Solomon 发现与 Mark IV 系统配合得很好的是它在可穿戴方面的灵活性和它的照明。例如,提供三种尺寸的头盔,每种尺寸都有额外的泡沫衬垫用于内部,以确保紧密贴合。

  “这是一个非常周到的选择,因为我有两个孩子为我们的 Nkoza 和 Nankya 角色配音,”所罗门说。“所以,如果你有儿童演员在你的电影或儿童系列剧中扮演孩子的角色,他们可以选择戴上其中一种头盔来捕捉他们的面部表演。此外,Mark IV 系统的便携性非常好,腰带上装有可充电电池,可以更轻松地长时间工作,同时使用 Xsens 套装进行动作捕捉。”

  Mark IV HMC 还配备了一组新设计的卡入式固定杆支架,相机就位于该支架上。所罗门按照图解手册逐步说明设置头盔支架。“新设计使得为新会话和后续会话调整摄像机角度变得更加容易。摄像头设置在可调节杆上的正确距离,这消除了您在使用头戴式摄像头拍摄的视频中经常看到的鱼眼镜头外观。”

  对于完整的捕捉过程,所罗门一直在使用 Xsens Link 套装进行身体捕捉。“我过去曾使用过其他惯性解决方案,但 Xsens Link 套装数据的准确性让我完全震惊。为我节省了很多清理时间。”此外,Xsens 与用于面部捕捉的 Mark IV HMC 的轻松集成意味着捕捉可以完全无线进行。“两个系统的无缝协作,”Solomon 详细说明,“通过 Faceware 的 Shepherd 软件实现,该软件通过 KiPro Rack 与 Xsens MVN animate Pro 软件同步记录来自 Mark IV 系统相机的视频”

  还添加了 Manus Prime II Xsens 手套,它允许捕捉手指跟踪和全身数据,以创建孩子们跳舞的片段。“这为我们节省了很多时间,因为如果我们没有 Xsens 套装和 Manus 手套,我们将不得不为手指和身体动画设置关键帧。”

  拥有与手指和全身动作捕捉数据同步的视频数据非常有帮助,因为当我们使用 Faceware Studio 中的视频来驱动 iClone 中的角色时,它可以节省我们的时间。

  以下是 Sowl Studios 如何在他们的“客厅”中为 Nkoza 和 Nankya 处理面部动作捕捉和动画,从 go 到 whoa。他们首先向配音演员发送剧本和故事板,详细说明环境录制要求的规格,强调稳定镜头和无噪音音频的必要性。

  然后配音演员发回录制有音频的视频。这种工作流程无法通过其他几种更便宜或临时解决方案(例如智能手机视频捕获)实现。Faceware 允许在捕获过程中具有显着的灵活性。

  “我们将该镜头作为媒体输入类型加载到 Faceware Studio 中,”Solomon 继续说道,“并选择了一个固定摄像头作为面部跟踪模型。然后我们启用流媒体并将我们的自定义角色加载到 iClone 中。”

  该项目是一项家庭事务,他们每个人都佩戴 Mark IV HMC 来执行动作捕捉面部表演。“我的妻子作为表演演员扮演了重要角色,我们的女儿也是如此,她是小 Nankya 的声音,我们的儿子是 Nkoza 的配音演员,”所罗门说,如前所述,他也特别感谢了解 Faceware Studio 中可用的一些新选项,以帮助启用动画工作流程。

  “我喜欢添加视频作为媒体输入类型的选项之一,”他说。“以前有两个选项可以用来阅读配音演员的表演;通过网络摄像头和一系列图像。在当前版本中,现在可以添加视频作为源来驱动 3D 角色的面部动画。”

  “这使得我可以使用来自海外队友的视频,尤其是当涉及到英国戴安娜·卢旺加 (Diana Lwanga) 扮演的 Maama Nankya(Nkoza 和 Nankya 的妈妈)角色时。我们能够使用她远程录制的视频,使用 Faceware Studio 中的视频源功能让许多镜头栩栩如生。”

  Solomon 最喜欢的另一个 Faceware Studio 功能是“动画调整和动作效果”,他认为这已成为 Sowl Studios 面部动画工作流程中不可或缺的功能。

  “能够在录制最终镜头之前实时微调面部动画是非常宝贵的,它使我们的面部动画制作过程变得非常快。我们可以调整头部、嘴巴、眼睛和眉毛等面部元素,并立即在 iClone 中看到结果。配音演员的举止各不相同,因此对于每次拍摄,我们都可以保存特定配音演员的个人资料,并在我们从他们那里拍摄新的面部表演视频时重新加载。”

  不过,他说,这意味着仔细规划录音和面部动画至关重要。当被问及在这方面他可能会给其他创作者什么建议时,所罗门专注于提前准备配音演员。

  “配音演员的灯光和面部朝向非常重要。我们尽最大努力过度传达配音演员使用的灯光和相机位置。

  充分利用您的动作捕捉系统。搜维尔科技提供多种培训选项,使您成为专家级用户。

  如果您预算不多,又想使用产品,Faceware 可供租用。可来北京公司使用或者给您寄过去您自己使用。与 Vicon Vantage 和 Vero 相机一起使用。