这个让数字人声音完美匹配画面还匹配表情和情绪的对口型项目已经正式在即梦上线了。

亮叔体验了一下,效果非常不错,可以说是目前支持中文效果最好的对口型服务了。

以往,对口型视频往往存在一个通病,那就是看似嘴型对上了,但总感觉这个声音不是他发出来的,以至于大家看对口型视频的时候,会有一种割裂感。

字节跳动和浙江大学的科研团队联合开发的基于音频驱动的视频扩散模型LOOPY完美解决了这个问题。

不同于以往的对口型只是张张嘴,Loopy可以让对口型视频中的角色在说话或唱歌时,还自动带上该语境下相应的语气,情绪和表情。

它可以精准地”指挥”虚拟形象的每一个细微动作,例如叹息等非语音动作、情绪驱动的眉毛和眼睛运动以及自然的头部运动。

目前,这一功能已经集合进字节旗下即梦的视频生成模块内:

亮叔上传了一张女孩的照片测试一下,

即梦里面的对口型目前可以选择两种对口型方式:

1、文本朗读

即梦的操作基本都很简单,只需要上传你要对口型的角色图片或视频,然后输入文本,选择一个配音即可。这里亮叔选了一个高冷御姐的配音,测试效果如下:

2、上传本地配音

而且,你不但可以让她说话,还可以上传一段唱歌的音频,让她开口唱歌:

这里亮叔选择了一段抖音最近比较火的音乐片段,看看效果:

感兴趣的可以自行体验哦~入口地址:点击前往

点击查看更多网赚项目及相关软件