AniTalker-开源照片+音频视频生成器 脸部表情 嘴形同步

简单来说，AniTalker是一个开源的视频生成框架，它可以将静态的肖像照片和音频输入转化为具有自然流动动作的动画对话视频。它通过一种创新的运动表示方式，有效地捕捉了广泛的面部动态，包括微妙的表情和头部运动，从而生成栩栩如生的动画视频。

此外，AniTalker使用了两种自监督学习策略来增强运动描绘，一是从同一身份内的源帧重建目标视频帧以学习微妙的运动表示，二是通过度量学习来开发身份编码器，以减少对标记数据的需求。同时，它还集成了扩散模型与方差适配器，可以生成多样化且可控的面部动画。

总的来说，AniTalker是一个强大的工具，它能够将静态的肖像照片转化为动态、生动的视频，对于游戏、广告、电影等领域的动态头像制作有着巨大的潜力。同时，由于其开源的特性，开发者们可以根据自己的需求进行修改和优化，进一步拓宽了其应用范围。

AniTalker如何使用

演示：

https://x-lance.github.io/AniTalker/

GitHub：

https://github.com/X-LANCE/AniTalker

论文：

https://arxiv.org/abs/2405.03121