VideoReTalking 是一个新颖的系统,用于根据输入音频编辑真实世界中的说话头部视频,生成具有不同情感的高质量和唇部同步的输出视频。

该系统将此目标分解为三个顺序任务:

  1. 具有规范表情的人脸视频生成;
  2. 音频驱动的唇部同步;
  3. 用于提高照片真实感的人脸增强。

wav2lip和VideoReTalking超分后效果对比

文章目录

  • 基本原理
  • 准备工作
    • 创建虚拟环境
    • 激活虚拟环境
    • pip安装匹配版本
  • 模型预测对口型
    • 必要的数据准备
    • 命令行预测
    • 参数解释
    • 其他使用方法
    • WebUI预测

基本原理

  1. 人脸视频生