VOCA是一个简单且通用的语音驱动面部动画框架，可跨多种身份工作。该代码库演示了如何在给定任意语音信号和静态角色网格的情况下合成真实角色动画。

音频驱动的三维人脸动画已经得到了广泛的探索，但实现逼真、逼真的性能仍然是个未解之谜。这是因为缺乏可用的3D数据集、模型和标准评估指标。为了解决这个问题，我们引入了一个独特的4D人脸数据集，以60 fps的速度捕获了大约29分钟的4D扫描，并同步了12个扬声器的音频。然后，我们在我们的数据集上训练一个神经网络，从面部运动中提取身份因素。学习的模型VOCA（语音操作角色动画）将任何语音信号作为输入，甚至是英语以外语言的语音，并逼真地为各种成人面部设置动画。在训练过程中对主题标签进行调节，使模特能够学习各种真实的说话风格。VOCA还提供动画师控件，以在动画过程中改变说话风格、与身份相关的面部形状和姿势（即头部、下巴和眼球旋转）。据我们所知，VOCA是唯一一个逼真的3D人脸动画模型，可以在不进行重定目标的情况下轻松应用于看不见的对象。这使得VOCA适用于游戏中的视频、虚拟现实化身或任何事先不知道说话人、语音或语言的场景。我们将数据集和模型用于研究目的。

Referencing VOCA

@inproceedings{VOCA2019,
    title = {Capture, Learning, and Synthesis of {3D} Speaking Styles},
    author = {Cudeiro, Daniel and Bolkart, Timo and Laidlaw, Cassidy and Ranjan, Anurag and Black, Michael},
    booktitle = {Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR)},
    pages = {10101--10111},
    year = {2019}
    url = {http://voca.is.tue.mpg.de/}
}

License

Free for non-commercial and scientific research purposes. By using this code, you acknowledge that you have read the license terms (https://voca.is.tue.mpg.de/license), understand them, and agree to be bound by them. If you do not agree with these terms and conditions, you must not use the code.