Select Language

AI社区

公开数据集

VOCA 3D虚拟现实人脸动画模型模与数据集,可捕捉、学习和合成3D口语风格

VOCA 3D虚拟现实人脸动画模型模与数据集,可捕捉、学习和合成3D口语风格

15.5G
1102 浏览
4 喜欢
7 次下载
0 条讨论
Music Analysis Audio

VOCA是一个简单且通用的语音驱动面部动画框架,可跨多种身份工作。该代码库演示了如何在给定任意语音信号和静态角色网格的情况下......

数据结构 ? 15.5G

    Data Structure ?

    * 以上分析是由系统提取分析形成的结果,具体实际数据为准。

    README.md

    VOCA是一个简单且通用的语音驱动面部动画框架,可跨多种身份工作。该代码库演示了如何在给定任意语音信号和静态角色网格的情况下合成真实角色动画。

    音频驱动的三维人脸动画已经得到了广泛的探索,但实现逼真、逼真的性能仍然是个未解之谜。这是因为缺乏可用的3D数据集、模型和标准评估指标。为了解决这个问题,我们引入了一个独特的4D人脸数据集,以60 fps的速度捕获了大约29分钟的4D扫描,并同步了12个扬声器的音频。然后,我们在我们的数据集上训练一个神经网络,从面部运动中提取身份因素。学习的模型VOCA(语音操作角色动画)将任何语音信号作为输入,甚至是英语以外语言的语音,并逼真地为各种成人面部设置动画。在训练过程中对主题标签进行调节,使模特能够学习各种真实的说话风格。VOCA还提供动画师控件,以在动画过程中改变说话风格、与身份相关的面部形状和姿势(即头部、下巴和眼球旋转)。据我们所知,VOCA是唯一一个逼真的3D人脸动画模型,可以在不进行重定目标的情况下轻松应用于看不见的对象。这使得VOCA适用于游戏中的视频、虚拟现实化身或任何事先不知道说话人、语音或语言的场景。我们将数据集和模型用于研究目的。

    Referencing VOCA

    @inproceedings{VOCA2019,
        title = {Capture, Learning, and Synthesis of {3D} Speaking Styles},
        author = {Cudeiro, Daniel and Bolkart, Timo and Laidlaw, Cassidy and Ranjan, Anurag and Black, Michael},
        booktitle = {Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR)},
        pages = {10101--10111},
        year = {2019}
        url = {http://voca.is.tue.mpg.de/}
    }

    License

    Free for non-commercial and scientific research purposes. By using this code, you acknowledge that you have read the license terms (https://voca.is.tue.mpg.de/license), understand them, and agree to be bound by them. If you do not agree with these terms and conditions, you must not use the code.


    ×

    帕依提提提温馨提示

    该数据集正在整理中,为您准备了其他渠道,请您使用

    注:部分数据正在处理中,未能直接提供下载,还请大家理解和支持。
    暂无相关内容。
    暂无相关内容。
    • 分享你的想法
    去分享你的想法~~

    全部内容

      欢迎交流分享
      开始分享您的观点和意见,和大家一起交流分享.
    所需积分:20 去赚积分?
    • 1102浏览
    • 7下载
    • 4点赞
    • 收藏
    • 分享