A dataset of three-dimensional motion for Dunhuang Dance based on human pose estimation

<p indent="0mm">敦煌舞是中华民族传统文化的艺术瑰宝, 它来源于敦煌壁画, 是敦煌文化的重要组成元素, 它的数字化保存、展示与研究具有重要意义。为推进敦煌舞的数字化进程与发展, 本研究提出将敦煌舞与三维人体姿态估计技术相结合, 设计了一个敦煌舞三维人体姿态估计网络(DunHuangDancePoseEstimation, DHD-PE), 构建了一个敦煌舞三维动作数据集。敦煌舞蹈方面, 将敦煌舞按人物形象划分、编排与采集, 构建了敦煌舞视频动作数据集；姿态估计方面, 以AMASS(Archive of Motion Capture as Surface Shapes)大规模三维人体运动捕捉数据集为基础作生成对抗训练, 用ResNet提取图像特征, 门控循环网络作为时间编码器, 参数回归器回归出SMPL参数模型, 用注意力机制来放大序列不同帧的贡献程度, 以人体真实运动AMASS为基础, 给出估计姿态是真或假的概率, 进而构建敦煌舞三维动作数据集。本数据集将敦煌舞划分为7个主题, 83个基础动作, 16个长动作。在定量、定性、人工评估和双向随机遮挡敏感性分析方法中取得了较好的结果, 为敦煌舞的保存、应用与发展奠定了基础；为敦煌文化的研究、弘扬与传承提供了新思路。后续利用本数据集可应用于生成式人工智能、敦煌舞文化数字展览与表演、敦煌舞的教育与研究、敦煌舞的数字媒体与娱乐等。