MIT利用AI系统通过2D视频创建3D运动雕塑

你可能听说过雕塑，你可能看过3D电影，但你可能不知道3D运动雕塑（3D）。
这种艺术混合体是由麻省理工学院计算机科学与人工智能实验室、谷歌研究和加州大学伯克利分校的研究人员共同创造的，他们共同使用了AI系统，产生了一种混合超现实主义的运动和姿势。
该系统被称为，在一篇论文“:of Shape and Time”中有所描述，该论文将于下个月在德国柏林的用户界面软件和技术（UIST）会议上发布。Zhang是一名博士生，也是论文的第一作者，他认为这可以用来为想要提高技能的运动员进行详细的运动研究。
Zhang表示，“想象一下，你有一个关于Roger 在网球比赛中投球的视频，以及一个自己学习网球的视频，你可以用建立两种情景的动作雕塑来比较它们，并更全面地研究你需要改进的地方。”

文章插图
精彩视频，点击链接：MIT利用AI系统通过2D视频创建3D运动雕塑
【MIT利用AI系统通过2D视频创建3D运动雕塑】这是一个多步骤的过程。首先，检测人体及其2D姿势，利用 Melon大学感知计算实验室维护的多人关键点检测实时库，估算每个帧中的关键点（踝关节，肘关节，髋关节等）。接下来，它恢复成一个3D身体模型，代表了人的整体形状和他们在框架上的姿势。
它通过3D空间扫描这个模型，以创建初始运动雕塑，但正如研究人员指出的，这个模型缺乏纹理和结构细节，如精细的面部结构，头发和衣服。解决方案是将雕塑插入原始视频，而不是将3D内容从视频映射到场景。
为了防止伪影和遮挡，估计每个框架中人物和雕塑的深度图，比较两者以确定人是否比雕塑更接近或更远离相机。然后，它跨所有帧提取主题的前景蒙版，以细化初始深度图。

文章插图
以下是它在实践中的工作原理：将视频加载到系统后，将检测到的关键点覆盖在输入帧上，并通过几个随机选择的帧确认它们（内置的校正工具可以让用户在必要时进行调整）。在校正“暂时不一致的检测”后，它会生成运动雕塑并将其加载到自定义界面中。
在中，用户可以在雕塑周围导航或使用3D打印机进行打印。工具允许他们自定义材料，身体部位，场景背景，光照条件和其他美学特征。
目前，仅适用于单主题视频，但团队希望将其扩展到多个人。在未来，他们相信它可以用于研究社会障碍，团队动力和人际交往等事情。
“舞蹈和高技能运动通常看起来像’移动雕塑’ ，但它们只会形成稍纵即逝的短暂形状，”Adobe传播负责人说，“这项工作展示了如何采取动作并将其转化为具有客观运动可视化的真实雕塑，为运动员提供了一种分析他们的训练动作的方式，只需要一个便携式摄像机和一些计算时间而无需更多设备。”
本文转自ATYUN人工智能媒体平台，原文链接：MIT利用AI系统通过2D视频创建3D运动雕塑