将舞蹈动作转换成钢琴曲，雅马哈AI系统做到了

铁锹 3D打印店铺

编者按：本文来自公众号量子位（ID：QbitAI），作者：Root 编译自雅马哈官网

雅马哈公司前天宣布，自家AI系统可将世界顶级舞蹈家森山开次(Kaiji Moriyama)的舞蹈动作实时转换成钢琴曲。

舞蹈家：森山开次Kaiji Moriyama；管弦乐团：柏林爱乐乐团Scharoun Ensemble

去年11月22号，森山开次在东京举办了一场演出，名叫Mai Hi Ten Yu。

这次演出使用了雅马哈的AI系统。舞蹈家森山开次的背部、手腕和脚上一共装了四种传感器。当他跳舞时，舞蹈动作可以被实时地转换成乐曲数据。

为了确保舞蹈动作转换输出的音乐不是随机杂乱的，雅马哈的AI系统对照MIDI音乐数据库，控制钢琴的演奏，把这些数据输出成好听的乐曲。

技术视角解读

这套舞姿实时转换乐曲的AI系统，现在还处于研发阶段。

通过舞蹈家身上穿戴的传感器，可以实时捕捉到舞蹈家的动作姿态。结合AI系统已有的姿态对应旋律的数据库，可以把动作即时输出旋律数据。然后再把旋律数据传送给雅马哈的Disklavier钢琴，演奏出悦耳的音乐。

雅马哈的Disklavier系统，是舞姿实时转换乐曲至关重要的一环。Disklavier的钢琴还可以表现出不同力度弹奏琴键的细微差别。

而且其音色是从9英尺高的钢琴中最完美的雅马哈CFX采的，也只有CFX富和完整、醇厚丰润的音色才能配得上舞蹈大家森山开次倾情忘我的演绎。

后台所需的AI系统

森山开次这回演出可以说非常震惊：舞蹈上带来视觉震撼的同时，还有AI实时合成的钢琴曲，搭配上世界顶级管弦乐团柏林爱乐乐团Scharoun Ensemble带来的听觉享受。

把身段优美的姿态化成音符，是一次新型艺术表现形式的大胆尝试。

作为日本乐器生产巨头，雅马哈不满足于卖卖乐器。这次汇聚世界顶级舞蹈家及乐团，还融合当下最高尖的科技AI，雅马哈也是希望能给世界打开新的想象空间，拓展人表达情感精神世界的更多的可能性。

感受及评论

当听到AI把我的舞姿转成乐曲时，我感受到身体深处内部的力量被唤醒了，对自我意识和身体动作感知有了新的理解。——舞蹈家，森山开次

太震撼了！能和如此优秀的舞蹈家合作演出我们感到非常荣幸，也感谢雅马哈提供这次机会。——柏林爱乐乐团乐器演奏家，Peter Riegelbauer

艺术得随着时代一起演化。这一次能聚集这么多世界顶级优秀的舞蹈家、乐器演奏家、工程师一起做这场演出，是件非常有意义的事。作为一个作曲家，我觉得给这次演出编曲是个很大的挑战。在尝试全新的乐曲风格时，我受到了很多启发，产生一些以往从来没有的灵感。——东京艺术大学副主席及作曲家，Isao Matsushita

在雅马哈内部，大家深信AI能拉近人与乐器之间的距离。我们不断推进AI技术，想把精神世界丰富的情绪得到最大的释放。——雅马哈研发中心总经理，Motoichi Tamura