みなさん、こんにちは！私の名前はVladislavMosinです。私は、サンクトペテルブルクHSEの応用数学と情報学の学士号プログラムの4年生です。去年の夏、私は私たちの学部の大学院生であるAlina Pleshkovaと一緒に、JetBrainsResearchでインターンシップをしました。私たちはMusic2Danceプロジェクトに取り組みました。その目標は、特定の音楽に合うダンスの動きを生成する方法を学ぶことです。これは、たとえば、ダンスの自習に使用できます。音楽を聞いてアプリケーションを起動すると、この音楽と調和した動きが見られました。
今後、残念ながら、私たちの結果は、現在存在するモーション生成の最良のモデルからはほど遠いことが判明したと言えます。しかし、この問題の解決にも興味がある場合は、猫の下で招待します。
既存のアプローチ
音楽からダンスを生成するという考えはかなり古いものです。おそらく最も印象的な例は、Dance Dance Revolutionなどのダンスシミュレーターです。このシミュレーターでは、プレーヤーは音楽に合わせて光っている床のパネルを踏む必要があり、それによって一種のダンスが作成されます。また、この領域での美しい結果は、踊る幾何学的形状または2D男性の作成です。
さらに深刻な作業もあります。それは、人々のための3Dムーブメントの生成です。これらのアプローチのほとんどは、ディープラーニングのみに基づいています。2020年の夏の最良の結果は、DanceNetアーキテクチャによって示され、ベースラインとして採用することにしました。それらのアプローチについては、以下で詳しく説明します。
データの前処理
: , , . .
: onset, beats, chroma
, — — . , , , . , onset, beats chroma ( , ).
:
. — — . , , , -. , (, 240x240) .
, . , . , , , , .
( ), .
. , 3D-, : , . , , . : , .
DanceNet
DanceNet coc :
;
;
;
;
.
:
. Bi-LSTM .
. , Bi-LSTM .
- . .
. , . dilated () -.
DanceNet , , — , , .
, , . , . , , , . . , .
:
-
(DanceNet)
(RL )
. 2020 , . , , . , . , - . , : YouTube VIBE.
DanceNet
— , -, , -, .
RL
RL — , . ( ) , .
. : .
, . -, , . , , , . Humanoid, , .
, , .
S — , Sreal — , R — .
, , , . , . .
, , DanceNet. , , , , . . , — YouTube , RL .
. !
: