Kinectを使った舞台向けMMDモーション作り方について
閉じる
閉じる

新しい記事を投稿しました。シェアして読者に伝えましょう

×

Kinectを使った舞台向けMMDモーション作り方について

2013-03-25 00:04
  • 2
どうも、あおめです。
スクリーンの開発・研究を行うことが目的なのに、
Kinectのモーションキャプチャーの検証に手を出しております。。

というのも、
現在、透過スクリーンのイベント化活動で、一番の課題になっているのが
MMDモーションの素材不足なのです。(割りと困っています)
今現在も、多くのモーショントレース職人様により、
モーションデータの配布が行われています。
しかし、それでも有名な楽曲なのにモーションデータが存在しないものもいくつかあり、それらのMMD映像制作ができない状況です。

※調べてみると、モーションデータが存在しない楽曲でも、
踊ってみた系の動画はあるようです。トレース作業が間に合わないのでしょうか。(数ヶ月かけてトレースされてる方もいるようです)


そこで、Kinectを利用して少しでもモーションデータ制作の役に立てないか、検証を始めてみました。(どうにかなるだろう的な思考で)
目標は、モーションデータ制作の作業時間削減、もしくは、モーション配布前の臨時的な簡易モーションデータの制作に活かすことです。

今回は、オークションで手に入れたXBOX版のKinectです。(中古で1万円くらいでした)
製品名は「Kinect for Xbox 360」
最近まで知りませんでしたが、KinectにはXbox版Windows版があるのですね。。
それを知らず、Xbox版を購入してしまい、おかげで苦労しました。。
(Xbox版の場合、商用利用は禁止されているそうです)
Windows版の方が、Microsoftの全面サポートを受けられるのでオススメします。



とりあえず、Kinectのモーションキャプチャーをやってみてわかったこと
・やはり多少の誤認識は発生する
・認識範囲の奥行き3メートル、幅2メートル物を置かないこと
約30fpsと割りと高いフレーム間隔で記録できる
モーションキャプチャー作業が楽しい(踊っている間はかなり楽しいです)


そして、認識の苦手な動きもだいたいわかりました。
・手足が背中に隠れてしまう動き(背中で手を組む、後ろ蹴り)
・関節が複雑に絡む動き(腕を組む、しゃがむ)
・後ろを向きながらの動き

これらの動きは、Kinectで正常に認識することができません
そのため、認識の難しい動きをすると、モデルが変な動きをします
認識できない動きについては、Kinectの仕様なので、どうすることもできませんが、
それ以外の誤認識は、少しでも軽減したいですね。
(Dual Kinectという手法もあるみたいですので、いずれ検証してみたいと思います)

とりあえず、誤認識を軽減できるかもしれない方法として、以下の2つをやってみました。
・そもそも誤認識しやすい関節を認識関節から外す
・アクタースーツを着る

これらを作業に取り入れたところ、結構認識が良くなりました。

まず、誤認識が多く、それほどキャプチャーに影響しない関節を認識から外します。

今回は、Moggさんが開発したMoggDxOpenNIを使いました。
(https://sites.google.com/site/moggproject/)
また、キャプチャー中に発生する多少のブレは、
モーションキャプチャー後の自動間引き作業で、ある程度補間されます。
(補間作業のやり方にもよりますが。)
とりあえずこれで、不要な関節の誤認識はしなくなりました。

次に、アクタースーツについてです。
本来のモーションキャプチャーでは、カメラで認識するマーカー(ボールみたいなもの)を体につけるため、キャプチャー用の特殊スーツを着ますが、
Kinectの場合、赤外線センサーで動きを感知するため、スーツを着る必要がないようです。
しかし、ダボダボした服より、できるだけ体にフィットした服の方が良いのではと思い、
アクタースーツを真似て全身タイツを使ってみることにしました


今回は、こちらの全身タイツを購入しました。
また、全身タイツだと、足元が滑りやすくなるため、滑り止めグッズも購入!

こちらは、足裏にゴムが敷かれており、全身タイツを着た状態でもしっかり履くことができて、スナップの効いた動きもできるようになります。
これらを着るとこんな感じになります。



誤認識軽減の取り組みとしては、これくらいですね。
あとは、実際にモーションキャプチャーを行い、
VmdReductionToolというツールを使い、自動間引きを行います。
(こちらも同じくMoggさんが開発されたツールです)

と、こんな感じでKinectでのモーションキャプチャーご紹介しましたが、
普段ダンスなどしたことない方には、肉体的に結構疲れます。(´・ω・`)
また、キャプチャー作業も、ミスなく踊らなくてはいけないため、結構難しいです。
(ミスした動きも全て記録してしまうため、完璧に踊りきる必要があります)

この方法は、踊ってみた系の動画を作られている方に、ぜひオススメしたいです!
踊っているとわかるのですが、やはりダンスのセンスが要求されますね。
(キャプチャー中は、MMDモデルを見ながら動きを確認できるので、ダンスのキレがない などすぐにわかります)


ぜひ、興味を持った方は、Kinectでのモーションキャプチャーに挑戦してみてください!


~あとづけ~
Kinectの検証は一旦終わりにし、
引き続き、ポリッドスクリーンの新しい表現手法について、研究してみたいと思います。
(慣れないことをやったため、検証にかなり時間を費やしました)
あと、影投影用のプロジェクターが壊れました!!
これは困りました。(汗)
しばらくはプロジェクター一台で研究を続けることになりそうです。(やむを得ない)
(なお、故障したプロジェクターは、現在メーカー側で修理中→欠陥だったのか?)
これを期に、もう一台プロジェクターを購入しようかと検討中です。
(今度のプロジェクターはどんなのがいいかな~)

というところで、今回はこの辺で失礼します。
広告
×
当然検討しているのだとは思いますけど、背面側のモーションについては、斜め後方から別録りと組み合わせる事で対処できるのではないですかね?
最終的には調整が入るのでしょうから、120度ずつ回った3方向から3回取り込むとか、 Kinect を3台設置して撮るとか、やりようはあるのでしょうね。
89ヶ月前
×
>>1
Kinectを2台設置してキャプチャーするDual Kinectという手法はあるようです。
(ただし、ごく一部のキャプチャーソフトでのみ対応してます)
まったく同じ動きを3回繰り返して踊るのは無理なため、
別録りとなると、Kinect1台ごとにPCを1つ用意して、3方向からの動きを一発撮りする必要がありますね…
(つまりKinect3台+PC3台で、同期キャプチャーをする)
それともPC1台で2台以上のKinectを接続して、キャプチャーできる方法ってありますかね。。(いずれできそうですが)
89ヶ月前
コメントを書く
コメントをするには、
ログインして下さい。