n-yoshiさん のコメント

当然検討しているのだとは思いますけど、背面側のモーションについては、斜め後方から別録りと組み合わせる事で対処できるのではないですかね?
最終的には調整が入るのでしょうから、120度ずつ回った3方向から3回取り込むとか、 Kinect を3台設置して撮るとか、やりようはあるのでしょうね。
No.1
90ヶ月前
このコメントは以下の記事についています
どうも、あおめです。 スクリーンの開発・研究 を行うことが 目的 なのに、 Kinectのモーションキャプチャー の検証に手を出しております。。 というのも、 現在、 透過スクリーンのイベント化活動 で、 一番の課題 になっているのが MMDモーションの 素材不足 なのです。 (割りと困っています) 今現在も、多くの モーショントレース職人様 により、 モーションデータの 配布 が行われています。 しかし、それでも 有名な楽曲なのにモーションデータ が存在しないものもいくつかあり、それらのMMD映像制作ができない状況です。 ※調べてみると、 モーションデータが存在しない楽曲 でも、 踊ってみた系の動画はある ようです。トレース作業が間に合わないのでしょうか。 (数ヶ月かけてトレースされてる方もいるようです) そこで、Kinectを利用して少しでも モーションデータ制作 の役に立てないか、検証を始めてみました。(どうにかなるだろう的な思考で) 目標は、 モーションデータ制作の作業時間削減 、もしくは、モーション配布前の 臨時的な簡易モーションデータの制作 に活かすことです。 今回は、オークションで手に入れたXBOX版のKinectです。(中古で1万円くらいでした) 製品名は 「Kinect for Xbox 360」 最近まで知りませんでしたが、 Kinect には Xbox版 と Windows版 があるのですね。。 それを知らず、Xbox版を購入してしまい、おかげで苦労しました。。 (Xbox版の場合、商用利用は禁止されているそうです) Windows版の方が、 Microsoftの全面サポート を受けられるのでオススメします。 とりあえず、 Kinectのモーションキャプチャー をやってみて わかったこと ・やはり 多少の誤認識は発生 する ・認識範囲の 奥行き3メートル、幅2メートル に 物を置かない こと ・ 約30fps と割りと高いフレーム間隔で記録できる ・ モーションキャプチャー作業が楽しい (踊っている間はかなり楽しいです) そして、 認識の苦手な動き もだいたいわかりました。 ・手足が背中に隠れてしまう動き (背中で手を組む、後ろ蹴り) ・関節が複雑に絡む動き (腕を組む、しゃがむ) ・後ろを向きながらの動き これらの動きは、Kinectで 正常に認識することができません 。 そのため、 認識の難しい動き をすると、 モデルが変な動きをします 。 認識できない動き については、Kinectの仕様なので、どうすることもできませんが、 それ以外の誤認識は、少しでも軽減したいですね。 (Dual Kinectという手法もあるみたいですので、いずれ検証してみたいと思います) とりあえず、 誤認識を軽減できるかもしれない方法 として、以下の2つをやってみました。 ・そもそも誤認識しやすい関節を認識関節から外す ・アクタースーツを着る これらを作業に取り入れたところ、結構認識が良くなりました。 まず、 誤認識が多く、それほどキャプチャーに影響しない関節 を認識から外します。 今回は、Moggさんが開発した MoggDxOpenNI を使いました。 (https://sites.google.com/site/moggproject/) また、 キャプチャー中に発生する多少のブレ は、 モーションキャプチャー後の自動間引き作業で、ある程度補間されます。 (補間作業のやり方にもよりますが。) とりあえずこれで、不要な関節の誤認識はしなくなりました。 次に、 アクタースーツ についてです。 本来の モーションキャプチャー では、 カメラで認識するマーカー (ボールみたいなもの) を体につけるため、キャプチャー用の特殊スーツを着ますが、 Kinectの場合、 赤外線センサーで動きを感知 するため、スーツを着る必要がないようです。 しかし、ダボダボした服より、できるだけ体にフィットした服の方が良いのではと思い、 アクタースーツを真似て 、 全身タイツ を使ってみることにしました 。 今回は、 こちらの全身タイツを購入 しました。 また、全身タイツだと、 足元が滑りやすくなる ため、滑り止めグッズも購入! こちらは、 足裏にゴムが敷かれており 、全身タイツを着た状態でもしっかり履くことができて、スナップの効いた動きもできるようになります。 これらを着るとこんな感じになります。 誤認識軽減の取り組みとしては、これくらいですね。 あとは、実際にモーションキャプチャーを行い、 VmdReductionTool というツールを使い、自動間引きを行います。 (こちらも同じくMoggさんが開発されたツールです) と、こんな感じで Kinectでのモーションキャプチャー を ご紹介 しましたが、 普段ダンスなどしたことない方には、肉体的に結構疲れます。(´・ω・`) また、キャプチャー作業も、 ミスなく踊らなくてはいけない ため、結構難しいです。 (ミスした動きも全て記録してしまうため、完璧に踊りきる必要があります) この方法は、 踊ってみた系の動画を作られている方 に、ぜひオススメしたいです! 踊っているとわかるのですが、やはり ダンスのセンス が要求されますね。 (キャプチャー中は、MMDモデルを見ながら動きを確認できるので、ダンスのキレがない などすぐにわかります) ぜひ、興味を持った方は、 Kinect での モーションキャプチャー に挑戦してみてください! ~あとづけ~ Kinectの検証は一旦終わりにし、 引き続き、ポリッドスクリーンの新しい表現手法について、研究してみたいと思います。 (慣れないことをやったため、検証にかなり時間を費やしました) あと、 影投影用のプロジェクターが壊れました!! これは困りました。(汗) しばらくはプロジェクター一台で研究を続けることになりそうです。(やむを得ない) (なお、故障したプロジェクターは、現在メーカー側で修理中→欠陥だったのか?) これを期に、もう一台プロジェクターを購入しようかと検討中です。 (今度のプロジェクターはどんなのがいいかな~) というところで、今回はこの辺で失礼します。
ポリッドスクリーン研究記
ポリッドスクリーンの研究記録を書いていきます。