視覚と聴覚を融合する驚愕の体験、指の動きで音や立体を自在に描く
作曲の知識がまったくない人でも指先で直感的に音楽を作ることができ、それに合わせて図形と戯れることのできるインスタレーション『polyphonic drawing』がTOKYO DESIGNERS WEEK2014に出展されています（11月3日まで）。今回の出展は株式会社モフと弊社の親会社である株式会社インフォバーンとの共同出展です。
気分は魔法使いの弟子
こちらが今回のために組まれたシステム。VR（バーチャリリアリティー）ヘッドセットの「Oculus Rift（オキュラスリフト）」に、手指の動きをキャプチャする、モーションコントローラー「Leap Motion（リープモーション）」が設置されています。ヘッドホンからはユーザーが仮想空間の中で生成した音楽を聴くことができます。
私もさっそく体験してみました。ヘッドセットをつけるとチュートリアルが始まり、左右の手とそれぞれの手のサインによって、ベース、ボーカル、ギター、シンセサイザーなど異なる音を出すことができます。
ちょうど子どもの頃、粘土で自在にものを作った時のように、感覚的に両手を動かして音楽を作っていきます。私は楽譜を読むことがほとんどできませんが、「この音色はこのタイミングに入ると気持ちいい」「ここはこういうリズムの方が合うかな」という具合に、なんとなくコツがわかってきます。
同時に画面...というよりは実際に体験している仮想空間の中では、それぞれの音色に応じた立体図形が手の動きをトレースするように発生して踊ります。奥行きもコントロールできるため、光り輝きながら動く立体物に自分が囲まれる感覚になります。
このインスタレーションは、1940年に公開されたディズニー映画『ファンタジア』を想起させます。その映画では、魔法使いの弟子が夢の中で魔法を使い、森羅万象を自在に操る場面が出てきます。体の動きと音と視覚表現が一体になった場面ですが、まさにそれを自分自身の体験として得ることができます。
制作者へのインタビュー
今回の展示『polyphonic drawing』の開発の背景と展示の意図について、制作チームbindのメンバー、荒川健司さん（株式会社モフ）と木継則幸さん（株式会社インフォバーン）にお話を伺いました。
今ある先端の技術を組み合わせることで、デバイスの進化の先にある、新しいインターフェイスの可能性を探る実験をするというのが今回の企画趣旨とのことです。センサーによるキャプチャは、ゲーム機Xbox OneなどについているKinect（キネクト）が知られていますが、今回は手指の速い動きのトラッキングが可能なリープモーションを使用しました。
特筆すべきは、通常はテーブルなどに置いて使うリープモーションをオキュラスリフトに設置し、人の振り向きに追従させることで、よりナチュラルな入力に近づけたということです。それにより、特別な操作を覚えることなく、自由な動作のなかでより深い体験を得ることが可能になります。
今後この技術をどのように実用化するかについても伺いました。もちろんエンターテイメントにも応用ができますが、コミュニケーションツールとしての可能性に着目しているようです。たとえば技術移転のチュートリアルに使用すれば、先生の手による作業を先生の目線で見ることができます。これまでは習得に時間のかかっていた技術継承を効率化して、技術発展に役立つかもしれません。
五感をシームレスにすることや他人の視点をそのまま共有することは、発想としてあっても実現させることが難しいと考えられてきましたが、このような技術の進歩とともに現実のこととして体験することができるようになりました。10年後20年後の未来は、感覚や概念のレベルでも、今の私たちが想像もしないようなことが可能になっているのかもしれませんね。