インターンシップレポート：Kinectを用いた体験型コンテンツ制作

はじめに

初めまして、立命館大学映像学部5回生の林美奈です。この度は、1→10様にて2ヶ月強ほどインターンとして活動させていただきました。ここでは、その成果をレポートさせていただきます。

目次

1. 自己紹介

立命館大学映像学部5回生の林美奈です。学業では、VRMRの制作に関わっており、プログラミングで制作しています。卒業研究では、オノマトペを音の代わりに視覚と触覚による理解を深めるコンテンツの開発をしています。今回の2カ月間におよぶインターンでは、インタラクティブな作品制作を増やすことと、様々な機材や技術に触れてきました。

2. 制作したもの

今回のインターンでは、プロジェクターとKinectを使った「ひとりでに動き出す影」を制作しました。

壁の前に立つと、まるで後ろから光で照らされてできた自分の影が、プロジェクターによって壁にうつります。また、特定のポーズや動きをすると、影が別のキャラクターの影に変わったり勝手に動き出します。わかりにくいのですが、下記の写真では、体験者が両手をしばらく挙げると、振っていないのにもかかわらず壁にうつっているキャラクターの影が自動で両手を振り出します。このような自分の影が映っているのに勝手に動き出してしまう、という作品を制作しました。

3. 仕組み

機材構成は次のようになります。今回の作品ではプロジェクターとKinectを用いました。

プログラムはUnityで行いました。Kinectで取得した人の位置、ボディデータをUnityに送信し、そのデータに基づいて影をレンダリングしました。影とライトの描写はShaderGraphで作り、用意したキャラクターが人体模型ばりで実際に投影したときに体験者自身の影っぽく見えなかったため、汎用性のある影をつくるためにVFXを使いました。また、両手を上げ続けることを条件にして影自身が勝手に動き出すためにスクリプトとAnimationControllerで実現させました。このとき、Unityを本格的に扱ったことがなく、VFXやShaderGraph、AnimationControllerなど新しい技術に挑戦できて良かったです。最終的には、Kinectからのデータをもとに制作した映像をプロジェクターで壁に投影させます。

4. 制作過程

a. 作品の決定

当初は「体験型コンテンツをつくる」という大まかな目的だけがあり、まだ抽象的な段階からのスタートでした。そのため、私自身が興味を持っている事例や、メンターの稲田さんに紹介いただいたサイトを参考にしながら、さまざまな作品を調べました。

その中で、Perfume の「バーチャル影」に出会いました。ライブの中で、Perfume本人と影が分離し、影だけが独立して動く演出に強く惹かれ、この機会にぜひ再現したいと思うようになりました。この出会いが、今回の作品の方向性を決定づける大きなきっかけとなりました。

そこからは、どのように実現するかを稲田さんに相談し、技術的な面や制作手順について議論を重ねることで、徐々にアイデアを具体化していきました。

b. UltraLeap・Kinectを試す

最初は、手の動きを検出できる UltraLeap に興味を持ち、実際に触れてみました。その後、全身の動きや位置を捉えることができる Kinect も試してみました。UltraLeapは手の細かな動きを扱える一方で、Kinectは身体全体の動きを検出できるため、体験の幅がより広がると感じました。そのため、最終的には作品制作では Kinect を使用する方向で進めることにしました。

c. モデルをUnityで実装

2つのモデルを用意し、Unity 上で Kinect から取得したボディデータに合わせて、それぞれのモデルを重ねました。

また、Unity の ShaderGraph を使い、カメラ映像からテクスチャを取り出して二値化することで、キャラクター部分だけをマスクとして扱えるようにしました。これにより、キャラクターだけ色を変えたり、さまざまな表現を試したりすることができました。さらに、筋肉質なキャラクターをより汎用的で影らしく見せるために、VFX（パーティクル）も活用しました。パーティクルを使うことで、キャラクターに動きや雰囲気を持たせる表現ができ、影らしさに近づける工夫となりました。

d. 状態遷移のプログラムを書く＋最終調整

特定のポーズをとったときにキャラクターが変わったり動き始めたりするように、Unity でスクリプトを作成しました。Kinect から取得した関節の位置情報を活用し、条件を満たしたタイミングでキャラクターの切り替えやアニメーションが再生されるように設定しています。

アニメーションをスムーズに管理するためには Animator Controller を使用し、遷移の流れや動きのつながりを調整しました。また、ライトによってできる影のように見える表現に近づけるため、モデルの見た目についても細かく調整を行いました。

e. ＋α

メイン作品の制作に加えて、デジタル表現の領域を拡大するため、センシング技術活用した別のプロトタイプの制作にもチャレンジしました。

この作品では、赤外線カメラを使い、TouchDesigner で映像を二値化し、Blob Track を用いて映像内の塊を検出する方法を学びました。

使用した部品構成やシステムの流れについては、以下に記載しています。

5. 反省点

今回のインターンシップを通して、優先度のつけ方とスケジュール管理の2点に課題があると感じました。

制作では、新しい技術や機材に気を取られてしまい、ひとつの作品にしっかり集中できなかった部分があります。＋αでつくった作品も、中途半端なまま発表する形になってしまいました。メインの作品も、人から動物の影に変わるなど、もっとインタラクションを広げられる可能性があったと思います。

また、出勤以外の時間をうまく活用できず、教えていただいた内容を振り返る時間があまり取れませんでした。そのため、同じところをメンターの方にもう一度質問してしまうこともありました。新しく学んだ技術に触れたい気持ちはあったものの、優先順位のつけ方がうまくできず、深める時間を十分に確保できなかったことを反省しています。

今後は、プライベートも含めてやるべきことを整理し、優先順位を見直しながら、技術をしっかり身につけるための時間を確保していきたいと思います。

6. インターンを終えて

今回のインターンシップでは反省点もありましたが、当初の目的をしっかり達成することができました。特に、実践を通して以下のような具体的なスキルを身につけることができたと感じています。

独学でUnityやTouchDesignerを触った経験はあったものの、本格的に扱うのは今回が初めてでした。初めての機能や知らなかった手法にも多く触れることができ、学びの大きい時間になりました。インターンにも関わらず、私の音に関する研究でもMax9やPureDateなどのアドバイスをしてくださり、とても勉強になりました。また、＋αで制作した作品では、コンセプトを踏まえた表現にするための具体的なアドバイスをいただき、作品づくりの方向性がより明確になりました。形を認識して対応するキャラクターを投影する仕組みや、名刺を読み取って映像を変化させる手法など、今後の制作にもつながるアイデアの土台を得ることができたと感じています。

さらに、京都で出社するという形で参加させていただき、制作だけでなく実際のミーティングにも同席させていただきました。仕事場の空気感だけでなく、企業のリアルな現場の動きや雰囲気を知ることができたのは大きな経験でした。社員の方々とお話する機会も多く、これまで知らなかったイベントや技術、さまざまな作品に触れられたことで、クリエイティブに対する視野が大きく広がったと感じています。

最後になりましたが、今回インターンを受け入れてくださった1→10さま、メンターの稲田さん、仁科さん、岩中さん、CT部のみなさま、本当にありがとうございました！