立命館大学の映像学部3回生、米田菜々穂です。
この度、8月末から10月初旬まで、1→10さまにてインターンシップに参加させていただきました。ここでは、今回のインターンシップについてレポートさせていただきます！
目次
- 自己紹介
- 制作したもの
- 仕組み
- 制作過程
- 反省点
- インターンを終えて
1. 自己紹介
立命館大学映像学部3回生の米田 菜々穂です。学部では、オーディオビジュアルや写真に興味関心を持って作品を制作しています。また、写真部に所属し、写真作品の制作・展示も行っています。
最近では、「HitaHita」というユニットでも活動しており、オーディオビジュアルイベントの企画・運営、パフォーマンスも行なっています。
2. 制作したもの
今回のインターンでは、TouchDesignerを用いたVJシステムを制作しました。
VJとは、ざっくり言うと、DJなどのパフォーマンスの後ろで映像をリアルタイムで投影し、演出を行う人を指します。
TouchDesignerでVJ映像を制作するにあたり、自身のスマートフォンでスキャンした点群を用いました。形式はPoint Cloudです。
実際に完成した映像を紹介していきます。動画には音がついていませんが、実際は音声を入力し、それに同期させています。
流れている音のキックに反応して、伸び縮みするような動きをみせます。また、limit TOPを使ってキックのタイミングでランダムな数値で空間が切り取られるような演出も可能にしています。
カメラは複数の動きを切り替えられるようにしています。
また、Feedback を用いて動きの軌跡を描画したり、
フェーダーで2つのPointCloudデータをミックスできたり、
一つ一つの点の大きさを変化させることもできます。
色を反転させることも。
また、イメージを歪ませることもできます。
他にも、機能やスキャンデータの組み合わせでさまざまな映像を投影することができます。
私自身、写真をやっているため、「普段見ている光景の一部を採集したもの」「光景を切り取ったもの」に関心がありました。さまざまな方向からスキャンしたデータを観察し、操作できるフォトグラメトリは、１視点のみを内包する写真と比較すると、かなり身体性を持っているものだと感じました。（ここでの「身体性」は見る人がその映像の中に身体を位置付けるような認識がしやすいこと、またその映像に手を加えて干渉することができるということなどを指した、ゆるやかな概念です）
そのような、対象を任意の視点からまなざすことができるフォトグラメトリは、リアルタイムに映像を操作して空間演出を行うVJと、相性が良いのではないかと思いました。
3.仕組み
先ほど紹介した通り、今回の制作ではTouchDesignerを使用して制作を行いました。
また、ビジュアル制作に用いた点群データ (Point Cloud Data)とは、3D点座標の群(Cloud)を集合化したデータ形式であり、ステレオカメラやLIDARセンサーなどから計測した3D点群を保存・処理するためのデータ表現形式の1種、だそうです。（引用：CVMLエキスパートガイド<https://cvml-expertguide.net/terms/cv/3d-data-representation/point-cloud/>）
スキャンにはScaniverseというアプリを使用し、自身のスマホで身の回りのものをPoint Cloud データ形式でスキャンし、それをVJ素材として使用しました。
映像の制作・出力は、Point Cloud データの入力からレンダリング、エフェクトまでTouchDesignerのみで行っています。
プロジェクトファイルの全体はこのようになっています。
役割ごとに分類するとこんな感じです。
映像の操作はMIDIコントローラーとキーボードで行っています。
4. 制作過程
a. 作品内容の決定
作品の内容を決定するにあたって、自身が写真に興味をもっていることなどを、メンターの稲田さんや仁科さんにお話しし、参考となりそうな作品をMiroを使って共有しながらイメージをまとめていきました。
その中で、それらに共通するものとして、「普段見ている光景の一部を採集したもの」「光景を切り取ったもの」があることに気づきました。そこでお二人からフォトグラメトリはどうか、というアドバイスをいただき、空間を切り取るという特性から、写真とも近いものであるため、それに決めました。
(実は、この過程で難航してしまい、かなりタイムロスだったと反省しています…)
b. 点群データをTouchDesignerで試す
フォトグラメトリを扱うものとして、Point Cloud の他に、Gaussian splattingという形式の存在も教えていただきました。TouchDesignerで両方とも操作してみた結果、Point Cloudの方が扱いやすく感じたため、こちらの方を選択しました。
また、Scaniverseでのスキャンも始め、身の回りのものをいろいろスキャンしてみていました。
c. VJのシステム構築
これまで自身がTouchDesignerで行ってきたVJは、システム面の明瞭さにあまりこだわらずに制作していました。しかし、今回は、メンターの仁科さんにご教授いただきながら、システムを整えることも意識しながら制作を行いました。
Point Cloudを用いたVJをするにあたって、複数のPoint Cloudデータを入れ替えるシステムを組むことが必要で、その実装にかなりのお力添えをいただきました。
この過程を通じて、TouchDesignerの中で、ただ映像を制作して出力するだけではなく、それを目的に沿って操作しやすい形に整えることを学ぶことができました。特に、TouchDesignerでコードを書くことにかなり苦手意識があったのですが、その点を少し克服することができました。
d. ひたすら作業
大体のシステムができたら、あとは理想のビジュアルになるように、さまざまなエフェクトを試したり、VJとして映像を操作しやすく、また演出として展開がつけやすいような機能やボタン配置を実装しました。
Point Cloudを用いた表現について、1→10の川村さんにもオンラインでアドバイスをいただき、noiseを用いた表現にも取り組みました。また、川村さんのブログ記事(https://labs.1-10.com/2024/09/20/1630)も参考にさせていただきました。
e. 成果発表
インターン最終日には、1→10のCT部のみなさんの前で、実際にパフォーマンスを行いました。
オンラインミーティングでCT部の方々に見ていただき、感想や改善点などのフィードバックをいただきました！大勢の方の前でのパフォーマンスは緊張しましたが、最終的になんとか形にすることができてよかったです。
5. 反省点
今回の制作では、かなり反省点が多かったです。最初の制作物を決める段階で時間を使ってしまいましたし、タスクマネジメントをもっときっちり行って作業を進行すればよかったと感じています。
完成作品としてもまだまだ改善の余地があるなと感じました。VJのためのGUIを制作したはいいものの、視認性に問題があったため操作性が悪く、あまり納得の行くものではありませんでした。
また、実際にVJとして投影するには、映像のバリエーションや展開が少なく、長時間の演出にはまだまだ対応できていないと感じています。カメラの動きがループであることや、リアルタイムでの動きがキック検出頼りであることもあり、画面が似たような印象になってしまいやすいです。画面にジェネレーティブなオブジェクトを追加できるとよかったかなと感じました。
6. インターンを終えて
今回のインターンでの制作経験を通じて、私自身のスキルとして、VJ表現の幅が広がったことが大きかったです。これまでやっていたVJでは、写真や手書きアニメーションなど2Dのデータを扱うことが多かったのですが、今回は3Dのスキャンデータを扱うことができ、VJとして映像演出の幅が広がったと感じています。また、制作を通じてTouchDesignerの操作に関しても(特に明瞭なシステム構築の面で)多くの学びがあり、今後につながる糧になったと実感しています。自身で舵取りをしながら制作を進めることの難しさを知れたことも、とても良い経験でした。
また、1→10という会社のリアルな雰囲気を知れたこともよかったところです。今回、京都オフィスに通いながら制作をさせていただきましたが、そこで働かれる社員のみなさんとお話したり、打ち合わせをされている様子などを拝見する中で、クリエイティブを行う人の働き様、のようなものに触れることができました。仕事に取り組む熱意と、人やものに対する認識のフレキシブルさに、私も学ばせていただきたい…！と思いました。
改めまして、今回メンターを受け入れてくださった1→10さま、またメンターの稲田さん、仁科さん、CT部のみなさま、本当にありがとうございました！