はじめに
CT部の河合です。普段主にUnityを使ったコンテンツを制作しています。今回紹介するのは、NDIをつかった画像や映像の確認ツールのテスト、です。keijiro氏のKlakNDI をつかって Meta Quest 3（以下 Quest 3）に映像を転送し、パススルーで現実空間に映像を重ねて見る、といったものです。
パススルー＋NDIの機能をつかって、コンテンツ制作以外に、業務で利用できる使い方はないだろうか、ということで、デザイナーの新福さんに協力していただき、以下の検証を行いました。
ＮＤＩで映像転送してクロップ
用意するのはPCとQuest 3（とWifi）です。PCでまず映像または画像を表示して、NDIでQuest 3に転送し、Quest 3 で仮想スクリーンを任意の位置に配置して、空間アンカーで保存させました。
実際の案件での要件は横7mx縦1m
今回はデザイナーの新福さんに実際の案件での要件をヒアリングし、以下の条件で取り組みました。横が７ｍあるので、実物で確認するにはハードルが高そうだったので、テストにはちょうどいい感じです。かなり横長のスクリーンが想定になります。
- 解像度は1920 x 256
- 横 7ｍ x 縦1ｍ のLEDパネルで再生する映像を制作している
- どこかの建物のエントランスなどに流れる映像を想定
- 実際に制作中のテスト映像をお借りして投影検証
スクリーンを配置して遠くから見たりしている様子
実際にQuest 3 でスクリーンを配置して投影している様子です。京都オフィス内でテストしました。遠くから眺めてみたり、近づいてドットの粗さを体感したり、ができました。
オクルージョンしている様子
Quest 3 のCGオクルージョン（現実との遮蔽効果）はそれなりに粗いものの、CGが壁に隠れたり、手で隠れたりするのを確認することができるので、実際にどのようにスクリーンが見え隠れするのかを検証することができます。
スクリーンの位置を手で移動させる
仮想スクリーンの位置調整は、仮想スクリーンをコントローラや手でつかんで移動できるようにしています。直感的な操作にすることが出来ましたが、微調整がむずかしい、だったり、高いところに配置したいときはどうするのか、といった課題も見えました。
制作でのポイント
以下制作にあたって気を付けていたポイントです。
- PCとQuest 3 +（スマホ）でどこでも検証できる手軽さ
- Wifiはスマホのテザリングでも可能ですので、持ち運びも可能、屋外に持ち出すのも想定可能になりました。
- スクリーンを手で直接動かせる直感的な操作
- 手で動かす形にしたのは、操作説明なしでもすぐにつかえることを期待していました。（しかしながら実際ためしてもらうと、どこをつかめばいいのか、などの説明が必要になりました）
- スクリーンにオクルージョンをいれて現実空間に干渉させてみる
- 現実空間とCGが遮蔽により干渉することで、仮想スクリーンがより一層現実空間になじむ面白さはあるものの、やはりセンサーの精度がそこまで高くないため、離れるとちらつきが見えたり、キワがどうしても甘かったり、という課題もありました。
- かぶらなくても見れる
- ヘッドセットを被るのは敬遠されがちなことがあるため、デバイスを覗くだけで見れる形を採用しました。こちらのほうが持ちまわしもよく、体験してもらうためのハードルがぐっと下がりました。
実際に体験してもらってのヒアリングとまとめ
今回はデザイナーの新福さんにも実際に触っていただき、デザイナー視点からの課題を得ることができました。以下のような意見をいただきながらも、やはり画質、センサー精度、あたりが今後改善されていければもっと面白くなりそうだな、という所感です。今後機会があれば屋外などでもテストしていきたいです。
- デザイン確認ツールとしては、ピクセル等倍で見たい
- 実際 Quest 3 をつかって至近距離で映像を見た時、映像圧縮のノイズが見えてるのか、映像転送の過程で発生した粗さなのか、判断がつかなかったりしました。
- もっと高いところに映像を配置したい
- 今回は直接手でスクリーンを動かす仕組みにしたため、物理的に手が届く範囲でしか配置できない、という課題を得ました。
- スクリーンをつかんで動かすのいいが、微調整ができない。もっと壁に平行に、ビタビタに置きたい
- 大きさ確認するのにはいいかも
- 遠くからみたりできるのが新しいかも