こんにちは。エンジニアの米山です。
ワントゥーテンでは、ZIG SIM PROというプロトタイピング支援アプリをエンジニアチームで企画/開発しています。実際にうちのエンジニアも業務に取り入れて活用しています。
今回の記事は、2021年7月中旬にリリースしたZIG SIM PROバージョン1.3について紹介します。※ZIG SIMについてはこちら。
ZIG SIM PRO バージョン1.3で追加した機能
バージョン1.3では、以下の2つの機能を追加しました。
- 「人物情報をNDIの送信データに付与する機能」
- 「リアルタイムモーショントラッキング機能」
※これらの機能はA12以上のチップが搭載された端末でのみ動作します。
人物情報をNDIの送信データに付与する機能
こちらの機能は、これまでのNDIで映像を送信する機能に、人物の情報をアルファチャンネルに付与して送信できるようにしたものです。これを使えば、様々なNDI対応のアプリケーションで人物と背景を分けて加工するようなことが容易にできます。
この動画では、ZIG SIM PROからNDIで送られてくる映像をTouchDesignerのNDI In TOPで受信した後に人物と背景を分けて加工しています。
※この動画で使用した受信側アプリケーションはこちらです。
リアルタイムモーショントラッキング機能
こちらの機能は、人体（１名のみ）の90箇所の関節位置とiOSデバイスの現在位置を同時に取得し、それらの座標値をTCPやUDPで他デバイスに送信することができます。人体情報の取得ではARBodyTrackingConfigurationを使っています。
この動画では、ZIG SIM PROからUDPで送られてくる人体の関節位置とiOSデバイスの位置をブラウザアプリで受信し、それぞれを緑色と赤色の点で表示しています。
※この動画で使用した受信側アプリケーションはこちらです。
まとめ
今回の記事ではZIG SIM PRO バージョン1.3で追加した２つの機能について紹介しました。
人物情報をNDIで送る機能は、人物や空間を動き回りながら撮影し、人物と空間を分けて加工したものをリアルタイムで表示するような場面で便利な機能だと思います。
また、リアルタイムモーショントラッキング機能は、複数人のトラッキングはできませんが、アイデア次第で様々な用途に使っていただけると思っています。そこで次回は、このリアルタイムモーショントラッキングを使って作成した簡単なゲームを紹介したいと思います。
※ZIG SIMのマニュアルはこちらです。