エンジニアの藤岡 ( @foka ) です。

2022年4月頃にUltraleap 3Diというハンドトラッキングデバイスが発売になったので試してみました。

Ultraleap 3Diとは

Ultraleap 3Diは、Ultraleap社が製造・販売するハンドトラッキングデバイス。空間内の手・指の位置や形を3次元で高精度にトラッキングできます。

非接触でUIを操作でき、手・指を使った体験型コンテンツにも応用可能。

また、VRヘッドセットと連動させて、VR空間内の高精度ハンドトラッキングにも使われることがあります。

具体的には上の動画を見るとわかりやすいかと思います。

数年前からLeapMotionというハンドトラッキングデバイスがありますが、LeapMotionの改良版がUltraleap 3Diになります。

・公式サイト

https://www.ultraleap.com/product/ultraleap-3di/

Ultraleap 3Di　実際のトラッキング映像

付属のVisualizerアプリでUltraleap 3Diに映る赤外線映像とトラッキング結果を見ることができますが、こんな風になります。

Leapmotionの時から長年ソフトウェア側の改良も重ね続けているようで、今では多少手を組んだり重なったりしてもトラッキングできるようになりました。

トラッキングが外れることもありますが、Leapmotion登場時と比べると格段に進歩していると思います。

ハンドトラッキングのコンテンツ応用例

以前にLeapmotionを使った技術モックを作ったことがあるので紹介します。

これらのモック作成時はUltraleap 3Diがなかったため、旧機種のLeapmotionを活用してます。

機能は同じですが、トラッキング範囲がLeapmotionよりUltraleap 3Diの方が広くなっています。

LeapmotionとUltraleap 3Diのトラッキング範囲

具体的なトラッキング範囲は下記に記載があります。

https://docs.ultraleap.com/hand-tracking/getting-started.html

画像を一部お借りすると、左右のトラッキング範囲は以下の通り、

上下のトラッキング範囲は以下のようになっています。

その他の特徴

• IP54防塵・防水機能がついた
  （Ultraleap 3Diのみ。旧機種のLeapmotionにはない）

• デバイスの設置位置は以下の3か所のどれか
  • 上から下に向けてトラッキング
  • 下から上に向けてトラッキング
  • 目の位置から前に向けてトラッキング（VRゴーグル用）

• 平面への設置
  Leapmotionは単体で机などの平面に置けたが、Ultraleap 3DiはUSBケーブルが後ろ側に接続するようになっていて、ケーブルが邪魔で直接置けなくなった。

Webカメラハンドトラッキングとの比較

最近はDeep Learningの発展により、専用デバイスを使わずにWebカメラを使うことでもハンドトラッキングができるようになっています。

・例：Mediapipe Hand Tracking

https://google.github.io/mediapipe/solutions/hands

それでもUltraleap 3Diの方がメリットがある場合もあり、Webカメラのハンドトラッキングと比べるとUltraleap 3Di には以下のような特徴があります。

• 上下左右奥行の3D空間トラッキングの精度が高い
  （奥行不要の2Dトラッキングなら、Webカメラのハンドトラッキングも十分精度高い）

• 赤外線を利用しているため、暗所でも利用可能

• トラッキング範囲がWebカメラより広い

• トラッキングの速度が高速（90FPS程度）

まとめ

条件次第ではWebカメラのハンドトラッキングも十分実用的です。

Webカメラのハンドトラッキングでは不十分な場合や、プロジェクションと連動させるような暗所、IP54 防塵・防水のため現場に人がスタッフがいないこともある常設コンテンツなどではUltraleap 3Diに活躍の可能性がありそうです。

また、防塵・防水機能もつき、トラッキング範囲も広がっているため、お値段は上がりますが、今後はLeapmotionよりUltraleap 3Diを使っていくのが良さそうです。