機械学習エンジニアの隅田 (@sumita_v09) です。
2020年にオープンしたシンガポール：セントーサ島のMagical Shores。ここに導入した”浜辺の群衆活性度を知覚する”システムについてご紹介します。
はじめに、プロジェクトを簡単に説明をしますと、「セントーサ島に命を吹き込む」というコンセプトがあります。そうした方針を基に、浜辺にいる人々と活性度を知覚し、それに応じて演出を切り替えています。
コンテンツの詳細やインタラクションについてはこちらをご覧ください。
1→10では、こうした「環境に存在 (AI) を宿す」「空間に意志を持たせる」、大規模な空間体験がこれから増えてくるだろうと考えています。
システム概要
このシステムは、セントーサ島のビーチに設置された複数のLIDARセンサーの情報から浜辺の群衆の活性度を準リアルタイムで推論して結果をコンテンツに送信しています。活性度というモノとインタラクションコンテンツへの応用については、以下のようになっております。
ビーチで楽しむ来場者の状態を判断するAIを独自開発。ビーチに設置されたセンサーの時系列センシングデータから特徴量を抽出し、ゆったりと楽しんでいる、活発に遊んでいる、などのビーチ全体の人々の活動具合をAIが判断します。
シロソビーチ周辺の天候や気温などの環境状態のビッグデータやビーチにおける人々の活動具合により毎日毎時、独自開発したクリエイティブAIにより、演出が変化します。
弊社HP、MAGICAL SHORES at SILOSOより
以下章では開発について簡単にご紹介します。
開発について
まずは、実際のビーチにPCとLIDARセンサーを設置し、収集ツール（カメラとセンサー値を連動するような）を使ってデータ収集を行いました。（現地へ行った弊社メンバーに砂浜で色々動いて頂きました。）
このように収集したデータに対してData AugmentationやData Simulationを適用して水増しし、最終的にはTensorflowを使ってリアルタイム処理（前処理から推論まで約0.05[msec]以内）できるようなサイズのモデルとしてアウトプットしました。
デプロイに関しては、設置環境問題でネットワーク接続がないことに加えUnityコンテンツPC内の1プロセスとして起動する、といった条件であったため、スタンドアロンで動作するPythonアプリケーションとして実装しました。
まとめ
今回はビーチという実環境のコンテンツへの機械学習の導入・開発について紹介しました。
1→10ではこのように野外コンテンツを作成することが多いため、今後はオンプレ環境でのMLOpsなども試していきたいと考えております。
機械学習エンジニア募集中！
1→10は、AI技術・機械学習技術をXRなどの技術と組み合わせ、AI体験へと昇華させることを得意としています。
近年では認識技術、AIエージェントやそのアーキテクチャの開発に注力しています。他にも GANやword2vec、Transformerなどの表現に関わる要素技術も積極的に研究しています。
弊社のAIに関する取り組みの詳細は、こちらのサイトをご覧ください。
ご興味のある方は、Wantedlyからご応募ください。ご応募、お待ちしています！