機械学習エンジニアの隅田 (@sumita_v09 ) です。少し前ですが、dotFes 2019 Osaka に出展したインタラクションコンテンツ: AIR T Lab. へのStyle Transfer導入について紹介します。
背景
AIR T Lab. は、dotFes展示に向け、1→10の若手クリエイターがワイワイと集まって作り上げたインスタレーションです。
このコンテンツでは、”プロジェクター前に設置されたカメラで撮影したユーザーの顔画像をAR-Tシャツにプリントする”といったものになっております。（以下画像）
その中で、「ただ顔画像をTシャツにプリントするのではなく、デザインTシャツのような加工された顔画像をプリントすればいいのでは？」といった意見が出たことから、機械学習タスクの一つであるStyle Transferを試してみることになりました。
実装について
構成は、Unityで作られた本体コンテンツとは別のPC上にStyle Transfer APIを立てています。PC2台構成にした理由としては、本体コンテンツとStyle Transferの処理負荷とPCスペックの問題などがあったためです。
Style Transfer APIはFlaskで実装しており、コンテンツ側から顔部分の画像（ハンガーの少し上の部分の画像）がPOSTされ、それに対してStyle Transferを行いコンテンツ側に返すようなシンプルな作りになっています。Style TransferモデルはPytorchで実装しており、今回のコンテンツに合わせたような素材を用意・作成して学習を行っております。
まとめ
昨今画像分野だとImage ClassificationやObject Detectionなどは社会に少しずつ浸透していて様々な分野で活躍しています。（例えば、画像検索システムや顔認証監視カメラなど）
それに対して、なかなかStyle TransferなどはWeb上でのデモでとどまっている印象です。こういったタスクはエンタテインメントの分野で色々利用できるので今後も使っていければと考えています。
機械学習エンジニア募集中！
1→10は、AI技術・機械学習技術をXRなどの技術と組み合わせ、AI体験へと昇華させることを得意としています。
近年では認識技術、AIエージェントやそのアーキテクチャの開発に注力しています。他にも GANやword2vec、Transformerなどの表現に関わる要素技術も積極的に研究しています。
弊社のAIに関する取り組みの詳細は、こちらのサイトをご覧ください。
ご興味のある方は、Wantedlyからご応募ください。ご応募、お待ちしています！