12月3日から開催されるSIGGRAPH Asia 2024にて発表
テクノロジーを起点とした社会課題の解決や、新しい表現開発を実践するDentsu Lab Tokyoは、さまざまな素材の触り心地の音とオノマトペを紐づけた、独自のデータセット・モデルを構築。生成AIを活用することで、あらゆる言葉から触り心地を生成するAIシステム“FANTOUCHIE”を開発しました。
2024年12月3日から東京国際フォーラムで開催される国際学会であるSIGGRAPH Asia 2024にて発表します。
[画像1: https://prcdn.freetls.fastly.net/release_image/88502/40/88502-40-b411c40a8b5227a247cca7fd6a0fa178-3900×2194.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
近年、AIによる生成技術は目覚ましい発展を遂げ、テキスト、画像、音声生成の分野において革新的なサービスやプロダクトが次々と生まれています。一方で人間の五感の一つである「触覚」の生成に関する技術は先行事例が少なく、依然として発展途上にあります。
そこで我々はユーザーが入力した言葉から触り心地を生成し、フィードバックするシステムの開発に着手しました。
Generative Haptic AI “FANTOUCHIE”について
■技術のポイント
１.触り心地の音を取得できる独自のデバイスを開発し、オノマトペと紐づいたデータセット・モデルを構築
ピエゾセンサを搭載した爪型デバイスを開発し、岩、砂、布、樹脂、革、ゴム、紙などのさまざまな素材の音を収集。収集した触り心地の音と42種類のオノマトペを紐付けました。さらに各オノマトペを感性AIアナリティクス※1により43の項目で評価し、数値化することで、安定したモデル構築を実現しました。
※1：「感性AIアナリティクス」は電気通信大学・坂本研究室を発祥としたベンチャー企業・感性AI株式会社が開発したイメージ分析AIツール。機能の1つとして、研究で得られた「人の言葉の感性を精緻に可視化・定量化」する独自技術を用いて、音韻（オノマトペなど）から人間が受ける印象を43種の感性評価軸ごとに点数化することが可能。
[画像2: https://prcdn.freetls.fastly.net/release_image/88502/40/88502-40-a7088921742981184a5df6c1a8f82296-3900×2194.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
２.架空の言葉からでも触感を生成できるシステムを開発
上記のデータセット・モデルを活用することで、「洗濯したてのタオル」や「ユニコーンの角」のような架空の質感を含むテキストからも触り心地の音を生成できるシステムを開発しました。さらに振動スピーカーを用いてフィードバックを行うことで、ユーザーが様々な触り心地を体験できるようにしました。
[画像3: https://prcdn.freetls.fastly.net/release_image/88502/40/88502-40-e24030d5cb88a843cb765a1ef9bf8b27-2880×1566.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
■今後の活用方法
１.エンターテインメント領域での体験価値の拡張
FANTOUCHIEは、既存のコンテンツやサービスに新たな体験価値を付加し、ユーザー体験を向上させることが可能です。例えば、小説に含まれる言葉をもとに触り心地の音を生成することで、「文章が触覚としても伝わる」新しい読書体験を提供することができます。
想定される活用例：
・没入感を高めるゲーム・読書体験の実現
・楽曲の世界観を触覚で体感する没入型音楽体験の創出
・保有IPの新たな価値創出
・イベントでの製品世界観の体感的訴求
[画像4: https://prcdn.freetls.fastly.net/release_image/88502/40/88502-40-75083c7e30a6bae1aad49a423573e818-3900×2758.jpg?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
２.新たなプロダクト・ソリューション開発への活用
触り心地に着目したプロダクトやソリューション開発への活用も可能です。
想定される活用例：
・触覚情報を活用した製品開発
・障がいの有無に関わらず楽しめる製品・コンテンツ・サービス開発
・触覚フィードバックを活用した新しいアクセシビリティの可能性の開拓
上記のような取り組みに関心をお持ちの企業様は、ぜひお問い合わせください。
■関係者コメント Creative Director 中山桃歌
手触りの音を拡大した時に感じた生々しい感覚が、このプロジェクトの出発点でした。
現在の生成AIは、視覚や聴覚の領域では革新的な成果を上げていますが、物理的な触覚体験の創出については、まだ大きな可能性が眠っています。FANTOUCHIEは、言葉から触覚を生成することで、デジタルとフィジカルの架け橋となることを目指しています。触覚という直接的な身体感覚を通じて、新しい身体性の探求や、より豊かな体験の可能性を追求していきたいです。
■Dentsu Lab Tokyo関係者
– 中山桃歌(Creative Director)
– 川島梨紗子(Creative Director)
– 藪本晶子(Art Director)
– 森達哉(Creative Technologist)
– 高梨大(Creative Technologist
– なかのかな(Adviser)
– 竹内祐太(Adviser)
– 村上晋太郎(Adviser)
SIGGRAPH Asia 2024について
SIGGRAPH Asia 2024は2024年12月3日から6日まで東京国際フォーラムで開催されます。 毎年アジアの各都市をめぐって開催されるSIGGRAPH Asiaは、研究、科学、アート、アニメーション、ゲーム、インタラクティブ技術、教育、新技術の情報に刺激を求め、技術分野とクリエイティブ分野で活躍する世界中の業界関係者が数多く参加しています。https://asia.siggraph.org/2024/
発表の詳細は下記をご覧ください。
https://asia.siggraph.org/2024/ja/presentation/?id=pos_119&sess=sess195
場所：東京国際フォーラム（TIF）Gブロック地下1階 ロビーギャラリー(1)・(2)
日時：
2024年12月4日（水）13:00～14:00
2024年12月5日（木）13:00～14:00
2024年12月6日（金）13:00～14:00
ぜひお立ち寄りください。
Dentsu Lab Tokyoについて
[画像5: https://prcdn.freetls.fastly.net/release_image/88502/40/88502-40-8d9c24faf1bd157f7c1686cdce3d6645-405×261.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
Dentsu Lab Tokyo（デンツウラボトウキョー)は、研究・企画・開発が一体となったクリエイティブのR＆D組織です。「PLAYFUL SOLUTION」「おもいもよらない」をフィロソフィーとしながら、デジタルテクノロジーとアイデアによって、人の心を動かす表現開発や、いま世の中が求める社会の課題解決を実践しています。
https://dentsulab.tokyo/
