未来でアテンドするのはバーチャル美少女!? アイシンが開発したマルチモーダルエージェントの可能性

　自動車部品大手であるアイシン精機は2021年3月2日、車内でのコミュニケーションに最適なマルチモーダルエージェントを開発したと発表した。

　開発されたマルチモーダルエージェントは、まるで人間と見紛うばかりのバーチャル美女「Saya」だ。動画を見ると、その完成度の高さに驚く。

　より人間に近いマルチモーダルエージェントを開発した理由は何なのか？ またこのマルチモーダルエージェントは、今後どのような可能性を秘めているのか？ レポートしていきたい。

文／桃田健史
写真／AISIN、PDC

【画像ギャラリー】バーチャル美少女「Saya」ちゃんの お仕事ぶりを写真でチェック!!

■え!? Sayaって実写？

　「あの……」

　はにかんだ表情で、さりげなく気遣いをしてくれる「Saya」。

　こんな可愛い子がいつも見守ってくれていると思うと、心がほっとする人が世の中に増えるかもしれない。

実写に見えるけどじつは3DCGのSaya（サヤ）。2015年に公開されたコンセプトイメージは”不気味の谷を越えた”と話題になった

　今回、トヨタグループの大手自動車部品メーカー・アイシン精機が公表したのが「次世代の”移動”を支えるマルチモーダルエージェント」だ。マルチモーダルとは、画像や音声などさまざまなデータを総合的に解析することである。また、エージェントとは解析データを基に人に対してどのような行動をするべきかを誘導する仕組みを指す。

　詳しいことは後述するとして、まずはYouTubeで公開されている「車室内見守りシステム with “Saya”」をご覧いただきたい。

●まるで本物のように表情を見せる「Saya」の動画がコチラ

　冒頭のシーンをご紹介すると、場面は完全自動運転バスの車内。男性の乗客（加藤さん）が乗ってくる。すると、モニターのSayaが「加藤さん久しぶり。元気ですか？」と声をかけてくれる。

乗客の顔を認識して自分の記憶と照合・特定し挨拶をする「Saya」

　加藤さんが「元気だよ」と答えると、「いつも元気で、嬉しいです」。

　その状態で、加藤さんが視線を少し右にそらすと、ひと呼吸あってから、Sayaが「あの……」。

　「つり革を持ってもらってもいいですか」と、頼んでくる。なんとも自然体で、まるでモニター越しに生身の人間であるSayaと話しているような感じに見える加藤さんとのやり取りだ。

つり革を持っていないお客様に、つり革を持つようにさりげなく催促します

　むろん、Sayaはコンピューターのシステムを具現化した仮想の存在なのだが、これまで一般的だったエージェントは、動きや表情がぎこちなかったり、また同じことを音声化するにしても、もっとダイレクトな表現をするものだ。

　例えば、上記のつり革に関するシチュエーションでも「車内での安全のため、乗車中は必ずつり革につかまるようお願いいたします」といった感じだろう。

　それが、Sayaのように「あの……」と、こちらの動きを認識しているが、注意喚起について最大の効果を得られるような心理的なワザを駆使するところに、技術進化の奥深さを感じる。

■Sayaとは何者なのか？

　Sayaは、2016年頃に世に出た、永遠の「17歳の高校生」だ。生みの親は、CGアーティストのTELYUKA（石川晃之さん、友香さんご夫婦）である。

　今回、アイシンによるプロジェクトにおいて、Sayaの使命は「人との自然なコミュニケーション」だ。

　これを、一般社会の中で考えた時、開発者の描いたコンセプトは「社会弱者のためのユーザーインターフェース」となった。具体的には、子どもたちにとっての「お姉ちゃん」であり、高齢者にとっての「孫」のようなイメージだ。

　さらには、学校など教育の場面や、今回の自動運転バスのような街中の公共施設で、エージェントとして有り様を検証している。

　Sayaが動いたり話したりするためには、情報の原点として、AI（人工知能）による画像や音声の認識技術を高める必要がある。さらに過去の履歴（Sayaにとっての記憶）や、セリフや感情を構成するシナリオ、また人と対話するための制御など、マルチモーダルに情報を統合しなければならない。

　こうしたお膳立てができた上で、しぐさや感情の表現、くちびるの動き、そして音声合成などによってSayaという「ひとつの人格」としてまとめ上げている。

アイシンがIT企業や大学と協業して開発した「マルチモーダルエージェント」のシステムイメージ

　制作にあたっては、アイシンは画像認識とシステムソフト構築を担当し、その他にIT系企業各社や大学と連携している。アイシンによると、画像認識は同社の得意な領域であり、さらに2015年創業のベンチャー企業Ideinらと資本提携し革新的な製品開発に結び付いたという。

　また、アイシンが持つ車内のドライバーモニタリング機能での顔画像処理と、音声認識・対話制御を組合わせたマルチモーダル技術の開発を、名古屋大学・武田一哉教授や北岡教英准教授（現：豊橋技術科学大学・教授）と共に長年に渡り行ってきた。

　こうしたアイシンの基礎研究と、企業や教育機関との共同研究の成果がSayaに集約されている。

　技術面では、画像の撮影からSayaの反応まで、数10ms～100msという短時間で行っている。例えば、視線やマスクの検出で10ms程度、個人認証で100ms程度となる。

　今回公開した動画のような、人がSayaに話しかけてから、Sayaが動作や発話するまでは数100msかかっている。動画を見る限り、Sayaがおっとりした性格に思えるので、これでもけっして反応は遅いとは感じないが、技術的にはさらに反応時間を早めることが課題だという。

■完全自動運転での車内サービスの在り方

　では、実際の完全自動運転で、Sayaは本当に必要なのか？

　個人的な意見としては「YES」だ。

　筆者は福井県永平寺町で、交通・物流・介護／福祉・観光など多方面から次世代の町づくりを議論する、永平寺町MaaS会議の取りまとめを行うエボルーション大使を務めている。　

　永平寺町では、経済産業省と国土交通省の支援事業として、中山間地域でのラストワンマイル自動運転実証試験を約2年間行い、2020年12月から一部期間で有料での実用化を始めた。現在、町には8台の自動運転車両があるが、実用化において、1台の運行オペレーターが最大3台まで遠隔操作するシステムを導入している。

　自動運転（または自動走行）をバスのような公共交通で活用しようとすると、車両やシステムに対する初期投資とランニングコストを考慮し、町の財政負担を軽減することが求められる。

　そうした中で、最も大きなコスト課題は人件費だ。そのためには、車内を無人化して遠隔操作することが求められるのだが、無人となる車内は、なんとも無機質で、ともすると退屈な空間になってしまう。

　現時点でも、永平寺町の自動走行車には車内モニターで永平寺町の紹介映像などを流す場合があるのだが、筆者としては「もっと人との触れ合い」が必要だと感じることが多い。

「小梅ちゃん」は福井県永平寺の観光案内所に設置された「観光案内多言語AIコンシェルジュ」。人手不足を補うためにインバウンド対応として採用された

　そこで、是非とも永平寺町の自動運転車でもSayaに活躍して欲しい。 実は、永平寺の観光案内所にはAIコンシェルジュの「小梅ちゃん」が導入されているのだが、正直なところ性能としてはSayaが大きく勝っている。ぜひ、小梅ちゃんにもSayaの技術を投入し、ふたりがコラボする時代がやって来ることを期待したい。　

【画像ギャラリー】バーチャル美少女「Saya」ちゃんの お仕事ぶりを写真でチェック!!

Comments

この技術がさらに進んだら、アナウンサーとか常に生身の人でなくても良くなりますね

こういうの相手に結婚相談所でデート対策とかやったらリアルでもうまくいきそうだと思う。