セレンス 視線移動とAI会話を併用したナビ情報取得をデモンストレーション

セレンス社が開発した発話に対応した音声認識技術は、主要な自動車メーカー、カーナビ・メーカーに供給されており、世界的に圧倒的な高いシェアを持っている。最新技術では自然会話に対応したAI搭載型のドライバー・アシスト・システムを展開している。

その「セレンス」とは、メルセデス・ベンツの「MBUX（メルセデス・ベンツ ユーザー エクスペリエンス）」、BMWの「インテリジェント・パーソナル・アシスタント」に代表される自然会話型のAI搭載型ドライバー・アシスト機能を供給する企業で、グローバル音声関連ソフト開発企業のニュアンスコミュニケーションズが2019年10月から、オートモーティブ部門を分離・独立させ、新たに「セレンス」という企業名でスタートを切った。そして、今回セレンスとして、今後の事業戦略のプレゼンテーションを行なった。

※関連記事：会話型AIのニュアンスコミュニケーションズの車載部門がスピンオフ 新会社「セレンス」としてスタート：

セレンスが目指すロードマップ

新生「セレンス」は、車載のコグニティブ（認知）・アシスタント・システムを模索している。コグニティブとは、ドライバーや乗員とクルマとのコミュニケーション、つまりヒューマン・マシン・インターフェース（HMI)を飛躍的に高いレベルまで引き上げることを目指している。

高度運転支援システムや自動運転化に伴い、従来では考えられないようなHMIが求められているからだ。その背景には、高度運転支援システムや自動運転化により、クルマからはより多くの情報が提供され、ドライバーはそれらを理解し、対応する必要がある。このような条件では、ドライバーがより素早く、簡潔に重要な情報を認識できるかどうかが問われる。そのためには新たなコグニティブ（認知）・アシスタント・システムや、HMIが必要となってくるのだ。

そのため、「セレンス」のイノベーション・ロードマップでは、2021年～2022年には、ドライバー・アシスタンスでは感情を持つAI、ドライバー・乗員のモニタリング・システム、マルチモーダル（複数の手段）なインターフェースの開発をテーマにしている。

その中でも特にセレンスは視覚、触覚、聴覚、臭覚などを意味するマルチモーダルな、もともと人間同士がコミュニケーションする方法に着目している。

したがって、高度運転支援システムや自動運転などの条件では、単一の情報伝達、例えば音声や警告表示ではなく、複数の、ドライバーがより確実に認知しやすいマルチモーダル・インターフェースが好ましいとなってくる。

そのためセレンスは、ジェスチャー、音声による会話、触覚、視線などを組み合わせたインターフェース方法を追求しているわけだ。

ロードマップの中で2023年以降は、拡張現実（AR)、人とクルマから、人と社会環境への拡大、人間の意識に訴えかける「没入体験」などの技術に挑戦すると想定している。

マルチモーダル・インターフェースのデモンストレーション

今回の技術デモンストレーションは、マルチモーダル・インターフェースのカテゴリーの中でドライバーと、クルマ、周囲の環境データとのインターフェースを具現化したものだ。ドライバーの視線方向（アイ・トラッキング）と、音声会話技術、車両周囲のデータベース組み合わせ、ドライバーが視線を向けた方向の対象物、建物や店舗などの情報をドライバーが会話で簡単に情報入手できるという仕組みになっている。

従来の車載AI会話システムでは、「〇〇に行きたい」と発話すると、クルマ側のシステムは候補地を示し、そこまでのルートを案内をするというスタイルだ。

ドライバーの視線移動の検知と車載会話AIシステムを組み合わせた、今回のマルチモーダル・インターフェースでは、ドライバーの視線が向かった先の店舗や、建物に関して「あの建物は何?」、「あのレストランの営業時間は?、電話番号は?」と発話すると、その建物や店舗に関する多くの情報がデータベースから得られる仕組みになっている。

インターフェースとしては、ドライバーの視線によりGPSやデータベースから建物や店舗の対象物を特定し、ドライバーの言葉による問いかけに対して、データベースからの情報が会話とディスプレイ表示により提供されるようになっている。



もちろん、本来はデータベース、マップ情報などはクラウドにあり、通信によって取得されるが、今回のデモでは車載のパソコンに格納されたデータを使用していた。

実際のデモでは、本来はドライバーが様々な手法で検索するかわりに、視線を向けた対象物の様々な情報が会話形式で引き出されるので、検索の手間が不要になり、レストランを見つけ、営業時間を確認し、予約をしたければ電話番号が表示され、さらに音声のみで予約電話をすることも可能になる。

クルマとに自然会話に加え、ドライバーの視線先の対象物が検出という2種類のインターフェースを組み合わせるだけで、ドライバーが関心を持つものの情報をよりスムーズに的確に得ることができるというデモで、マルチモーダル・インターフェースの優位性を実感することができた。

Twitter：https://twitter.com/autoprovenet
facebook：https://www.facebook.com/autoprovepage/
Youtube：https://www.youtube.com/user/autoprove/

セレンス 関連記事
セレンス 公式サイト

ニュアンス・コミュニケーションズ 関連記事
ニュアンス・コミュニケーションズ 公式サイト