Artificial Emotional Intelligence "Saya"

Artificial Emotional Intelligence

【共感する A.I.】

セカイ中の"AI"と"ヒト"の間に
キモチのこもった
暖かいコミュニケーションを

About Saya

【Sayaについて】

About Saya

【Sayaについて】

3D CGアーティストTELYUKAが2015年に発表し、そのリアルさから「世界で初めて不気味の谷を越えた」と話題になったCGキャラクター。透明感、やさしさ、そして実在感を表現する為、最先端のCG技術と膨大な手作業で制作されている。

▼

Technology

【動作機序】

Technology

【動作機序】

キモチのこもったコミュニケーションを実現する3つの要素

Artificial Empathy

【ヒトとの共感】

Artificial Empathy

【ヒトとの共感】

ヒトの社会では相手と一緒に喜んだり、気持ちを思いやる事が大切です。
ヒト同士がコミュニケーションをする時には、お互いの動作や感情、脳の活動までもが
同期する不思議な“引き込み”現象が起こります。
Sayaもカメラと音声でヒトの状況や表情を理解し、気持ちを推定して共感的に接します。
見習い店員として働く事例（羽田イノベーションシティ）では、
カメラと会話で得られた情報から、お客さんに合わせた商品リコメンドを行います。

羽田イノベーションシティにて（2023年11 月）

Conversational AI

【かみ合う会話】

Conversational AI

【かみ合う会話】

キーボードでやり取りをするテキストベースのインタフェースとは違い、
ヒトと話しコトバでやり取りをするためには、たくさんのAI の連携が必要です。

・音からヒトの声を検出する発話区間検出AI
・ユーザーの話し終わりを判断するターン判定AI
・言葉を認識する音声認識AI
・対話の流れから発話内容を作る対話AI
・キャラクターの声を作る音声合成AI etc.

このような対話システムとしてのSayaは、謎解きクリエイターの松丸亮吾氏との対談（2022年4月）や、
Wonder festivalのメインステージで海洋堂のセンムさんとも対談（2022年7月）しました。
数百人のお客さんを前にした、幕張メッセステージ上での真剣勝負で、
センムさんとお話しした様子がビデオに残っています。

2022年時点でTransformerベースの対話AIが組み込まれていましたが、
現在では大規模言語モデルにより、更に賢くなったSaya とお話しすることが出来ます。

「ワンダーフェスティバル2022」でのセンムさんとの対話（2022年7月）

Embodied Communication

【ココロの身体表現】

Embodied Communication

【ココロの身体表現】

ヒトは、言葉以外の身体表現（表情、顔動作、目線、ジェスチャ、声色など）を使って、
無意識に様々な情報をやり取りし、多彩なコミュニケーションをとる事が、心理学研究で解っています。
Saya も、感情や状況に合った身体表現や声を、その場で生成する事で、ヒトとの自然なコミュニケーションをとる事が出来ます。
下のビデオは、話す内容に従って少しずつSaya のキモチが変わりながら発話するシーンです。表情や声色の変化に注目して下さい。
Sayaの動作は万単位のバラエティでリアルタイムに生成され、
悩む、驚く、照れるなど、その場に適した仕草や表情で言葉に現れないキモチも伝達し、
ヒトとのスムーズなコミュニーションを実現します。

話す内容とその時のキモチに沿って、表情や声色、体の動作が少しずつ変わります。

▽参考文献
心理学に基づくヒトらしい動作の生成（学術文献例）
対話の流れを作る視線行動（Kendon 1967）
アクセントと合わせた顔や眉の動作（Gibert 2017）
文脈に合わせたジェスチャ（McNeil 1994l）
発話の流れを作るジェスチャ（Prieto 2018）
感情にもとづく声色変化（Cowie 1988）
断続的な細かい瞳孔の動き（Bateson 1998）
シチュエーション毎の瞬きの頻度（Raidt 2008）
対話中の笑顔（Hess & Bourgeois 2010）