前回、バーチャルAIトレーナー「AIヘルスケアトレーナー」を紹介しました。これは、リビングのテレビ画面で、会話を通じて、気軽にヘルスケア相談とエクササイズのアドバイスをしてくれるものですが、商品の購入サポートなど、さまざまなサポートをしてくれるバーチャルAIコンシェルジュがテレビの中にいたら、新しい可能性が拡がりそうですよね。

シャープは、リビングにある大型テレビをつかった新たな提案として、そうしたアイデアを実現するソリューションを開発しています。それが、AIアバターが自分専用のコンシェルジュとしてさまざまな生活サービスを提供してくれる「AI Partner」です。

本ブログで紹介し、ともに開発中の「AI SMART LINK」や「AIヘルスケアトレーナー」と同様、当社独自のエッジAI技術「CE-LLM」（Communication Edge-LLM）を搭載し、昨年 9月に開催した当社単独の大規模技術展示イベント「SHARP Tech-Day’24 “Innovation Showcase”（以下、Tech-Day）」や、昨年10月の国内最大級を誇るデジタルイノベーションの総合展示会「CEATEC 2024」に展示し、近未来のサービスとして注目されました。

今回は、その「AI Partner 」について、開発担当 中田、林、佐野の3名に取材しました。

●「CE-LLM」は、シャープ株式会社の登録商標です。

―　「AI Partner 」とは？

（中田）シャープ独自のエッジAI技術「CE-LLM」を搭載し、テレビの新しい視聴体験やさまざまな生活サポートを提供するソリューションです。将来的には、テレビ画面に登場するAIアバターが、自分専用のコンシェルジュとして、一緒に生活しながら自然な会話を通じ、さまざまなサービスを提供することを目指しています。

―　開発のきっかけと目的を教えてください。

（中田）我々はテレビ「AQUOS」の開発を担当しており、テレビの新しい価値を模索する中、当社研究開発本部で開発し、全社を挙げて推進しているエッジAI技術「CE-LLM」を活用し、テレビに新たな付加価値をもたらす機能を提案できないかと考えていました。「CE-LLM」を搭載したデバイスは、会話のみでのコミュニケーションが可能なため、リモコン操作に依存しない、対話形式の新たなUX（会話による操作）でのサービスを開発することにしました。

―　具体的にはどんなことができるのですか？

（中田）AIアバターと自由に会話ができます。例えば、動画を一緒に見ながら利用者と会話したり、製品購入のサポートをしてくれたりもします。また、AIアバターが、各サービスのポータルとしての機能を併せ持つことをイメージしています。さらに、AIアバターを、対話を通して作成し、切り替えることもできます。

いま、AIアバターを呼び出してみます。デモでは、操作はリモコンを使わずジェスチャーと会話で行います。手を振るジェスチャーを行うと、AIアバターがテレビ画面に登場します。

この様に、オススメ動画を提案し、動画の内容をベースにAIアバターがリアルタイムにコメントするほか、時折、質問を投げかけてくることもあります。さらに、表情も会話の内容に応じて笑ったり怒ったりしますよ。利用者の冗談にも笑顔で対応します(笑)。一定時間対話がないと、動画に集中していると判断し、AIアバターが消え、動画だけの画面になります。

―　製品購入のサポートもするんですよね？

（中田）はい。やってみますね。

こんな感じで、家族の過去の対話履歴や視聴した動画などを分析し、おすすめ製品を紹介しながら購入サポートをします。お好みに応じてAIアバターも変更可能です。

―　「AI Partner」の動作原理を教えてください。

（佐野）「AI Partner」は、利用者の質問や話を「CE-LLM」により判断、応答文を生成し、AIアバターが回答します。AIアバターの表情や仕草も「CE-LLM」で判断し、動作させています。

「AI Partner」では、相槌（あいづち）のように素早い応答が必要な場合はエッジAI、詳細な情報はクラウドAIを活用して応答するようにしています。また、誕生日など個人情報にかかわる会話はエッジAIを使うといった判断もしています。

（「CE-LLM」については、以前のブログで紹介していますのでご参照ください。→ 家電とスムーズな会話が可能に？！～人に寄り添うシャープのエッジAI技術「CE-LLM」とは～）

―　スムーズな会話を実現するため、工夫したところはありますか？

（佐野）動画を見ている時やフリートークの時など、会話のシーンに応じて適切な応答生成ができるように調整しました。また、利用者が会話しやすくなるように、AIアバターからも話しかける設定にしています。

―　AIアバターのキャラクターなど表示部分で取り組んだところなどありますか？

（林）基本的な表示ソリューションについては、2Dイラストに立体的なアニメーションを加える表現技術をお持ちの株式会社Live2D 様にご協力頂いただき、「AI Partner」のメインキャラクターとして制作したAIアバターと組み合わせて動作させています。なお、AIアバターは、当社創業者と同じ苗字の「早川 花子」と名付けました。

（佐野）アバターを表示するという取り組みは初めてですので、自然な動作や表情になっているか、音声と口の動きが同期して実際に話しているように見えるかなど、試行錯誤しながら細かい調整を行いました。キャラクター以外でも、急に画面が立ち替わるのではなく、滑らかなシーン遷移ができるよう設定したほか、背景の明るさを変えたり、フォーカスしないところを暗くしたりなど、画面の見やすさについても工夫を加えました。

―　ほかにも開発時に苦労したことやチャレンジしたことなどを教えてください。

（佐野）AIアバターを呼び出す手を振るジェスチャーは、カメラで認識・判断します。しかし、近距離で認識するスマホの場合と違い、テレビに設置して用いる「AI Partner」は、少し離れた人物を認識する必要があり、遠くになるほどジェスチャーの認識率が落ちてしまう課題がありました。そこで、離れた位置にある手でも高精度に認識できる技術を新たに開発して、ジェスチャーの認識率を上げることができました。

また、「Tech-Day」などの展示会場は広く、会場の喧噪下で利用者の声を拾うことが重要なポイントとなるため、とても苦労しました。今回のデモでは喧噪下でも認識できるよう、マイク性能についても調整を重ねました。

（林）今回のプロジェクトでは、カメラやマイクなどのシステム開発や、「AI Partner」のアプリ開発はもちろん、テレビへの取り付けなどの機構開発、さらには、展示デモの内容や仕様を決めるところまで、並行して短期間で行う必要がありました。「Tech-day」の展示までかなり厳しいスケジュールでしたが、何とか無事に対応できました。今思い返せば、良い緊張感の中で取り組めたと言ったところでしょうか(笑)。おかげさまで、「CEATEC 2024」での展示も含め、どちらの展示も多くの方にご体験いただき、高い評価を得ることができました。

―　最後に、みなさんの想いを教えてください。

（佐野）コンセプト展示として開発しましたが、実用化するにはいくつか課題があります。展示をご体験いただいた方の反応や意見を参考に、お客様に寄り添う「AI Partner」とは何かを考え、各開発要素の完成度を上げ、製品化を目指していきます。

（中田）家庭内のコンシェルジュとして、すべてのテレビ「AQUOS」に搭載していきたいです。個人的には、自分の好きなキャラクターと会話できる世界を拡げていけたら良いですね。

（林）友人や家族とコミュニケーションをとり、お互いの認識や考えを共有し、関係性が深まれば、人は幸せだと感じやすいと思います。そのコミュニケーションをとる対象に「AI Partner」が成れれば良いなと思います。「AI Partner」以外にも、AIを利用して人を幸せにするサービスを開発したいです。

―　ありがとうございました。

---

自分だけのコンシェルジュを欲しいなと思っていましたが、実現するのは難しそうと諦めていました。でも、AIを使ったサービスなら、気軽にコンシェルジュが手に入れられそうです。近未来には、友人の少ない私でも親しい相棒が出来るかも・・・（笑）。そう思わせてくれる取材でした。「AI Partner」早く実用化して欲しいですね！

（広報H）

＜関連サイト＞

■SHARP Blog：

■製品情報：テレビ「AQUOS」
■株式会社Live2D