SHARP Blog

ハンズフリーだから手がふさがっていても大丈夫!-「人に寄り添う」対話型ウェアラブルデバイス「AI SMART LINK」を開発 -

  • このエントリーをはてなブックマークに追加
開発中のウェアラブルデバイス「AI SMART LINK」(カメラ搭載モデル)
右下(左:カメラ非搭載モデル、右:カメラ搭載モデル)

せっかくの海外旅行で、その国の言葉が分からなくて失敗したことはありませんか?

私は、楽しみにしていたコンサートに遅れてしまったことがあります(涙)。会場に向かう地下鉄に乗るはずが、急いでいて、さらに荷物で手がふさがっていてスマホを出して翻訳するのが面倒だったので、やって来た車両に『きっと大丈夫!』と飛び乗ってしまいました。それが運悪く、数本に一本違う場所に途中から分かれて行ってしまう車両で・・・。

こんな時、車両の案内板に現地語で書かれている内容をハンズフリーで教えてくれる製品があれば、本当に便利ですよね。

実は、そうした”言葉の壁”の解消や、調理ガイダンスなど、ハンズフリーでAIがさまざまなサポートをしてくれる製品が、近い将来シャープから実用化する予定です。それが、今年9月に開催した当社単独の大規模技術展示イベント「SHARP Tech-Day’24 “Innovation Showcase”」で発表したウェアラブルデバイス「AI SMART LINK」です。個人生活を刺激する流行情報誌「日経トレンディ」の「2025年ヒット予測100」の1位※1に選ばれるなど注目されています。(→ウェアラブルデバイス『AIスマートリンク』を開発<ニュースリリース>)

今回は、現在開発中の「AI SMART LINK」の特長や、これがもたらす便利な生活などについて、開発担当の樋口、海老原、青田の3名に聞きました。

● シャープ株式会社は、商標「AI SMART LINK」を出願中です。

※1フェアリーデバイセズ株式会社の企業向けデバイス「THINKLET(シンクレット)」、ソースネクスト株式会社の対話型AIデバイス「BirdieTalk(バーディ・トーク)」とともに、「肩掛けプライベートAI」として共同で1位となりました。(→日経トレンディが選ぶ「2025年ヒット予測100」で、当社「AIスマートリンク」を含む「肩掛けプライベートAI」が1位に!

「AI SMART LINK」開発担当(左より、海老原、青田、樋口)

― 「AI SMART LINK」とは?

(樋口)内蔵マイクを用いた音声による生成AIとの自然なコミュニケーションが可能で、開発中の当社独自のエッジAI技術「CE-LLM」(Communication Edge-LLM)を搭載しており、ハンズフリーで、さまざまなシーンで手軽に利用者のサポートをしてくれるウェアラブルデバイスです。カメラ搭載モデルは、インタラクティブな会話に加え、カメラで利用者の周囲の状況を判断しますので、より精度の高いサポートが可能です。

ウェアラブルデバイス「AI SMART LINK」(左:カメラ非搭載モデル、右:カメラ搭載モデル)

「SHARP Tech-Day’24 “Innovation Showcase”」で、「AI SMART LINK」を身に付けて
発表する 当社 専務執行役員 CTO 兼 ネクストイノベーショングループ長 種谷 元隆

(海老原)エッジAI技術「CE-LLM」により、利用者の問いかけに対し、高速な応答が期待できる端末内のエッジAIか、Chat GPTなどの豊富な情報が得られるクラウドAIのいずれで処理するかを即時に判断し処理することで、スムーズで自然な会話のやりとりを実現します。

(「CE-LLM」については、以前のブログで紹介していますのでご参照ください。→ 家電とスムーズな会話が可能に?!~人に寄り添うシャープのエッジAI技術「CE-LLM」とは~

●「CE-LLM」は、シャープ株式会社の登録商標です。
● ChatGPTは、OpenAI社が開発した自然な対話形式で会話できるチャットbot型AIサービス。

― 具体的にはどんなことができるのですか?

(青田)例えば自転車に乗る時、「AI SMART LINK」を首にかければ、AIが音声で目的地までナビゲートしてくれます。画面を見る必要がないので、「ながらスマホ」抑制につながりますし、内蔵カメラが、道路標識や看板などを認識することで、より精度の高いナビが可能です。

(海老原)旅行でも便利に使えます。海外で、外国語の案内看板やポスターなどに、スマホをかざして翻訳することが多いと思いますが、「AI SMART LINK」はハンズフリーで、カメラに映った看板の画像情報から内容を知ることができるので、いちいちスマホを取り出す必要がありません。

「AI SMART LINK」のカメラで外国語の内容を判断し、利用者にその内容を教えてくれる。
<「AI SMART LINK」(プロトタイプ)でのデモの様子>

さらに、海外から日本に観光に来られた方が、例えば、お城で「しゃちほこ」を見たとします。旅行者にはその名前がわからないので、調べるのが大変だと思いますが、「AI SMART LINK」なら「これって何?」と聞くと、カメラの映像情報から判断し、教えてくれます。

― ハンズフリーでカメラの映像から判断してくれるのは良いですね。私のような海外での失敗は防げます(笑)

(樋口)調理ガイダンスも可能です。「ニンジンを切ったけどどうかな?」と話すと、カメラで食材の状況を確認しながら、「上手です。次の手順に行きましょう」と会話を通じて料理手順をサポートしてくれます。

下方向に向けた「AI SMART LINK」のカメラで
ニンジンの状況を判断し、利用者に次の料理手順を教えてくれる。
<「AI SMART LINK」(プロトタイプ)でのデモの様子>

また、冷蔵庫を開けて、「冷蔵庫にある食材で料理したい」と話しかけると、カメラで庫内にある食材をチェック。その食材でできるメニューを提案し、メニューが決まったら「ヘルシオ」などの調理家電にレシピをダウンロードするといったことも可能です。

「人に寄り添う」製品を目指して開発していますので、状況に合わせた雑談も可能です。調理をしている時に、「日本一の山は?」と聞いても答えてくれますよ(笑) 紹介した以外にもさまざまな可能性が考えられます。

― 開発のきっかけは?

(海老原)我々の部署では、AI関連の開発を進めています。昨年10月に初めて開催した当社単独の大規模技術展示イベント「SHARP Tech-Day」で、ウェアラブルAIスピーカー「AQUOSサウンドパートナー」をベースに開発したプロトタイプを公開し、AIを用いた夕食の献立支援などのデモを行いました。しかしカメラがない「サウンドパートナー」をベースに開発したため、会話を通じてメニューを提案してくれるものの、利用者が見ている状況は把握できませんでした。シャープのAIの方向性である「Act Natural」を実現し、より便利なソリューションを実現するには、カメラなどでより精度の高い状況判断ができる製品が必要だと感じました。

また、以前から、さくらインターネットのフェローで、さまざまなスタートアップの支援をしているITエバンジェリスト※2の、京都芸術大学 小笠原教授から、AIに関する相談にのっていただくなどのお付き合いがあり、連携を深める中で「AI SMART LINK」の商品像が具体化したんです。

※2 高度で複雑なIT技術やトレンドを分かりやすくユーザーに伝えていくことを役割とする人。

― なるほど。ところで「Act Natural」とは何ですか?

(海老原)「Act Natural」とは、シャープが生成AIで提供する価値のことで、AIと人間がどういった接し方をするかを2つの単語に凝縮しています。具体的に言うと、いままでは、複雑な利用手順を理解した上で、利用者が家電や機械の操作方法に合わせてボタンを押したり、タッチしたりといった行動をする必要がありましたが、これからは、AIが人間に寄り添ってくれて、自然な動作や会話の中で、知らず知らずのうちにAIからサポートを受けることができるようになるというコンセプトを「Act Natural」と呼んでいます。

― 「AI SMART LINK」は「Act Natural」を具現化した製品なのですね。これは、どんな原理・フローで回答やサポートをしているのですか?

(青田)先ほども話しましたように、エッジAI技術「CE-LLM」を用いています。利用者が内蔵マイクで話しかけると、その情報をテキストにし、ユーザーの質問内容が簡単か否かをAIが判定し、簡単な内容に対しては、「AI SMART LINK」内のエッジAIで迅速に回答。難しい場合は、Chat GPTなどのクラウドAIに複雑な回答を任せる、という仕組みです。

(海老原)「CE-LLM」は昨年の「SHARP Tech-Day」でも出展したのですが、「AI SMART LINK」は昨年より進化した「CE-LLM」を採用していて、音声入力だけでなくカメラで読み取った映像をも並行して処理するマルチモーダルとなっており、音声と映像の情報から回答できるようになりました。

― スムーズな会話は「CE-LLM」だからこそなのですね。 

(海老原)はい。ただ、クラウドAIで応答する場合は、どうしてもクラウドとの通信に時間がかかってしまいます。「SHARP Tech-Day’24 “Innovation Showcase”」でのプロトタイプのデモでは、外国語の看板から情報をカメラで読み取り、エッジAIでその言語を判断するシーンを再現しました。そこでは、「この看板はドイツ語ですよね?」などと返答し、クラウドAIからの回答までの会話の間を持たせるような工夫を行いました。このように聞くのは、利用者が知りたがっている情報なのかを確認する意味もあるんです。

「AI SMART LINK」(プロトタイプ)をかけて、開発時の話をする開発担当 海老原

(樋口)このほかにも、スムーズな受け答えとなるように、AIからの回答をできるだけ短文で生成するようにプロンプトを設定・調整しました。こうしたさまざまな工夫やチャレンジをしながら、商品化に向けて開発を進めています。

― 「SHARP Tech-Day’24 “Innovation Showcase”」にプロトタイプを展示しましたが、反響はどうでしたか?

(海老原)予想以上の反響でした。「いつ発売するんですか?」と質問される方が多かったですね。

(樋口)調理ガイダンスのデモをしたのですが、デモを体験した方から、「ほかにこんな機能があったらいいのに」というご意見などもいただき、勉強になりましたし、刺激にもなりました。

「AI SMART LINK」(プロトタイプ)を手に持ち、開発時の話をする開発担当 樋口
(自由な方向に角度を変えられるジンバル型のカメラを搭載したプロトタイプ)

(青田)多くの方にご来場いただきました。新入社員の私は初めての経験で楽しかったです。「最近にない、シャープらしい製品で期待が持てる」と言ってくださる方が結構おられました。

― 実用化はいつごろですか?

(青田)京都芸術大学の学生参画の実証検証(本年11月~)を経て、当コンセプトベースの商品・サービスを2025年度内に立ち上げる予定です。それまでお待ち下さい!カメラがないエントリーモデルと、より精度の高い対応が可能なカメラ付きハイスペックモデルの両方を実用化したいと考えています。

― 最後に、みなさんそれぞれの想いを教えてください。

(樋口)デバイスとの会話をもっと自然にできるようにしたいです。将来は、SF映画でよく出てくるような、論理的に解決してくれるけど、人間的な部分を持つAIロボットのような製品を開発できれば良いなと思います。シャープでそういう世界・未来を実現していきたいです。

(海老原)一人ひとりにパーソナルなAIの友達が開発できれば良いなと思います。専用のAIに気軽に相談したり聞けたりする世界を実現したいです。「AI SMART LINK」はその一歩だと思います。

(青田)「AI SMART LINK」が新しいジャンルの家電として広まって欲しいです。家電のリモコンは「AI SMART LINK」、という風になればいいですね。

「AI SMART LINK」をかけて質問に答える開発担当 青田

― ありがとうございました。


AIデバイスは、多くの企業がさまざまタイプのものを検討しています。その中で、「AI SMART LINK」を含む肩掛け型のAIデバイスが、日経トレンディ誌の「2025年ヒット予測100」の1位に選ばれました。今後、「AI SMART LINK」のようなハンズフリーの肩掛け型がAIデバイスの本命になってくるかもしれません。実用化されるそのときをワクワクしながらお待ちください!

(広報H)

<関連サイト>
■ニュースリリース:ウェアラブルデバイス『AIスマートリンク』を開発

■受賞表彰:日経トレンディが選ぶ「2025年ヒット予測100」で、当社「AIスマートリンク」を含む「肩掛けプライベートAI」が1位に!

■SHARP Blog:

  • このエントリーをはてなブックマークに追加
Top