AIは「聞き取る」から「聞きながら話す」へ　汎用聴覚知能の現在地

音声を文字にするだけだったAIの「耳」が、環境音や音楽も含めて状況を理解し、声を作り、相手の発話を聞きながら応答する段階へ進もうとしています。

『Nature Machine Intelligence』に掲載されたレビュー論文が、こうした「汎用聴覚知能」の研究を、音の理解、生成、音声対話、映像との統合という4つの領域から整理しました。

30秒でわかる論文

汎用聴覚知能とは、音声認識だけでなく、話し方や感情、環境音、音楽、音の位置や時間的な変化まで理解し、自然な音声を生成しながら、人とリアルタイムに対話できるAIを指します。

現在のAIは個別の能力では大きく進歩しています。しかし、雑音の中で複数の音を分けること、相手の話を聞きながら話すこと、音と映像を正確に結び付けることなどでは、まだ人間の柔軟さに届いていません。

なお、この論文は新しいAIモデルの性能を検証した実験研究ではなく、2026年までの研究を整理し、今後の方向性を示したレビュー論文です。

AIにとって「聞く」とは何か

人の声には、言葉以外の情報も大量に含まれています。

感情、アクセント、年齢、話し方、抑揚、声の持ち主などです。環境音からは、物や人の動き、場所、危険などを読み取れます。音楽には歌詞や旋律だけでなく、リズム、楽器、ジャンル、表現も含まれます。

論文では、足音の後にドアが閉まる音が聞こえたとき、AIは二つの音を検出するだけでなく、「誰かが部屋を出た」と推論できる必要があると説明しています。

論文の図1では、こうした能力を次の4領域に整理しています。

領域	AIに求められること	現在の主な課題
音の理解	音声、環境音、音楽をまとめて理解する	雑音、音の重なり、位置、時間関係
音の生成	声、効果音、音楽を意図どおりに作る	長時間の一貫性、細かな制御、評価方法
音声対話	聞きながら考え、自然なタイミングで話す	遅延、割り込み、相づち、複数話者
音と映像の統合	見えているものと聞こえる音を結び付ける	音を無視する問題、時間的なずれ

最大の技術課題は、音をどう表現するか

音は連続的に変化する信号ですが、大規模言語モデルは通常、文章を細かなトークンに分けて処理します。ここに構造上の違いがあります。

論文は、音をAIへ渡す方法を大きく二つに分けています。

「連続埋め込み」は、音の細かな特徴を比較的よく残せるため、声質や環境音を詳しく理解する用途に向いています。一方、「離散トークン」は、音を一定の単位へ変換するため、文章と同じように次の音を予測しやすく、音声生成に向いています。

ただし、自然な音声対話には両方が必要です。相手の声を細かく聞き分けながら、短い遅延で音声を生成しなければならないためです。この両立が、汎用聴覚知能の大きなボトルネックになっています。

人間の会話は「交代制」ではない

人間は、相手が完全に話し終わるまで沈黙しているわけではありません。

「うん」「なるほど」と相づちを打ち、途中で言い直し、必要なら割り込みます。複数人が同時に話すこともあります。

論文の図6では、音声AIの難題として、いつ話し始めるか、いつ止まるか、複数の話者をどう扱うかが示されています。

聞く処理と話す処理を同時に行う仕組みは「全二重対話」と呼ばれます。しかし、現在の音声AIの多くは、利用者が話し終わってから応答を始めるターン制です。

さらに、AIが深く考えるほど返答までの沈黙が長くなります。そこで、相手の話を聞いている時間に考える方法や、話しながら次の内容を考える方法も研究されています。賢さと会話のテンポをどう両立するかは、まだ解けていません。

音を入力しても、AIが音を使わないことがある

映像、字幕、音声を同時に与えた場合、AIが最も簡単な情報だけを使って回答することがあります。

例えば、音を聞かなければ答えられないはずの質問でも、映像や字幕から推測してしまう可能性があります。論文では、これを音声情報の軽視やモダリティ優位の問題として扱っています。

本当に音を理解しているかを確認するには、音声を消す、映像を消す、異なる音声へ差し替えるといった検証が必要です。

音が入力されていることと、判断に音が使われていることは別物です。ここは、AIの「耳」に漂う、なかなか厄介な蜃気楼です。

人間以上を目指す前に、人間らしく聞く

将来のAIは、人間には聞こえない超音波や低周波、振動なども扱える可能性があります。医療分野では、発音、声の抑揚、声質、呼吸などから健康状態を捉える研究への応用も考えられています。

ただし、論文が最初の目標として挙げるのは、人間を超えることではありません。

雑音の中から必要な音を選び、意味を理解し、自然な声を作り、相手の反応に合わせて話す。この「聞く・話す・やり取りする」という一連の輪を、現実の環境で安定して動かすことです。

そのためには、音声の正確さだけでなく、感情、間、相づち、割り込み、複数話者、音の位置まで含めた評価が必要になります。

音声AIには安全性も欠かせない

声は、単なる音声データではありません。本人を識別できる生体情報でもあります。

論文は、合成音声であることを明確に示す仕組み、音声が加工・再利用された経路を追跡する技術、本人の同意とプライバシー保護、なりすまし対策の必要性を指摘しています。

言語、アクセント、発話障害などによって性能差が生まれないかも検証しなければなりません。自然な声を作れるほど、技術の影も輪郭を増します。

このレビューをどう読むか

この論文から、「すでにAIが人間と同じように音を理解できる」と結論することはできません。

現在の研究は、音声認識、環境音理解、音声生成、音声対話などに分かれており、評価方法も統一されていません。実際の雑音環境、複数人の会話、長時間の対話を扱うデータも不足しています。

このレビューの価値は、個別に発展してきた技術を「汎用聴覚知能」という一つの目標へまとめた点にあります。

AIの耳を作るためには、単語を正しく文字にするだけでは足りません。何の音か、誰の声か、どこから聞こえたか、どんな調子か、前後に何が起きたかまで扱う必要があります。

論文情報

Wang S, Jin Z, Tang C, et al.
Towards general auditory intelligence for machine listening and speaking.
Nature Machine Intelligence. Review article. Published online August 14, 2026.
doi: 10.1038/s42256-026-01281-1

neumo 若林龍成メモ

今後、AIが自然な環境での聞き取り能力を向上させていく上で、キクモアで得た知見をAI開発において活用できる可能性もあります。

また、AIが聞き取りを向上させるプロセスについても、キクモアに取り入れられる概念があるかもしれません。

[PR] 脳の聞く力を鍛える「キクモア」

キクモアは、スマホアプリで日々トレーニングすることで脳の聞く力を鍛える耳の脳トレです。→キクモア聞こえのトレーニング