Skip to content
←

필사 모드: 音声認識・合成の技術レポート、何を読むか — WERという一つの数字では見えないもの

日本語
0%
정확도 0%
💡 왼쪽 원문을 읽으면서 오른쪽에 따라 써보세요. Tab 키로 힌트를 받을 수 있습니다.

はじめに

シリーズ第4回は音声です。この領域は単一の数字に最も強く騙される場所です。WERだけでモデルを選ぶと、本番投入後に訛りと雑音と固有名詞で崩れます。

面白いことに、この問題を最も率直に書いているのが最新のレポートの一つです。後述するQwen3-ASRのアブストラクトには、公開ベンチマークのスコアがほとんど変わらないモデル同士でも、実環境では品質が大きく異なりうるという記述があります。このシリーズが言いたいことを著者らが代わりに述べてくれた形です。

論文情報は2026-08-12に原文で直接確認しました。この分野は速く変わるため、最新の状態はご自身で確認してください。

本記事が優劣をつけない理由

ASRの評価は、テキスト正規化の規則ひとつでWERが動きます。数字表記、略語、句読点、大文字小文字の扱いがそのままスコアに入ります。TTSはさらに厄介です。自然さの評価は結局は人の聴取実験なので、評価者の構成と教示文で結果が動きます。

そこで本記事はスコアではなく、遅延、言語カバレッジ、ストリーミングの可否、必要なデータ規模を読みます。これらの値はハーネスが変わっても大きくは動きません。

音声でいま実際に争われていること

[音声レポートが争う軸]
 カバレッジ   : 何言語を、どれだけ少ないデータで
 遅延         : 最初の音が出るまで何ミリ秒
 ストリーミング : 文を受け切ってから始めるか、受けながら始めるか
 全二重       : 話しながら聞けるか
 統合         : 認識・合成・理解を一つのモデルに入れるか

読む価値のある技術レポート10本

Robust Speech Recognition via Large-Scale Weak Supervision (Whisper)

arxiv.org/abs/2212.04356 — 2022-12-06登録。

68万時間の多言語・マルチタスク教師で学習し、ファインチューニングなしのゼロショット転移だけで従来の完全教師あり手法と競合する水準に達したと報告した論文です。以後ほぼすべてのASRレポートがこれをベースラインに置くため、最新のものを読む前に一度は原文を見ておくべきです。

Omnilingual ASR: Open-Source Multilingual Speech Recognition for 1600+ Languages

arxiv.org/abs/2511.09690 — 2025-11-12登録。

自己教師あり事前学習を7Bまで拡大し、ゼロショット汎化を狙ったエンコーダ・デコーダ構造を用います。1,600以上の言語を扱い、そのうち500以上はこれまでASRが提供されていなかった言語だと述べます。コミュニティがわずかなサンプルだけで新しい言語を追加できるようにした点が設計の要です。そしてこのレポートは自らの限界を明記します。世界の7,000を超える言語の大半は依然として未対応です。

Qwen3-ASR Technical Report

arxiv.org/abs/2601.21337 — 2026-01-29登録、v2は2026-01-30。

1.7Bと0.6Bの二モデルに整列ツールを加えた構成です。52の言語と方言の言語識別と認識に対応し、小さいモデルの遅延は92ミリ秒まで下がると報告します。ここで引用に値するのはスコアではなく著者の記述です。公開ベンチマークでほとんど差がないように見えるモデル同士が、実環境では品質が大きく分かれうるという観察です。Apache 2.0で公開されています。

Open ASR Leaderboard

arxiv.org/abs/2510.06961 — 2025-10-08登録、v4は2026-03-30。

モデルではない項目であり、ASRを選ぶ人が最初に読むべき項目です。公開と商用を合わせた86システムを12のデータセットで比較し、WERとRTFxを異なる構造とツールキットにまたがって標準化します。報告された傾向の一つが有用です。コンフォーマ・エンコーダとトランスフォーマ・デコーダの組み合わせが誤り率で、CTCとTDTデコーダが効率指標で有利だという点です。コードとデータセットローダを公開して再現可能にしたことが、この仕事の本質です。

Seed-TTSとF5-TTS

arxiv.org/abs/2406.02430 (2024-06-04登録)とarxiv.org/abs/2410.06885 (2024-10-09登録、v3は2025-05-20)。

前者は自己回帰系で、話者類似度と自然さで実際の人の音声に匹敵すると報告し、自己蒸留と強化学習で頑健性を上げます。後者はフローマッチングに基づく非自己回帰系で、リアルタイム係数0.15とコードスイッチング、速度制御を前面に出します。F5-TTSのアブストラクトは、先行モデルの遅い収束と低い頑健性を設計の動機として明記します。

CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models

arxiv.org/abs/2412.10117 — 2024-12-13登録、v3は2024-12-25。

有限スカラー量子化で音声トークンのコードブック利用率を上げ、事前学習済みLLMをそのままバックボーンに使えるよう構造を単純化しました。チャンク単位の因果的フローマッチングモデルで、ストリーミングと非ストリーミングを併せて支えます。文書自体が進行中の技術報告だと述べているので、数値を確定した結果として読まないほうが良いでしょう。

Qwen3-TTS Technical Report

arxiv.org/abs/2601.15621 — 2026-01-22登録。

10言語、500万時間以上の音声で学習し、3秒の音声クローンと説明に基づく制御に対応します。トークナイザを二つ置いた設計が特徴です。一つは意味中心、もう一つは超低遅延ストリーミング用で、最初のパケットまで97ミリ秒を報告します。Apache 2.0で公開されています。

Fish Audio S2 Technical Report

arxiv.org/abs/2603.08823 — 2026-03-09登録、v2は2026-03-11。

複数話者・複数ターンの生成と、自然言語の説明による指示追従の制御を扱います。キャプショニングと品質評価、報酬モデリングを含む多段階の学習パイプラインを説明し、リアルタイム係数0.195と最初の音声まで100ミリ秒未満を報告します。コードと重み、ファインチューニング資材を公開しています。

Moshi: a speech-text foundation model for real-time dialogue

arxiv.org/abs/2410.00037 — 2024-09-17登録、v2は2024-10-02。

問題設定が異なるレポートです。部品を繋いだ対話パイプラインの数秒の遅延、テキストを中間表現に使うときの情報損失、重なり発話や割り込みを扱えない限界をまとめて指摘します。自分の音声とユーザーの音声を並列ストリームとしてモデル化し、音声トークンの前にテキストトークンを予測する内的独白の手法を使います。報告された遅延は理論160ミリ秒、実測200ミリ秒です。

Qwen2.5-OmniとMOSS-Audio

arxiv.org/abs/2503.20215 (2025-03-26登録)とarxiv.org/abs/2606.01802 (2026-06-01登録、v3は2026-06-05)。

前者はテキストと画像と音声と動画を受け取り、テキストと自然な音声をストリーミングで出します。音声と映像の時間整合のためのTMRoPE、テキスト生成と音声生成の干渉を減らすThinker-Talker構造が核心です。後者は音声と環境音と音楽をまとめて理解する音声言語モデルで、12.5Hzの時間表現、複数のエンコーダ深度の音響情報をデコーダへ注入する方式、時間マーカーの挿入を用います。著者らはこれを今後の音声エージェントのための理解基盤と位置づけます。対話まで扱うStep-Audio 2(arxiv.org/abs/2507.16632)も同系列です。

著者が自ら述べている限界

  • Omnilingual ASRは、世界の言語の大半が依然として未対応だとアブストラクトで直接述べ、倫理的配慮にも触れています。
  • Qwen3-ASRは、公開ベンチマークのスコア差が小さくても実環境の品質は大きく異なりうると書きます。この一文はすべてのASR選定に当てはめるべきです。
  • CosyVoice 2は、文書自体を進行中の作業と規定しています。
  • F5-TTSは、先行モデルの収束速度と頑健性の問題を解決の動機として明示します。
  • MOSS-Audioは、完成したシステムではなく今後の音声エージェントの理解基盤として自らを位置づけます。
  • 音声クローンはなりすましのリスクを伴います。レポートが性能を語るとき、この部分まで語る例は少ないことを覚えておいてください。

実務者は何から読むべきか

ASRモデルを選ぶなら、まずOpen ASR Leaderboardを見てください。個別レポートの自己申告より標準化された比較が先です。

低資源言語が対象ならOmnilingual ASRです。わずかなサンプルで新しい言語を足せる設計は、実現可能なユースケースそのものを変えます。

リアルタイム対話を作るならMoshiとQwen3-TTSを並べて読んでください。全二重対話の構造的問題と、最初のパケットの遅延という別々のボトルネックを扱っています。

複数の様式を一つのモデルに束ねたいなら、Qwen2.5-OmniとMOSS-Audioが設計の参考になります。

確認の方法と時点

本記事に登場するレポートはすべて、2026-08-12にarXivのアブストラクトページを直接開いて確認しました。開けなかった候補は引用していません。遅延やリアルタイム係数を含むすべての数値は著者報告であり、ハードウェアと設定で変わります。

自分で試す

  • ML学習データエクスプローラー — 音声認識と合成のモデルがそれぞれどんな学習データを使うかを例で見られます。
  • ブラウザAIラボ — サーバーなしでブラウザ上のモデルを回すと、レポートが言う遅延という値が何を意味するのかが体感できます。

シリーズ前回: 動画生成・理解の技術レポート、何を読むか

シリーズ次回: 画像生成・理解の技術レポート、何を読むか

参考資料

현재 단락 (1/59)

シリーズ第4回は音声です。この領域は単一の数字に最も強く騙される場所です。WERだけでモデルを選ぶと、本番投入後に訛りと雑音と固有名詞で崩れます。

작성 글자: 0자원문 글자: 6,523자작성 단락: 0/59