音声認識サービスを2つ比べたら、片方のWERが倍近く悪く出た。原因は認識精度ではなく、正解文との表記ゆれだった、という事態は珍しくありません。WER(Word Error Rate、単語誤り率)は式が単純な分、比較前の前処理で値が大きく動きます。本稿は、AI機能の実装と小規模な検証を担当する方向けに、音声入力層だけを対象に正規化の揃え方を整理します。
WERは何を数える指標か
WERは挿入・削除・置換の合計を正解の総語数で割った値です。Microsoftは5〜10%を実用品質、30%以上を要改善の目安としています。
WERは、認識結果(仮説)を正解文(リファレンス)に合わせたときの誤りを数えます。
- 挿入(I): 仮説に余計に入った語
- 削除(D): 仮説から落ちた語
- 置換(S): 別の語に入れ替わった語
式は (I + D + S) ÷ N です。N は正解文の総語数なので、挿入が多いと100%を超えることがあります(Google の公式ドキュメントも同様に説明しています)。
重要なのは、この式が「何を1語と見なすか」と「文字列としてどこまで一致とするか」を決めていない点です。ここを決めないまま2つのサービスを比較すると、差の大半が表記ゆれになります。
正規化を揃えないと何が起きるのか
正解と出力の表記が違うだけで、音声は正しく認識されていても誤りとして数えられます。次の小さな例で、正規化の有無による差を計算で確認できます。
正解文: 「請求書は3月15日に200万円を支払います。」(22文字)
認識結果: 「請求書は三月十五日に二百万円を支払います」
音声の内容は一致しています。ここでは日本語の分割規約に左右されないよう、文字単位の編集距離で数えます。
| 条件 | 編集数 | 誤り率 |
|---|---|---|
| 正規化なし | 7 | 31.8% |
| 句読点のみ除去し数字表記は不一致のまま | 6 | 28.6% |
| 句読点を除去し数字表記を統一 | 0 | 0% |
| 数字表記は一致、句読点だけ不一致 | 1 | 4.5% |
同じ音声・同じ出力でも、前処理だけで0%から31.8%まで動きます。この数値は説明用の小さなサンプルの計算結果であり、特定サービスの精度を示すものではありません。
比較前に固定すべき正規化ルール
正規化は正解文と出力の両方に同じ関数を適用し、版を管理します。Googleのドキュメントも、正解の規約をモデル側に合わせるよう求めています。
Google の公式ドキュメントは、句読点を除去し大文字小文字を無視すること、数字や記号の表記規約を両方の文字列に適用することを挙げています。同じ考え方を日本語に当てはめ、次を固定します。
- 文字種の統一: 全角・半角を NFKC などで揃える
- 句読点・記号の除去: 除去対象の文字一覧を明記する
- 数字表記の統一: 算用数字か漢数字かを決め、両方をその形に変換する
- フィラーの扱い: 「えー」などを残すか落とすかを決める。Google は、フィラーを残すモデルと落とすモデルがあるため正解側の規約を合わせるよう説明している
- 分割規約: 日本語は空白区切りがないため、文字単位(CER)にするか、形態素解析器とその辞書の版を固定して語単位にする
Google の該当ページは空白区切りのない言語での WER の扱いには触れていません。分割規約はドキュメントに答えがないので、自分たちで決めて記録する必要があります。
表示形式まで含めた指標をどう使い分けるか
Microsoftは、表示形式まで含めて評価するToken Error Rate(TER)をWERと別の指標として定義しています。用途で使い分けます。
Microsoft のドキュメントは、WER を語彙形式(lexical)の指標と位置づけ、句読点・大文字小文字・ITN(逆テキスト正規化、話し言葉の数字を表記へ変換する処理)を含む最終表示形式の品質は、TER で別に測ると説明しています。TER を測るには、正解文にも表示形式の整形が必要です。
使い分けの目安は次のとおりです。
- 認識モデル自体を比べたい: WER か CER で、正規化を強めにかける
- 画面に出す文字の品質を確かめたい: TER など表示形式込みの指標を、正規化を弱めにかけて測る
- 両方必要: 両方を別々の列で記録し、混ぜない
検証を再現可能にする手順
小さなサンプルでも、正規化関数・分割規約・採点ツールの版を記録すれば再現できます。NIST の SCTK は定番の採点ツールです。
- 代表的な音声を用意し、人手で正解文を作る。Google は少なくとも30分の音声を推奨している
- 正規化関数をコードとして1か所に置き、正解・出力の両方に適用する
- 採点は SCTK(NIST)などの確立したツール、または同等のアラインメント実装を使い、版を記録する
- 結果は挿入・削除・置換の内訳で保存する。Microsoft は、削除が多いなら音声の入力品質、挿入が多いなら雑音や混線を疑うという読み方を示している
- サービスを入れ替えるたびに、同じ正規化関数で再採点する
評価の枠組み全体は、エージェント評価の成功基準とグレーダー設計も参照してください。本稿は、そのうち音声入力層だけを扱っています。
参考
- Measure and improve speech accuracy(Google Cloud Speech-to-Text)
- Test accuracy of a custom speech model(Microsoft Learn)
- NIST Scoring Toolkit SCTK(GitHub)
まとめ
WERの比較は、正規化ルールと分割規約を先に固定して初めて成立します。固定した条件を記録すれば、サービスの入れ替え後も同じ物差しで比べられます。
WER は式が単純な分、前処理の違いが結果を左右します。句読点・数字表記・フィラー・分割規約を決め、両方に同じ関数をかけ、版を残してください。音声入力を含む AI 機能の検証設計は、Kuu株式会社の AI 運用支援でも伴走しています。お気軽にご相談ください。
