corpus-stats v2026.0216.0 比較レポート
概要
corpus-stats を v2026.0211.1 から v2026.0216.0 に更新した際の evaluate 結果の比較。
- コミット:
c4b009c2(main) - 評価日: 2026-02-16
スコア比較
| 指標 | v2026.0211.1 (旧) | v2026.0216.0 (新) | 差分 |
|---|---|---|---|
| Good | 6707 | 6712 | +5 |
| Top-5 | 348 | 351 | +3 |
| Bad | 4010 | 4002 | -8 |
| Recall | 93.1647% | 93.1246% | -0.04% |
Good が 5 件増え、Bad が 8 件減少。Recall は微減だが Good/Bad 比は改善。
差分の詳細
改善 68 件、退行 60 件（ネット +8 改善）。
改善の傾向: 数字+助数詞の変換精度向上
数字の後の助数詞・単位の変換が大幅に改善された。
| 旧 (v2026.0211.1) | 新 (v2026.0216.0) | 期待値 |
|---|---|---|
2会 | 2回 | 2回 |
3じ | 3時 | 3時 |
1周間 | 1週間 | 1週間 |
2原画体育 | 2件が体育 | 2限が体育 |
2塔の犬 | 2頭の犬(GOOD) | 2頭の犬 |
78才 | 78歳 | 78歳 |
2健之金井喫茶店 | 2件しかない喫茶店 | 2軒しかない喫茶店 |
22字杉に夕飯 | 22時過ぎに夕飯 | 22時過ぎに夕飯 |
壊滅的な誤変換（2健之金井、言っ週刊ぐらい前）が解消されている点が特に良い。
退行の傾向1: 漢数詞のアラビア数字化
漢数詞で書くべきところがアラビア数字に変換されてしまう。
| 入力 | 新の出力 | 期待値 |
|---|---|---|
| ここであったがひゃくねんめ | 100年目 | 百年目 |
| よいいちねんになりますように | 1年 | 一年 |
| さんにんしかいない | 3人 | 三人 |
| いっぱくしかしないようだ | 1泊 | 一泊 |
| もういっさつの | 1冊の | 一冊の |
| もういってん | 1点 | 一点 |
退行の傾向2: 数詞パーサの誤爆
数字に関係のない単語が数値として誤認識される深刻な退行。
| 入力 | 新の出力 | 期待値 |
|---|---|---|
| せんねん（専念） | 1000年 | 専念 |
| まんさい（満載） | 10000歳 | 満載 |
| ちょうてん（頂点） | 1000000000000点 | 頂点 |
| ちょうひょう（帳票） | 1000000000000票 | 帳票 |
| せんだい（仙台） | 1000代 | 仙台 |
| まんかい（満開） | 10000回 | 満開 |
| まんびょう（万病） | 10000秒 | 万病 |
| いっさい（一切） | 1歳 | 一切 |
| ちょうじかん（長時間） | 1000000000000時間 | 長時間 |
せん→1000、まん→10000、ちょう→1000000000000 の数詞パーサが、同音の漢字（専、万、長 等）に対して誤爆している。
所見
- 助数詞パーサの改善で数字+助数詞の変換は確実に良くなった
- ただし数詞パーサの誤爆（専念→1000年、仙台→1000代 等）は深刻で、修正が必要
- 漢数詞のアラビア数字化（百年目→100年目）は表記スタイルの問題だが、慣用表現では漢数詞が自然