Mahjong Vision — 実測パイプライン評価レポート v1

1. エグゼクティブサマリ

1.1 数値ハイライト

2. パイプライン構成と評価データソース

2.1 評価対象パイプライン

動画 (M-League sample01/02)
   ↓ frame 抽出 (4 fps - peak 5 frame + roboflow filter 201 frames)
   ↓ 卓上マスク (--use-table-mask, mask-table-region.py)
   ↓ Roboflow 公開モデル test-upsgd/mahjong-tiles-oc9zz/11 (rf_conf=0.25, iou=0.5)
   ↓ 検出 JSON (mleague/events/sample0{1,2}-merged.json)
   ↓ score-from-detection / agari 遷移検出

2.2 評価に使った実データ

すべての raw JSON を一つにまとめた集計が mleague/eval/pipeline-e2e-summary.json (生成: scripts/eval-pipeline-end-to-end.py)。 本 HTML の数値はすべて当該 JSON 由来。

3. 卓上マスク A/B — 5 peak frames 実測

3.1 サマリ表 (raw vs masked, n=5)

3.2 per-frame 内訳

4. 卓上マスク Batch — 201 frames 実測

4.1 サマリ

4.2 fallback 内訳 (上位パターン)

fallback 31 件のうち 22 件は「緑領域 < 3.5%」(完全に卓が写っていない / 寄りリプレイ)。 9 件は 1–3% 程度の検出だが min-area-pct 閾値未達で fallback。 本来 fallback したいケースなので false-negative はゼロ。

4.3 統合済スクリプト (5 本) 実測

5. 既存イベント検出キャッシュの内訳 実測

5.1 イベント単位サマリ

5.2 解釈

• 各イベントの 先頭検出 は中央値 0.86〜0.90 と非常に高く、 rich-tile picture (アガリ手) は公開モデルでも安定して捉えられている。
• 一方で 全 tile 検出の平均 conf は 0.48〜0.51 と低く、 副露・暗槓・倒牌の小さな tile については境界が曖昧で低 conf。 ここが自前モデル訓練で改善したい中心領域。
• クラス分布の偏り (7p 82 件) は対局上の自然な偏りで、 評価セット作成時には GT を 100+ frames × 36 クラスでバランスさせる必要あり。

6. 合成データ 500 枚 — 品質サマリ 実測

合成データ生成は scripts/generate-synthetic-mahjong.py で 500 枚 × 平均 31.6 ラベル/枚 = 計 15,821 bboxes。 詳細品質レポートは synthetic-data-quality-report.html。

6.1 品質メトリクス (実測)

6.2 5,000 枚スケール時の見込み 推定

500 枚で CV 0.046 / overflow 1.1% を達成しているため、 同じ生成パラメータを 10倍スケール (5,000 枚) で回した場合のサンプリング誤差は √10 で縮小、 CV ≤ 0.025 / overflow ≤ 1.5% で収まる見込み。 ただし 5,000 枚での実測再評価は MVP v2 訓練前に必ず実施 (TODO)。

7. 推定 mAP と false-positive 削減効果

7.1 mAP@0.5 — 推定 / 目標

7.2 False-positive 削減効果 実測

マスクは 「検出母集団全体を 28% 削減し、その大部分が precision 改善に寄与する卓外 FP」 という挙動。 raw 97 - masked 70 = 27 件のうち 6-5=1 件が判定可能な OOT、残り 26 件は 「卓上だが低 conf な余剰検出」で、ここに副露 / 暗槓 / 倒牌など本来 GT があるべき 情報が混ざる可能性 → MVP モデルではこのレンジを recall に回収したい。

8. 結論 / 退役判定の現在地

8.1 直近 3 アクション

1. 評価セット GT 整備 — 100+ frames を手動でアノテーション (36 クラス)。 現在の mAP 推定を実測に置き換える。
2. 合成データ 5,000 枚生成 — 同じ生成パラメータで 10倍スケール、 品質再評価 (CV ≤ 0.025 / overflow ≤ 1.5% 期待)。
3. MVP v1 訓練 — 実物 500 のみで YOLOv8 fine-tune、 本テンプレ HTML を新規ファイル (model-evaluation-mvp-v1-YYYY-MM-DD.html) にコピーして実測埋め。

9. 自前モデル訓練後に埋めるべきセクション TODO

本レポートで未実測のまま残っている領域。 訓練完了後に model-evaluation-template.html をコピーして埋める想定:

1. TODO 評価セット GT — 100+ frames, 36 クラス (萬子 9 + 筒子 9 + 索子 9 + 字牌 7 + 副露 + 暗槓)
2. TODO 公開モデル mAP@0.5 / Precision / Recall — 現在「推定 0.60–0.75」を実測値で置換
3. TODO MVP v1 (実物 500 fine-tune) — mAP / P / R / F1
4. TODO MVP v2 (実物 500 + 合成 5,000) — mAP / P / R / F1
5. TODO カテゴリ別 Recall — 6 大カテゴリ (m / p / s / 字牌 / 副露 / 暗槓)
6. TODO 合成データ 5,000 枚品質再評価 — CV / overflow / overlap の実測再確認
7. TODO 推論レイテンシ — 実機 (RTX 4090 / Jetson) での fps 実測 (目標 < 50ms/frame)
8. TODO マスクあり/なしの ablation (MVP v2) — マスクが MVP モデルでも有効かを確認
9. TODO 視覚 A/B サンプル画像 — 公開モデルが落とすが MVP が拾う代表例
10. TODO 退役判定の最終決裁 — mAP@0.5 ≥ 0.90 達成時のみ MVP に切替