麻雀牌のリアルタイム認識 → 立/倒 姿勢判定 → アガリ判定 → 役判定の自動化を目指す Mahjong Vision プロジェクトの
設計分析・モデル評価・転移学習・前処理・クラウドファンディング・運用までを網羅した文書集
M-League 全 499 フレームに緑卓検出ロジックを適用。filter との一致率 87.4% (Cohen's Kappa 0.738) を根拠に、Roboflow Starter ($60/月) は不要と判断。ダウングレード手順 + 返金申請テンプレ付。
YOLOX-Nano (Apache 2.0) + mahjong_huge (CC BY 4.0) + FluffyStuff tiles (CC BY 4.0) + ONNX Runtime Web (MIT) の商用クリーン OSS フルスタック。YOLOv8 (AGPL-3.0) の商用懸念排除、Roboflow Hosted Inference 不要。
5 つの構造的ボトルネック (B1〜B5: 公開モデル精度・推論コスト・データ密度・領域分離・3D 姿勢) と 40+ 代替案の採否一覧。実 Roboflow 検出画像 5 枚埋め込み。
test-upsgd/mahjong-tiles-oc9zz の素性調査。訓練 29 枚・個人実験・CC BY 4.0、商用採用実績なし。データ規模 → 汎化性能の構造的限界。
同型ドメイン (トランプ・チェス・将棋) の 20+ モデル網羅。Augmented Startups Playing Cards (10,100 枚) は麻雀の 350 倍規模。
緑フェルト以外を HSV + 最大連結成分 + 凸包 + dilate で除外する前処理。実装 scripts/mask-table-region.py + Before/After デモ。
5 検出スクリプト (detect-agari-visual / analyze-still-frame / render-3d-overlay-cf / evaluate-agari-transition / voice-cli) への --use-table-mask 統合方法。
マスク前後の検出件数 97→70 (-27.8%)、batch 成功率 84.6%、合成データ品質、実測・推定・目標を pill で峻別した 9 セクション。
D-30 / D-14 / D-Day / 終了後の 4 フェーズ × 95+ 項目。BLOCKER 含む 7 GO/NO-GO チェック付き。JS で進捗集計バー表示。
VOICEVOX (停止時は pyttsx3 fallback) + ffmpeg で 27 秒短尺デモ動画を生成。フル尺 2:30 量産見積も同梱 (¥281,000 / 31.5h)。
本プロジェクトは 麻雀の役判定・点数計算を自動化する補助システム。 最終確認は人間が行う「補助役」として動作し、誤検出に強い設計を採用。 将来的には捨て牌・副露の連続トラッキングによる牌譜記録 (天鳳形式エクスポート)まで拡張。
| 区分 | 入力 | 出力 |
|---|---|---|
| 📷 映像 | 4K天井カメラ / M-League ダイジェスト | Web ダッシュボード + 動画オーバーレイ |
| 🎤 音声 | マイクアレイ (ツモ/ロン/ポン/チー) | 牌譜 DB (SQLite + 天鳳形式 export) |
| 🎴 物理 | RFID 点棒トレイ | 点棒移動の物理連動 |
| 領域 | 状態 | 備考 |
|---|---|---|
| 役判定エンジン (mahjong 2.0.0) | ✅ 完了 | 標準 30 役 36/36 PASS |
| CV→役判定 ブリッジ | ✅ 完了 | 4 fixture 7/7 PASS |
| 音声検出 (faster-whisper) | ✅ 完了 | ツモ/ロン/積も/栄和 パターン拡張 |
| 動画オーバーレイ (v5) | ✅ 完了 | 4 オーバーレイ全部入り |
| カメラキャリブ基盤 | ✅ 完了 | 斜め上設置・チェスボード方式 |
| Roboflow 訓練データ準備 | ✅ 完了 | 499→201 枚フィルタ済 |
| 卓上マスキング前処理 | ✅ 完了 | 5 検出スクリプト統合済 + 170 枚 batch 適用 |
| 合成データ生成 | ✅ 完了 | 500 枚 PoC + 5,000 枚スケーラブル |
| クラウドファンディング資料 | ✅ 完了 | LP + チェックリスト + BOM + PR 下書き + 動画台本 |
| プロトタイプ動画 | ✅ 完了 | 27 秒短尺版 (cf-demo-video-prototype.mp4) |
| 本番運用ガイド | ✅ 完了 | 3 デプロイ先 + 監視 + Runbook |
| Roboflow Workspace 作成 | 🔴 未着手 | 手動作業 (チェックリストあり) |
| M-League 専用 ML 訓練 | 🔴 未着手 | MVP v1 (1 クラス) → v2 (34 クラス) |
| 天井カメラ実機 | 🔴 未調達 | BOM 推奨 ¥34,780 |
~/shimanto-projects/mahjong-scorekeeping (private)docs/ (markdown 5 ファイル)scripts/ (mask, generate-synthetic, audit, batch, eval-* など)docs/roboflow-workspace-setup-checklist.mdai-brushup-plans/plans/01-mleague-yolo-finetune.mdcrowdfunding/cf-demo-video-prototype.mp4 (git 追跡外)docs/runbook-incident-response.md