トランプ→麻雀 転移学習 実現可能性レポート

1. エグゼクティブサマリ

1.1 一目で分かる判定

2. 幾何学的共通項 — カードも牌も菱形に見える

2.1 両ドメイン共通の見え方パターン

2.2 Augmented Startups Playing Cards モデルが学習している多様性

Augmented Startups の playing-cards モデルは 10,100 枚を合成で生成している。 その合成データは以下の多様性を意図的に含む:

• カードの回転角 全方位 (0〜360°)
• カードの透視傾斜 (テーブル斜め視点)
• カード同士の重なり・隠れ
• 背景の多様性 (緑フェルト・木目・暗部)
• 照明変化 (明暗・色温度)
• スケール変化 (近景・遠景)

3. 何が転移できるか / できないか

3.1 ✅ 転移可能 (YES)

3.2 ⚠️ 部分的に転移可能 (PARTIAL)

3.3 ❌ 転移不可 (NO)

4. 3 つの転移アプローチ (A / B / C)

5. 推奨アプローチ C の実装詳細 (合成データ生成)

5.1 必要素材 (準備フェーズ)

5.2 合成パイプライン疑似コード

import cv2, numpy as np, random
from pathlib import Path

TILE_DIR = Path("synth/tiles/")     # 34 種 PNG (アルファ付き)
BG_DIR   = Path("synth/backgrounds/") # 10 種 JPG
OUT_DIR  = Path("synth/output/")

def random_perspective(img, max_tilt=30):
    """ランダムな透視変形 — 菱形化を再現"""
    h, w = img.shape[:2]
    src = np.float32([[0, 0], [w, 0], [w, h], [0, h]])
    jitter = lambda: random.uniform(-max_tilt, max_tilt)
    dst = src + np.float32([
        [jitter(), jitter()], [jitter(), jitter()],
        [jitter(), jitter()], [jitter(), jitter()]
    ])
    M = cv2.getPerspectiveTransform(src, dst)
    return cv2.warpPerspective(img, M, (w, h), borderMode=cv2.BORDER_TRANSPARENT)

def generate_synthetic_image(seed=42):
    random.seed(seed)
    bg = cv2.imread(str(random.choice(list(BG_DIR.glob("*.jpg")))))
    bg = cv2.resize(bg, (1280, 720))
    bboxes = []  # YOLO 形式: (cls_id, cx, cy, w, h)

    n_tiles = random.randint(13, 60)
    for _ in range(n_tiles):
        tile_path = random.choice(list(TILE_DIR.glob("*.png")))
        tile = cv2.imread(str(tile_path), cv2.IMREAD_UNCHANGED)
        # 1. ランダム回転 (-180 〜 +180°)
        tile = rotate_image(tile, random.uniform(-180, 180))
        # 2. ランダム透視変形 (菱形化)
        tile = random_perspective(tile, max_tilt=20)
        # 3. ランダムスケール (0.5x 〜 1.5x)
        scale = random.uniform(0.5, 1.5)
        tile = cv2.resize(tile, None, fx=scale, fy=scale)
        # 4. ランダム明度
        tile = adjust_brightness(tile, random.uniform(0.7, 1.3))
        # 5. 既存 bbox と少し重ねた位置にペースト (occlusion 生成)
        x, y = sample_position(bg, bboxes, allow_overlap=0.2)
        bg = paste_with_alpha(bg, tile, x, y)
        cls = tile_class_from_filename(tile_path)
        bboxes.append((cls, x, y, tile.shape[1], tile.shape[0]))

    # 6. 全体に最終 augmentation (ノイズ・ブラー)
    bg = add_motion_blur(bg, k=random.randint(1, 3))
    return bg, bboxes

for i in range(5000):
    img, bboxes = generate_synthetic_image(seed=i)
    cv2.imwrite(str(OUT_DIR / f"synth_{i:06d}.jpg"), img)
    save_yolo_labels(OUT_DIR / f"synth_{i:06d}.txt", bboxes)

print(f"Generated 5000 synthetic images with auto-labels")

5.3 訓練レシピ

# 1. Roboflow に upload
upload to roboflow/mahjong-vision-mvp-v2 project:
  - 500 枚 (実物 M-League 動画から filter 済)
  - 5,000 枚 (合成データ)
  total: 5,500 枚

# 2. Generate Version (Augmentation 設定)
preprocessing:
  - resize: 640x640
  - filter null: True
augmentation (Roboflow 側でさらに):
  - rotation: ±15°  (合成側で既に大きく振っているので軽め)
  - brightness: ±10%
  - blur: 1px

# 3. Train
model: YOLOv8m (Fast) または YOLOv8l (Accurate)
epochs: 80
batch: 16
imgsz: 640
initial weights: COCO pretrained (アプローチ A と同じ)
# ノウハウだけ転移、重みは継承しない

5.4 工数比較

6. 透視変形・OBB 検出への転移 (技術詳細)

6.1 共通する幾何学的問題

カメラ姿勢 (R, t) と物体平面 n · X = d から、 画像上の bbox は透視変形によって四辺形 (一般には 4 自由度の四角形) になる。 トランプも麻雀牌も平面に近い物体なので、この問題設定は完全に共有される。

2D 画像座標 (x, y) ← 透視変換 ← 3D 卓座標 (X, Y, Z)
                       ↑
                       カメラ内部行列 K と外部姿勢 (R, t)

→ axis-aligned bbox では正確に囲えない (隅に空白ができる)
→ OBB (cx, cy, w, h, θ) で囲うのが正解

6.2 Augmented Startups モデルが学習している幾何変換

Augmented Startups の playing-cards モデルは合成データで以下の変形を全て学習している:

• 2D 回転 (in-plane rotation) θ ∈ [-180°, 180°]
• 遠近変形 (perspective distortion) — 透視四辺形化
• スケール変形 — 近景・遠景
• 明度・色温度変化

これらは麻雀の M-League カメラワーク (ズーム・パン・カット) で生じる変形と完全に同じ。 バックボーンが「これは透視変形した矩形だ」と認識する能力は転移可能。

6.3 OBB ヘッドを採用した場合の転移シナリオ

本プロジェクトは現状 axis-aligned bbox を採用しているが、将来 OBB に切り替える場合:

1. カードモデルの OBB ヘッド (もし存在すれば) の重み構造を流用
2. 麻雀牌の OBB アノテーション (Roboflow OBB ラベリングツール)
3. 2 段階訓練: OBB ヘッドのみ更新 → 全層 fine-tune

OBB は本来「副露の横倒し・斜め倒し」検出に最適。 平行四辺形の角度 θ を正確に取れば、立/倒 二値判定の精度も上がる (現状は h/w aspect ratio に依存 = ノイズに弱い)。

6.4 既存プロジェクトの「斜め上 (oblique-overhead)」設置との整合

本プロジェクトは 2026-04-29 に 斜め上 (oblique-overhead) 設置 に方針転換した。 これは天井真下視点ではなく、M-League 中継と同じ「選手の向かい側上方からの斜め視点」を採用。

この視点では麻雀牌は必ず台形・平行四辺形・菱形に変形して見える。 トランプ検出モデルが学習している「透視変形した矩形物体の検出」能力はそのまま使える環境になっている。

7. 期待効果と段階的検証計画

7.1 効果推定 (アプローチ別)

7.2 段階的検証計画

1. Phase 1 (1 週間): アプローチ A で MVP v1 を訓練 → ベースライン確立
2. Phase 2 (3〜4 日): 合成データ生成スクリプト開発・実行 (アプローチ C 着手)
3. Phase 3 (2〜3 日): アプローチ C で MVP v2 を訓練 → A との A/B 比較
4. Phase 4 (オプション・1 週間): アプローチ B の 2 段階転移を試行 (合成データで効果不十分な場合)
5. Phase 5 (継続): 実機 4K カメラで実物データを追加収集 → 自己ベンチマーク作成

7.3 成功基準

• mAP@0.5 ≥ 0.90 (M-League sample01 ホールドアウトで)
• 副露 recall ≥ 0.90
• 緑フェルト false positive 件数 ≤ 2 件 / フレーム (現状 7〜10 件)
• 同じ訓練・推論コストで上記達成 (推論レイテンシ ≤ 22ms/frame on RTX4090)

8. リスク・落とし穴