📱 iPhone Web牌認識テスト — camera-ai.html スクリプト検証と改善計画

この欠落は監査(INF-5)が構造リスクとして予言し、敵対的検証(impact レンズ)が「現在すでに停止中」と現認、確定計画で P0-0(即時復旧)に格上げされた — 多段検証が機能した実例。

目次

1. 対象スクリプトの現状仕様
2. iOS 実機で判明した重要事実(Web調査)
3. 5系統監査の主要指摘(49件)
4. 敵対的検証(29クレーム)の反映
5. 確定改善計画 P0〜P3
6. 次のテストセッションまでに入れる8項目(コード付き)
7. iPhone 実機テストプロトコル(毎回同条件)
8. 親仕様(スマートグラス版)との接続

getUserMedia({facingMode:'environment', width:1280, height:720})   … L455(720p固定)
  → video(playsinline muted) → ガイド枠ROI切り出し(gw/13*1.7 の横長帯) … L278
  → 512×512 letterbox → onnxruntime-web 1.20.1(jsdelivr CDN・webgpu→wasm・numThreads=1)… L157/L266-275
  → decode(38クラス [1,42,5376] 決め打ち)→ NMS(IoU 0.45)… L293-303
  → 3モード: フリー / 13枠KEEP投票(minVotes6・agree0.62・conf0.48・streak4)/ 6枚スキャン蓄積 … L178/L188
  → 和了牌タップ → tenpai/score.js 役判定(ツモ・門前・子・東場東家 固定)… L259/L331/L388
駆動: rAF + setTimeout 20ms の常時全速ループ(静止検知なし)… L432-453

正しく実装されている点(検証で confirmed): ROI の videoWidth 基準座標換算、object-fit:cover のタップ逆変換(L470-475)、loopToken による多重 rAF 防止、pre canvas の willReadFrequently、NMS の隣接牌誤抑制が起きにくい設計、conf スライダー。土台は健全で、問題は iOS 実機運用への耐性・テスト計測・フィードバック還流の3領域に集中している。

3.1 CRITICAL 8件

3.2 MAJOR 25件(領域別の要点)

MINOR 16件は確定計画の P2 群(0z 可視化・dims 検証・セーフエリア・✕44px 化・fps EMA・サンプルデモの蓄積保護 等)に反映。全指摘は行番号付きでワークフロー成果物に保存済み。

改善バックログを「実装可能性」「効果」「後方互換・リスク」の3レンズで検証。confirmed 14 / needs_fix 15(refuted 0) — 全 needs_fix を確定計画に反映した。主要な修正:

P1(精度・速度 — 計約14.6h)

NMS 2段閾値+IoA 包含抑制 / KEEP.conf の confThr 連動+保留理由表示 / 投票リングバッファ化(N=20)/ 枠割当のグローバルシフト補正+1対1マッチング / スキャン品質ゲート(SCAN_CONF を confThr 連動で復活+除外枚数表示)/ ウォームアップ推論+実行時 wasm フォールバック / wasm proxy 化(ep 確定後のみ)/ ort 1.27.0 化+非JSEP/webgpu 二段ロード / COOP/COEP(スコープ限定)/ zoom スライダー+1080p / requestVideoFrameCallback 化 / テンソル再利用 / imageSmoothingQuality A/B

P2(テスト効率 — 計約8.3h)/ P3(将来)

P2: ロック済みスロット個別訂正+手動パレット(訂正ペアは最高品質の学習データとして送信)/ conf%+実効 fps EMA+セッションサマリ JSON(log-ml-progress.py 直貼り形式)/ 点数条件バー(ツモ/ロン・親/子・リーチ・ドラ)/ 0z 可視化 / dims 検証 / セーフエリア / ✕44px 化 / サンプルデモ蓄積保護。 P3: 2段ガイド(7+7)/ レンズ切替 / torch / camera-core.js 切り出し(グラス版と共通化)/ OffscreenCanvas。

#0(✅実施済)本番復旧+同梱保証の残り

モデル復旧は完了。残り: pdca-cycle.py a1 直前の docs-site/models/*.onnx 実体 assert+日次ヘルスチェック(P0-H・0.7h)。

#1 モデル読込の故障検出+version 表示+cache-bust(2h)

let ep='wasm', modelBuf=null, META={version:'unknown'};
(async()=>{
  try{ META=await (await fetch('models/model-meta.json',{cache:'no-store'})).json(); }catch(e){}
  const res=await fetch(`models/mahjong_yolov8n.onnx?v=${META.version}`);
  const ct=res.headers.get('content-type')||'';
  modelBuf=new Uint8Array(await res.arrayBuffer());
  if(!res.ok || ct.includes('text/html') || modelBuf[0]===0x3C /* '<'=HTML */ || modelBuf.length<1e6){
    hud.textContent=`モデル未配置(${ct||'不明'})— models/ 配置後に再デプロイしてください`; return; }
  try{ session=await ort.InferenceSession.create(modelBuf,{executionProviders:['webgpu']}); ep='webgpu'; }
  catch(e){ session=await ort.InferenceSession.create(modelBuf,{executionProviders:['wasm']}); }
  hud.textContent='準備OK ('+ep+')'; document.getElementById('start').disabled=false;
})();
// L439: session.run({[session.inputNames[0]]: meta.tensor})
// L451: `${dt.toFixed(0)}ms | ${META.version} | ${ep}` を常設表示

#2 ort undefined ガード(0.2h)

L266 以降の ort 依存コードを if(typeof ort==='undefined') で包み、CDN 死亡時も L486-536 の UI バインド(サンプル/オンボーディング)を生存させる。本修正(vendor/ 自ホスト)は次サイクル。

#3 カメラライフサイクル堅牢化(1h)— 検証反映版

let track=null, wl=null, userStarted=false;
async function reqWL(){ try{ wl=await navigator.wakeLock.request('screen'); }catch(e){} }
async function startCam(){
  if(running) return;                                  // 連打ガード
  if(!navigator.mediaDevices?.getUserMedia){ hud.textContent='カメラAPI非対応(httpsで開いてください)'; return; }
  try{ const s=await navigator.mediaDevices.getUserMedia({...});
    track=s.getVideoTracks()[0];
    track.addEventListener('ended',()=>{ running=false;
      hud.textContent='カメラが停止しました — カメラ開始を再タップ';
      document.getElementById('start').textContent='カメラ開始'; });
    video.srcObject=s; await video.play(); running=true; frozen=false; userStarted=true; reqWL();
    /* 既存 UI 更新 */ startLoop();
  }catch(e){ /* #5 の e.name 分岐 */ }
}
document.addEventListener('visibilitychange', async()=>{
  if(document.hidden){ running=false; return; }         // 推論のみ停止
  if(!userStarted) return;
  await reqWL();                                        // 非表示で自動解放されるため再取得
  if(!track || track.readyState==='ended'){ await startCam(); return; }
  if(frozen) return;                                    // 確定状態は維持(pause も解除しない)
  await video.play().catch(()=>0);
  running=true; startLoop();                            // ★復元してから再開(恒久凍結の防止)
});

#4 スロットリング+セッション再生成 — 有効性判定ゲート付き(1h)

L452 の 20 → 150。推論成功側に 400 回ごとの session.release() → 再 create(失敗時は wasm 張替え)。iOS 26 実機で10分連続稼働してクラッシュ回避を判定 — 無効なら (a) 400回ごと wasm 張替え (b) 再読み込み誘導へ即切替(スロットリング単体は500回到達を約100秒に延ばすだけ)。

#5 確定 pause+エラー分岐(0.5h)

toggleFreeze に frozen ? video.pause() : video.play().catch(()=>0)。catch は e.name で分岐: NotAllowedError→「アドレスバー左の「ぁあ」→Webサイトの設定→カメラ→許可 後に再読み込み」/ NotReadableError→「他のアプリがカメラ使用中」。

#6 guideRect の scanMode 分岐(0.3h)

function guideRect(W,H){ const gw=W*0.94, per=scanMode?6:13;
  let gh=Math.min(H*0.62, gw/per*1.7);
  if(H>W) gh=Math.max(gh, H*0.25);          // 縦持ち下限
  return [(W-gw)/2,(H-gh)/2,gw,gh]; }

6枚スキャン時の牌上下約44%クロップを解消。修正前後で平均 conf を比較記録。

#7 フィードバック送信 — 訂正フラグ込み版(3.5h)

• worker 先行改修: feedback-worker/src/index.js:33 に meta / flag パススルー追加、flag==='miss' 時は boxes 空を許容 → wrangler deploy
• pull-feedback.py: meta.auto===true(人手未検証)は field-val 20% 昇格から除外(レビュー待ちキューへ)— 精度計測の自作自演を防止
• クライアント: 送信はオプトイン(既定 OFF・初回確認・L143/L102 の文言を「同意時のみ送信」に更新)。📸確定時と ✕削除時(flag:'wrong')に pre canvas を JPEG 化して送信。payload: {boxes, names, meta:{ep, ua, modelVersion, medianMs, videoW, videoH, auto:true}, flag}
• 前提: new_feedback≥30 に到達しても jitaku-pc1 の日次タスク(Phase D)未登録の間は再学習は自動着火しない — Phase D 完了を並行タスクとして扱う

次点(KEEP を本格テストするなら先行必須): P0-8 — 直近10フレーム最頻値校正+14検出時は slots 13本のまま余剰1枚を和了牌候補として提示(1.5h)。

固定条件

手順

1. 起動確認(1分): カメラ開始 → HUD「version | ep | ms」を記録。エラー時は文言をそのまま記録
2. スキャン蓄積(手牌A→B・各約3分): 6枚ずつ➕で13枚蓄積 → 和了牌タップ → 点数表示。記録: ✕削除した誤認識の牌名と正解・conf 不足除外枚数・➕回数
3. 13枠KEEP(手牌B・約4分): 全枠ロックまでの秒数・誤ロック枠(枠番号・誤/正)・校正が始まらない場合はその時間
4. 確定+タップ(1分): 📸確定 → 端末を意図的に少し動かす → タップした牌が正しく和了牌になるか(#5 の検証)
5. 耐久(2分以上): 放置して自動ロックしないこと(wakeLock)/ ホーム→復帰で推論再開(#3)を各1回
6. 送信確認(1分): 送信件数 → 後刻 R2 / pdca-state.json で突合

記録項目(毎セッション必須 → log-ml-progress.py へ時刻付きで)

• モデル version / EP / iOS / 機種 / median 推論 ms
• 手牌 A/B/C 別: 初回一発正解率(13枚中)・✕削除数・訂正数・KEEP 全ロック秒数
• 発生した不具合の HUD 文言と再現手順 / feedback 送信件数(閾値30への寄与も併記)

有効テストの3条件: version が最新・EP 記録あり・feedback 送信成功 — を満たすもののみ Δ比較に採用。満たさないものは理由付きで参考値ログに。

この iPhone Web テストは、親仕様(スマートグラス×リアルタイム役判定 リリース仕様書)の Phase 0「一人称 field mAP 初計測」の前段をなす実機評価装置である。以下の改善は将来のグラス版(Unity/C#)にそのまま持ち越される共通資産になる: