サッカー中継の“いま”を再構築 ーMIXIと挑んだGame State Reconstructionー

ピッチ上では、22人と1つのボールが休みなく動き続けています。
「誰が、どこで、何をしているのか」――
その全体像を生の放送映像からリアルタイムに“再構築”できたら、戦術分析も観戦体験もまったく別物になる。Playboxは株式会社MIXIとともに、この構想をGame State Reconstruction（GSR）という技術で現実へ近づけました。

放送映像から選手・審判・ボールの位置や役割を抽出し、2Dピッチの俯瞰図へと投影。
CVPRの公式チャレンジで実証された精度を武器に、スポーツの価値を次のステージへ押し上げています。

なぜ、いまGSRなのか

従来の中継は“見える範囲”に限界があり、ズーム・パン・遮蔽で選手の同定や位置推定が不安定になりがちでした。
結果、戦術理解や選手評価は人手集計と断片的データに依存。
そこで私たちは、映像そのものをデータ化し、“試合の地図”を自動生成することに挑みました。

従来のサッカー中継では、放送映像の限界から「誰がどこでプレーしているか」を全体的に把握することが難しく、戦術解析や選手評価は一部のデータや人的リソースに依存していました。
さらに、パン・ズーム・遮蔽など放送特有の制約により、AIが安定的に認識することは大きな課題でした。

画像提供：株式会社Playbox（出典元：SoccerNet [Giancola et al., 2018] ）

アプローチ：先端技術を組み合わせたパイプラインで“試合の地図”を描く

MIXIとPlayboxは、複数の最先端モデルと幾何推論をひとつの実戦的パイプラインに統合しました。

検出：RF‑DETRで選手・審判を安定抽出
識別：ViT‑Pose／ResNet‑18で姿勢・胴体を掴み、PARSeqで背番号OCR、PRT‑ReID／CLIP‑ReIDで同一人物追跡を堅牢化
追跡：BoT‑SORTとGTAでIDスイッチ低減と断片の再結合
幾何：HRNet‑W48とDeepLabV3でピッチのキーポイント／ラインを抽出し、カメラキャリブレーションで2D座標へ正確に射影
知識融合：ゴールキーパーや審判の位置・背番号といったサッカー知識に基づくヒューリスティクスで最終整合性を高めました。

この結果、放送映像から2Dミニマップ上に“戦況”を再現。画面外の位置関係まで一目で把握できる可視化に到達しました。

国際舞台での検証と数値

CVPRの「SoccerNet GSR Challenge」にて、公開データのみを使いながらGS‑HOTA 61.64を達成。
特にトラッキング一貫性（AssA）84.37という高スコアを記録し、非公開データを併用する先行手法に匹敵するレベルに到達しました。GSRの評価は位置の正確さ（LocSim）とIDの一貫性（IdSim）で測られ、私たちのアプローチが両面で機能していることを示します。

参考：SoccerNet GSRは、30秒×200本の放送映像に役割・位置アノテーションを付与した国際データセットで、GSR専用指標GS‑HOTAを用いて評価されます。

また、2025年9月30日に行われた「Sports Tech Meetup Vol. 1〜スポーツの未来を創る、AIとデータの最前線〜」では、株式会社MIXI 開発本部たんぽぽ室 AIモデリンググループの登内雅人さんが、「SoccerNet GSRの紹介と技術応用：選手視点映像を提供するサッカー作戦盤ツール」と題してGSRの詳細を紹介されています。
GSRの技術的な背景や応用例にご興味のある方は、ぜひそちらもご覧ください。

Sports Tech Meetup Vol. 1〜スポーツの未来を創る、AIとデータの最前線〜