「Toyota Mobility Foundation」採択事業：AIによるリアルタイム実況生成システム「Play Voice」

一般財団法人トヨタ・モビリティ基金（TMF）が主催する、障害の有無にかかわらず、誰もが移動を楽しみ、移動することで広がる新たな可能性に挑戦できる未来を目指すプロジェクト「Mobility for ALL」において、Playboxの技術が採択されました。

本プロジェクトでは、視覚に障がいのある方でもスポーツ観戦をリアルタイムに楽しめる環境を構築するため、画像解析AIを用いて試合状況を言語化し、音声実況を自動生成するシステム「Play Voice」を開発しました。

本システムの実証実験は、2025年10月に開業した「TOYOTA ARENA TOKYO」にて開催されたB.LEAGUE所属「アルバルク東京」のホームゲームにおいて、視覚に障がいのある方々にご協力いただき実施しました。

視覚情報の依存度が高いスポーツ観戦でのチャレンジ

スポーツ観戦の感動は「視覚情報」に大きく依存しており、視覚に障がいのある方々にとっては、ボールの位置や選手の細かな動き、試合の臨場感をリアルタイムに把握することが困難という課題がありました。

既存のラジオ実況やテレビ解説だけではカバーしきれない「会場の空気感」や「詳細なプレー内容」を、テクノロジーの力で補完し、誰もが同じ熱量でスポーツを楽しめるインクルーシブな観戦体験の創出が求められていました。

Playboxが開発した「Play Voice」は、会場に設置したカメラ映像をAIが解析し、試合展開をリアルタイムで音声実況に変換してスマートフォンへ配信するシステムです。

技術的な特徴

広域映像解析技術
会場全体を撮影する2台のカメラ映像から、独自のコンピュータビジョン技術を用いて、選手全員のID検知、ボールの追跡（トラッキング）、および骨格推定（姿勢推定）を行います。
イベント検出と自然言語生成
「パス」「ドリブル」「シュート」といったプレーイベントを自動検出し、その瞬間の状況に合わせて自然な実況テキストを生成。これを音声合成技術で読み上げることで、実況アナウンサーがいない環境でも詳細な戦況を伝えます。
観戦体験
ユーザーは自身のスマートフォン上のアプリを通じて実況を聴取できます。
リアルタイム実況だけでなく、試合が止まっている時間に、ワンタップでスコアや残り時間を確認したりと、個々のペースに合わせた観戦が可能です。

本実証実験では、実際に視覚に障がいのある方々に「Play Voice」を体験いただき、アリーナでの観戦体験がどのように変化したかについて、貴重なフィードバックをいただきました。

「一人で観戦できる」という自立への期待
「特別な機材は必要なく、使い慣れた自分のスマートフォン一つで会場の状況が把握できる点は非常に画期的です。これまでは付添人がいないと状況が分からず困ることもありましたが、このシステムがあれば一人でも会場へ足を運びたいと思えます」（体験者：Kさん）
「解説」があることで広がるスポーツ観戦の幅
「今までは周りの歓声を聞いて『シュートが入ったんだな』と推測するだけでしたが、Play Voiceによってどっちのチームが攻めているか、試合の大きな流れを掴むことができました。特に、自分のタイミングでスコアや残り時間を確認できる機能は、安心感に繋がりました」（体験者：Aさん）
アリーナならではの「一体感」の共有
「アリーナの熱気や音、光の演出など、エンターテインメントとしての空気感を感じながら、同時にAIの実況で戦況を追える。視覚に障がいがあっても、会場の皆と同じ熱量で盛り上がれる貴重な体験でした」（体験者：Rさん）

また、今後の社会実装に向けた具体的な要望として、「より詳細な個人のプレー情報の拡充」や「会場の臨場感と実況音声をより自然に両立させるための音響設計」、さらには「シュート成功時の効果音（SE）による即時性の向上」といった、当事者視点ならではの多角的な示唆が得られました。

トヨタ・モビリティ基金の支援を受け、実際のスポーツ現場にて実証実験を実施しました。

「Play Voice」の導入により、これまで「見えない」ことでスポーツ観戦を諦めていた方々に対し、新たなスポーツの「楽しみ」を提供するシステムの開発に臨みました。

本システムは、視覚障がい者への支援のみならず、ルールに詳しくない初心者へのガイドとしても活用が期待されています。

Playboxでは今後も、「人の動きを計算可能にする」技術を社会課題の解決に応用し、すべての人に開かれたスポーツ体験の実装を目指します。