＜Les coulisses de l'analyse du football : partie 1 > Comment obtenir des données de match à partir de séquences diffusées (1)
Préface
Bonjour à tous ! Merci pour votre soutien, ici Scott de Playbox !
L'article d'aujourd'hui explique l'histoire derrière l'article de l'Asahi Shimbun du mois dernier analysant le mouvement de Misumi. En fait, pour préparer cet article, nous avons été aidés par Umemoto-san, étudiant à l'université de Nagoya, et Nakamura-san, étudiant à l'université de Tsukuba.
Dans cet article, nous expliquons l'histoire du premier match du Japon dans le cadre du tour final asiatique de qualification pour la Coupe du monde, qui a été récemment publié dans l'Asahi Shimbun. Pour préparer cet article, nous avons bénéficié de l'aide d'Umeki-san et de Nakamura-san, tous deux étudiants à Nagoya/Université de Tsukuba.
Umeki est l'un des meilleurs chercheurs japonais en matière d'analyse de données footballistiques et le seul chercheur japonais à avoir participé à la célèbre conférence Statsbomb à l'étranger.
Évaluation de la position de la défense de l'équipe : Umemoto Rikuhei | Conférence StatsBomb 2023
Nakamura-san est analyste et chercheur en vision par ordinateur à l'université de Tsukuba, et son avenir est très prometteur. Il est le même que moi en termes de faculté, d'activités de club et de laboratoire, mais son œil pour le football est peut-être largement supérieur au mien.
Cet article est un peu long, mais nous vous invitons à l'apprécier en tant qu'introduction à l'analyse du football. Il est livré en trois parties !
- ＜Coulisses de l'analyse du football : Partie 1 : Comment acquérir des données de match à partir de séquences diffusées (cet article)
- ＜Coulisses de l'analyse du football : Partie 2 : Analyser le porteur du ballon (xG, VAEP)
- ＜Analyse des schémas d'attaque hors ballon (OBSO)
Introduction - qu'est-ce que les "données" dans l'analyse du football ?
Main d'œuvre vs. capteurs vs. traitement d'images
Dans le sport, les méthodes de collecte de données peuvent être grossièrement classées dans les trois catégories suivantes
- Main d'œuvre: enregistrement manuel de la position des joueurs, du ballon et du jeu en regardant des séquences vidéo.
- Capteurs: les joueurs sont équipés d'un GPS qui permet d'acquérir des données telles que la position et la vitesse.
- Traitement de l'image (analyse vidéo): utilisation de l'intelligence artificielle pour extraire automatiquement les positions des joueurs et du ballon ainsi que des informations sur les événements à partir des séquences de match.
Les avantages et les inconvénients de chaque méthode peuvent être résumés comme suit.
| Méthode | Coût | Précision | Nature en temps réel | Acquisition d'informations sur l'équipe adverse | Données disponibles |
|---|---|---|---|---|---|
| Main d'œuvre | ✗ | Graisse | Puissance humaine | Graisse. | Données d'événements uniquement |
| Capteurs | ✗ | ◎ | ◎ | ✗ ✗ ✗ | Données de suivi uniquement |
| Traitement de l'image | ✗ ✗ ◯ | ◎ ◎ ◎ ◎ ◎ ◎ ◎ ◎ ◎ ◎ ◎ ◎ ◎ | De la graisse à la graisse | Fat (graisses) | Données de suivi + données d'événements |
Il existe un compromis dans le traitement des images (analyse vidéo) : la recherche de la précision augmente le temps de traitement, tandis que l'augmentation de la performance en temps réel réduit la précision. Cependant, il est possible d'acquérir des données de l'équipe adverse et d'obtenir à la fois des données de suivi et des données d'événement. Il s'agit également de la méthode la plus souple et la plus réaliste dans la pratique, étant donné que les analystes vidéo sont responsables de la capture des séquences. La précision s'améliore également d'année en année, c'est pourquoi Playbox se concentre sur l'analyse vidéo.
La méthode des capteurs (GPS) intègre également des accéléromètres et d'autres capteurs, et s'est récemment améliorée pour atteindre un niveau d'erreur de moins d'un mètre. L'utilisation la plus idéale est la combinaison avec l'analyse vidéo, mais l'inconvénient est que les données de l'équipe adverse ne peuvent pas être acquises, et l'installation et la gestion du système sont étonnamment longues et coûteuses. En outre, les données relatives aux événements, telles que les passes et les tirs, ne peuvent pas être acquises.
Types de séquences pouvant être utilisées pour l'analyse du football
Il existe trois principaux types de vidéo pouvant être utilisés pour l'analyse du football
- Séquences diffusées: séquences largement accessibles au public, telles que les émissions télévisées en direct. Elles nécessitent beaucoup de changements de caméra et de zooms, ainsi qu'une certaine ingéniosité pour l'analyse, mais elles ont l'avantage d'être facilement accessibles.
Capture d'écran d'un match de Premier League. La source de la citation est ce **Tweet.***
-
Les séquences filmées par des caméras fixes (la méthode principalement utilisée par Playbox): une caméra simple qui filme en permanence l'ensemble du terrain. Les images sont stables et faciles à analyser, mais la résolution de chaque joueur est grossière car l'ensemble du terrain est filmé, ce qui rend difficile l'analyse détaillée telle que la reconnaissance des numéros de dos.
Exemple de séquence de terrain complet filmée par une caméra fixe avec les appareils photo Playbox. Voir ici pour plus d'informations.
-
Séquences filmées par un drone: elles permettent de filmer de vastes zones depuis le ciel, ce qui est idéal pour l'analyse tactique, mais elles sont coûteuses et soumises à des restrictions légales.
Dans le cadre de mes recherches de maîtrise, j'ai créé un ensemble de données contenant des images de terrains de football prises depuis le ciel. On peut voir où se trouvent les gens, mais on ne peut pas savoir qui ils sont. Vous pouvez d'ailleurs télécharger cet ensemble de données sur Kaggle.
Types de données pouvant être obtenues à partir des images
Les deux principaux types de données que l'on peut obtenir à partir des séquences sont les suivants
- Données de suivi: position des joueurs et du ballon, vitesse de déplacement, distance parcourue, etc.
- Données d'événement: jeux spécifiques qui se produisent pendant un match, tels que les passes, les tirs et les dribbles.
En combinant ces données, le système peut être utilisé à diverses fins, telles que l'analyse tactique détaillée et l'évaluation des performances des joueurs individuels.
Raisons du choix des images diffusées pour ce projet
Comme nous n'étions pas sur place pour le match que nous avons analysé cette fois-ci (le match de qualification du Japon pour la Coupe du monde), nous n'avons eu accès qu'à des séquences diffusées qui avaient été rendues publiques. Nous avons confirmé au journal qu'il n'y avait aucun problème à analyser de telles séquences publiques et à écrire un article à ce sujet, mais nous ne sommes actuellement pas en mesure de juger si les séquences peuvent être converties en données et utilisées commercialement. En effet, Playbox n'a pas encore été confronté à ce problème, car nous recevons les séquences directement des équipes, les analysons et renvoyons les résultats.
Récemment, cependant, nous avons reçu des demandes de joueurs en direct qui disent qu'ils ne peuvent pas montrer les séquences de match sur YouTube, et qu'ils veulent donc utiliser les données obtenues à partir des séquences pour animer et distribuer la situation du match. Il existe des zones d'ombre juridiques à cet égard, c'est pourquoi nous prévoyons de consulter un avocat dans un avenir proche afin de clarifier la situation.
Par ailleurs, nous avons demandé à ChatGPT,
Si la vidéo elle-même est protégée par des droits d'auteur, les données et l'animation créées à partir de la vidéo peuvent également être considérées comme une "œuvre dérivée". Il est donc conseillé d'obtenir l'autorisation du détenteur des droits d'auteur pour une utilisation commerciale. Toutefois, si les données extraites de la séquence sont considérées comme des "informations factuelles sans droit d'auteur", l'autorisation peut ne pas être requise. La décision dépendant du cas d'espèce, nous recommandons de consulter un expert".
L'entreprise a répondu. Oui, consultez un expert.
Le chapitre suivant explique en détail le processus d'extraction des données à partir des séquences diffusées.
2. Comment extraire des données de match à partir de séquences diffusées
Normalement, l'acquisition de données de suivi des joueurs nécessite beaucoup de temps et d'efforts, comme l'installation d'un certain nombre de caméras spéciales dans le stade et l'enregistrement préalable des couleurs et des numéros d'uniforme des joueurs dans le système.
Toutefois, lorsque l'analyse est effectuée à partir de séquences diffusées qui sont ensuite mises à la disposition du public, comme c'est le cas ici, il n'est pas nécessaire de faire ces préparatifs à l'avance. En d'autres termes, le point clé est la précision avec laquelle l'IA peut suivre les joueurs et les ballons, en se basant sur "seulement certaines séquences".
Plusieurs entreprises dans le monde y sont déjà parvenues. Par exemple, une société appelée SkillCorner semble disposer de la technologie nécessaire pour reproduire des situations de match en temps réel en utilisant uniquement des séquences diffusées.
Je pense qu'il s'agit d'un concurrent sérieux, mais je l'ai présenté parce que c'est vraiment cool, et vous pouvez vous attendre à pouvoir le faire dans la Playbox dans un avenir proche !
Cette technologie permettant d'extraire "qui" et "où" à partir de séquences diffusées s'appelle la reconstruction de l'état du jeu (GSR). Le repérage des actions, qui détecte automatiquement "ce qui est fait" (par exemple, passe, tir, etc.) , en particulier en ce qui concerne le ballon, est appelé repérage de l'action du ballon (BAS).
Reconstruction de l'état du jeu (GSR).
Le GSR est une technologie qui reconstruit l'état du jeu en extrayant les informations de position des joueurs et du ballon à partir de la séquence vidéo.
Le blog suivant de moai510, qui la résume en détail en japonais, est une bonne référence.
- Introduction de l'article : explication de la technologie dans l'article sur le GSR de SoccerNet.
- Introduction de l'article : SoccerNet Game State Reconstruction (Reconstruction de l'état du jeu)
La technologie de pointe (State-of-the-Art, SOTA) a été publiée dans un document intitulé "From Broadcast to Minimap : Unifying Detection, Tracking, and Calibration for Real- temps réel". La méthode combine des technologies d'IA open-source telles que YOLO-v5m, SegFormer et DeepSORT avec des ensembles de données propriétaires (malheureusement non divulgués), et indique qu'elle peut reconstruire les états du jeu à une vitesse proche du temps réel.
Toutefois, cet article n'approfondira pas cette technologie spécifique. En effet, la dernière méthode GSR, qui est une évolution de la méthode utilisée dans cet article, a été développée en interne chez Playbox et atteint presque la même précision que la méthode de pointe décrite ci-dessus, en utilisant un ensemble de données complètement ouvert ! Une explication détaillée sera publiée dans un article séparé dans un avenir proche !
C'est pourquoi nous nous contenterons de vous donner un bref aperçu de l'EGS.
En gros, le processus se déroule comme suit :
- L'IA détecte et suit chaque joueur et chaque ballon à partir de la vidéo diffusée (les joueurs et les ballons sont détectés comme indiqué en bas à gauche de l'image).
- L'IA détecte les lignes et les points caractéristiques sur le terrain et convertit les informations de position sur la vidéo en coordonnées absolues sur le terrain (étalonnage de la caméra comme indiqué en haut à gauche de l'image).
- Ensemble, ces éléments permettent de reproduire la position du joueur dans la vidéo à la position exacte sur le terrain (convertie en une vue d'ensemble du terrain, comme indiqué dans la partie droite de l'image).
Dans l'exemple de l'image ci-dessus, les coordonnées du terrain sont estimées (en haut à gauche) sur la base des informations de position des joueurs obtenues à partir de la vidéo diffusée (en bas à gauche), et finalement visualisées sous forme d'informations de position aérienne de l'ensemble du terrain (image de droite). D'autres informations telles que le numéro de l'arrière, le rôle et l'équipe peuvent également être reconnues, mais il s'agit là du mécanisme de base du GSR.
Repérage de l'action du ballon (BAS)
Si les RSG sont une technologie qui reconstruit la position des joueurs et du ballon, le repérage de l'action du ballon (BAS) est une technologie qui détecte les "événements" liés au ballon, tels que les passes, les tirs et les dribbles, à partir de la vidéo. L'état actuel de la technique est T-DEED, une méthode annoncée en 2024, qui peut détecter 12 événements différents à partir de la vidéo avec une précision de 73,4 % en l'espace d'une seconde (voir l'article sur T-DEED pour plus d'informations).
Dans cet article de journal, nous n'avons analysé que quelques courtes vidéos d'environ 30 secondes, nous n'avons donc pas pris la peine d'automatiser le processus avec l'IA et avons extrait les événements manuellement. C'était plus rapide et plus précis.
Néanmoins, nous développons également une technologie de détection d'événements comme cette BAS dans le produit principal Playbox. Cependant, cette technologie est principalement basée sur la vidéo pleine longueur, et ne peut donc pas encore être appliquée telle quelle à la vidéo diffusée comme celle-ci. Nous aimerions en dire plus à ce sujet à l'avenir.
En combinant la technologie GSR et BAS, nous disposons des données nécessaires pour analyser "qui", "où" et "quoi", et nous pouvons réaliser des analyses plus avancées et plus approfondies.
Défis de l'extraction de données et solutions Playbox
Limites des données basées sur l'IA - jusqu'où peut-on les automatiser ?
Les technologies d'analyse vidéo telles que le GSR et le BAS évoluent jour après jour, mais certains problèmes restent difficiles à résoudre. Les défis suivants sont particulièrement prononcés lors de l'utilisation de séquences de radiodiffusion
- Changement fréquent de caméra.
- Il n'est pas facile de suivre les mêmes athlètes de manière stable en raison des changements fréquents de caméra dans les émissions télévisées.
- Changements de résolution vidéo et d'angle de vue
- Si un joueur sort soudainement du cadre de la caméra ou si le point de vue change lorsque la caméra fait un zoom ou un panoramique, il devient difficile de suivre avec précision le joueur ou le ballon.
- Chevauchement des joueurs (occlusion)
- Lorsque les joueurs se chevauchent ou que les arbitres, le personnel ou d'autres objets bloquent la vue, il est difficile pour l'IA de les reconnaître correctement.
- Localisation des ballons volants
- Les joueurs sont essentiellement au sol, mais il est difficile d'estimer la position exacte d'un ballon en l'air à partir de la seule vidéo 2D.
En fait, même dans la courte séquence utilisée pour cet article de journal, l'IA n'a pas été en mesure de reconnaître entièrement la position et le numéro du joueur et, en fin de compte, certaines informations ont été corrigées en vérifiant avec l'œil humain (pour la détection d'événements, il s'agissait d'un travail entièrement manuel). Mais il y a des gens dans le monde qui essaient de résoudre des problèmes très difficiles comme l'intelligence artificielle ou la conduite entièrement automatisée de manière obstinée. Par rapport à cela, la conversion de données vidéo de football devrait être assez facile, je ferai de mon mieux.
Considérations juridiques et défis liés à l'utilisation de séquences vidéo
Comme indiqué au début de cet article, outre les défis techniques, l'utilisation de séquences vidéo pour créer des données soulève également des questions d'ordre juridique.
À l'heure actuelle, nous n'avons toujours pas de réponse claire sur la manière dont les données extraites d'une vidéo sont traitées en termes de droits d'auteur lorsqu'elles sont animées et utilisées. Nous prévoyons de consulter prochainement un expert (avocat), et nous reviendrons donc sur ce point lorsque la situation sera plus claire.
Si quelqu'un a plus d'informations sur ce point, n'hésitez pas à nous contacter !
Conclusion - l'acquisition de données est le point de départ de l'analyse du football
Jusqu'à présent, nous avons expliqué comment acquérir des données de match à partir de la vidéo dans le cadre de l'analyse du football, ainsi que les défis et les solutions qui s'y rattachent.
L'analyse du football commence par l'obtention de bonnes données, et Playbox vise à automatiser ce processus afin que de plus en plus d'équipes et de joueurs puissent utiliser facilement une analyse de haute qualité.
Nous espérons que le contenu de cet article vous aidera à comprendre et à vous intéresser à l'analyse du football !
Dans la prochaine partie de cette série, nous expliquerons en détail comment utiliser les données acquises cette fois pour une analyse spécifique, en utilisant des indicateurs tels que xG ( expectedgoal value) et VAEP (play evaluation index)!
Site web de Playbox Inc. 👉️ https://www.play-box.ai/
playbox, une caméra sportive AI abordable qui filme et monte automatiquement 👉️ https://www.play-box.ai/lp
Contactez nous.
Si vous avez des questions, des requêtes ou des propositions commerciales pour Playbox, n'hésitez pas à nous contacter à l'adresse électronique suivante .