＜足球分析的幕后：第 1 部分 > 如何从转播镜头中获取比赛数据 (1)
前言
大家好感谢大家的支持，我是 Playbox 的 Scott！
今天这篇文章将解释上个月《朝日新闻》分析三隅运动的文章背后的故事。事实上，在撰写这篇文章的过程中，我们得到了名古屋大学大三学生梅本先生和筑波大学大三学生中村先生的协助。
三隅薰的招数有效吗？ 筑波大学踢球俱乐部的伙伴们开始自己的事业，用人工智能进行分析：《朝日新闻
本文介绍了《朝日新闻》最近刊登的日本队在世界杯亚洲区决赛圈预选赛首场比赛背后的故事。在撰写这篇文章的过程中，我们得到了名古屋/筑波大学大三学生梅木先生和中村先生的帮助。
梅木是日本顶尖的足球数据分析研究人员之一，也是唯一一位在国外著名的 Statsbomb 会议上发表过演讲的日本研究人员。
球队防守位置评估：梅元力平 | 2023 年 StatsBomb 会议
中村先生是筑波大学的分析师和计算机视觉研究员，前途无量。他的师资、社团活动和实验室都和我一样，但他的足球眼光可能比我高出一大截。
筑波大学培养的 "分析师 "让比赛大变样......我们一起走进柏队险胜 J1 球队町田队的幕后：东京新闻数码。
这篇文章有点啰嗦，但作为足球分析前沿的介绍，敬请欣赏。文章分为三个部分！
- ＜足球分析的幕后：第 1 部分：如何从转播镜头中获取比赛数据（本文）
- ＜足球分析幕后：第 2 部分：分析持球者（xG、VAEP）
- ＜分析带球进攻模式（OBSO）
引言 - 什么是足球分析中的 "数据"？
人力 vs. 传感器 vs. 图像处理
在体育运动中，收集数据的方法大致可分为以下三类
- 人力：观看录像时手动记录球员、球和比赛的位置。
- 传感器：在球员身上安装全球定位系统，以获取位置和速度等数据。
- 图像处理（视频分析）：使用人工智能从比赛录像中自动提取球员和球的位置以及事件信息。
每种方法的优缺点可总结如下。
| 方法 | 成本 | 准确性 | 实时性 | 获取对方信息 | 可获得的数据 |
|---|---|---|---|---|---|
| 人力 | ✗ | 脂肪 | 人力 | 脂肪。 | 仅事件数据 |
| 传感器 | ✗ | ◎ | ◎ | ✗ ✗ ✗ | 仅跟踪数据 |
| 图像处理 | ✗ ✗ ◯ | ◎ ◎ ◎ ◎ ◎ ◎ ◎ ◎ ◎ ◎ ◎ ◎ ◎ | 脂肪到脂肪 | 脂肪 | 跟踪数据 + 事件数据 |
图像处理（视频分析）需要权衡：追求准确性会增加处理时间，而提高实时性则会降低准确性。不过，可以从对方球队获取数据，同时获得跟踪数据和事件数据。在实践中，这也是最灵活、最现实的方法，因为视频分析师负责捕捉录像。精确度也在逐年提高，这也是 Playbox 专注于视频分析的原因。
传感器方法（GPS）也结合了加速度计和其他传感器，最近已改进到误差在一米以内的水平。最理想的使用方法是与视频分析相结合，但缺点是无法获取对方球队的数据，而且系统的安装和管理出奇地费时费力。此外，还无法获取传球和射门等事件数据。
可用于足球分析的录像类型
可用于足球分析的视频主要有三种类型
- 广播录像：公众可广泛获取的录像，如电视直播。它需要大量的镜头切换和缩放，分析时需要一些巧思，但其优点是容易获取。
一场英超联赛的截图。引用来源是这条**推特。***
-
固定摄像机镜头（主要由 Playbox 处理的方法）：摄像机设置简单，可持续捕捉整个球场。虽然画面稳定且易于分析，但由于拍摄的是整个球场，因此每个球员的分辨率较低，难以进行背号识别等详细分析。
使用 Playbox 摄像机设备拍摄的固定摄像机全场录像示例。更多信息，请参见此处。
-
无人机拍摄：可从高空拍摄大面积区域，非常适合战术分析，但价格昂贵且受法律限制。
在我的硕士研究中，我创建了一个数据集，其中包含从空中拍摄的球场画面。你可以看到人在哪里，但无法分辨他们是谁。顺便提一下，你可以从Kaggle下载这个数据集。
可从录像中获取的数据类型
可以从录像中获取的数据主要有以下两类
- 跟踪数据：球员和球的位置、移动速度、移动距离等。
- 事件数据：比赛中发生的特定动作，如传球、射门和运球。
结合这些数据，系统可用于多种用途，如详细的战术分析和球员个人表现评估。
本项目选择广播录像的原因
由于我们这次分析的比赛（日本队的世界杯预选赛）不在现场，因此我们只能使用公开的转播录像。我们向报社确认，分析这些公开录像并撰写相关文章没有问题，但我们目前无法判断这些录像是否可以转换成数据并用于商业用途。这是因为 Playbox 还没有遇到过这个问题，因为我们直接从参赛队那里接收录像，然后进行分析并返回结果。
不过，最近我们收到了来自现场球员的请求，他们表示无法在 YouTube 上展示真实的比赛录像，因此希望使用从录像中获得的数据来制作动画并发布比赛情况。在这方面存在一些法律灰色地带，因此我们计划在近期咨询律师以澄清情况。
顺便问一下 ChatGPT、
"如果视频本身具有版权，那么根据视频制作的数据和动画也可能被视为'衍生作品'。因此，建议在商业用途上获得版权持有者的许可。但是，如果从录像中提取的数据被视为 "无版权的事实信息"，则可能不需要获得许可。由于决定取决于具体情况，我们建议咨询专家"。
该公司说。是的，咨询专家。
下一章将详细介绍如何从广播录像中具体提取数据的过程。
2. 如何从广播录像中提取比赛数据
通常情况下，获取球员跟踪数据需要花费大量的时间和精力，比如在球场安装一些特殊的摄像头，提前在系统中登记球员的制服颜色和号码。
然而，如果只使用随后向公众公开的转播录像进行分析，就完全不可能像这次这样提前准备。换句话说，关键在于人工智能如何依靠 "仅有的某些录像 "来准确跟踪球员和球。
世界上有几家公司已经做到了这一点。例如，一家名为 SkillCorner 的公司似乎已经掌握了只用转播镜头就能实时重现比赛情况的技术。
我认为这是一个严重的竞争对手，但我介绍它是因为它真的很酷，你可以期待在不久的将来，Playbox 也能做到这一点！
现在，这种仅从广播录像中提取 "谁 "和 "在哪里 "的技术被称为 游戏状态重建（GSR） 。自动检测 "正在做什么"（如传球、射门等） ，尤其是与球有关的动作，称为 "球动作检测"（BAS）。
游戏状态重建（GSR）。
GSR 是一种通过从视频录像中提取球员和球的位置信息来重建比赛状态的技术。
以下由moai510用日语撰写的博客对其进行了详细总结，是很好的参考资料。
以论文 "From Broadcast to Minimap: Unifying Detection, Tracking, and Calibration for Real-实时游戏状态重构的统一检测、跟踪和校准" 。该方法将 YOLO-v5m、SegFormer 和 DeepSORT 等开源人工智能技术与专有（遗憾的是未公开）数据集相结合，并报告说它能以接近实时的速度重建游戏状态。
不过，本文不会深入探讨这一特定技术。这是因为最新的 GSR 方法是本文所使用方法的进一步演进，由 Playbox 内部开发，使用完全开放的数据集实现了与上述最先进方法几乎相同的精度！详细说明将在不久的将来作为单独文章发表！
因此，我们仅简要介绍 GSR 的基本情况。
大致过程如下：
- 人工智能从转播视频中检测并跟踪每个球员和球（球员和球的检测如图左下方所示）
- 人工智能检测球场上的线条和特征点，并将视频中的位置信息转换为球场上的绝对坐标（如图像左上方所示的摄像机校准）。
- 这些功能加在一起，就能将视频中球员的位置还原为球场上的准确位置（转换为球场的整体视图，如图片右侧所示）。
在上图的示例中，根据从转播视频中获取的球员位置信息（左下）估算出球场坐标（左上），最后将其可视化为整个球场的俯视位置信息（右图）。其他信息如背号、角色和球队也可能被识别，但这是 GSR 的基本机制。
定位球（BAS）
如果说 GSR 是一种重建球员和球的位置的技术，那么Ball Action Spotting (BAS) 则是一种从视频中检测传球、射门和运球等与球有关的 "事件 "的技术。目前最先进的方法是 2024 年公布的 T-DEED ，它能在一秒钟内从视频中检测出 12 种不同的事件，准确率高达 73.4%（更多信息请参阅T-DEED 论文）。
在这篇报纸文章中，我们只分析了几段 30 秒左右的短视频，所以我们懒得用人工智能来自动处理，而是手动提取事件。这样做更快、更准确。
不过，我们也在开发类似于 Playbox 主产品中 BAS 的事件检测技术。不过，它主要基于全场视频，因此还不能原封不动地应用于像这样的广播视频。我们希望在未来披露更多相关信息。
通过将 GSR 和 BAS 技术相结合，我们获得了分析 "谁"、"在哪里 "和 "做什么 "所需的数据，并能实现更先进、更深入的分析。
数据提取挑战和 Playbox 解决方案
基于人工智能的数据的局限性--在多大程度上可以实现自动化？
GSR 和 BAS 等视频分析技术日新月异，但仍有一些难题难以解决。以下挑战在使用广播录像时尤为突出
- 频繁切换摄像机。
- 由于电视转播中摄像机的频繁切换，要稳定地跟踪同一运动员并不容易。
- 视频分辨率和视角的变化
- 如果运动员突然移出摄像机画面，或者摄像机变焦或平移时视角发生变化，就很难准确跟踪运动员或球。
- 球员重叠（遮挡）
- 当球员相互重叠，或裁判、工作人员或其他物体遮挡视线时，人工智能就很难正确识别他们。
- 定位飞球
- 球员基本上都在地面上，但仅靠二维视频很难估计空中球的准确位置。
事实上，即使在本报文章使用的短片中，人工智能也无法完全识别球员的位置和号码，最后只能通过人眼核对来修正部分信息（对于事件检测，这完全是人工工作）。不过，世界上也有人在尝试用固执的方式解决 AGI 或全自动驾驶等超级难题。相比之下，转换足球视频数据应该很容易，我会尽力而为。
视频使用的法律考虑和挑战
正如本文开头提到的，除了技术上的挑战，使用录像创建数据还涉及法律问题。
目前，从视频中提取的数据在制作动画和使用时如何处理版权问题，我们还没有一个明确的答案。我们计划近期咨询一位专家（律师），待情况明朗后再与大家分享。
如果任何人对此有更多信息，请联系我们！
结论--"数据采集 "是足球分析的起点
到目前为止，我们已经介绍了如何在足球分析中从视频中获取比赛数据，以及这样做所面临的挑战和解决方案。
足球分析始于获取优质数据，Playbox 的目标是将这一过程自动化，让越来越多的球队和球员能够轻松利用高质量的分析。
我们希望本文的内容能帮助您了解足球分析并对其产生兴趣！
在下一篇文章中，也就是本系列的第二部分，我们将详细介绍如何使用xG（ 预期进球价值） 和 VAEP（比赛评估指数） 等指标，对此次获得的数据进行具体分析！
Playbox 公司网站 👉️ https://www.play-box.ai/
Playbox，一款经济实惠、可自动拍摄和编辑的人工智能运动摄像机 👉️ https://www.play-box.ai/lp
联系我们。
如果您对 Playbox 有任何问题、疑问或商业建议，请随时通过以下电子邮件地址与我们联系。
📩 ato m@play-box.ai