서문

안녕하세요, 여러분! 항상 응원해주시는 Playbox의 스캇입니다!

오늘은 지난 달 아사히신문에 실린 미카타 선수의 움직임을 분석한 기사의 뒷이야기를 설명해드리는 글입니다. 사실 이 기사를 작성하는 데에 있어서 명지대 후배인 우메키 씨와 츠쿠바 대학 후배인 나카무라 씨에게 도움을 받았습니다.

미카사 카오루의 움직임은 효과적일까?　츠쿠바대 킥볼부 동료가 창업, AI로 분석: 아사히신문

이번 기사에서는 최근 아사히신문에 게재된 일본 대표팀의 월드컵 아시아 최종예선 첫 경기의 뒷이야기를 소개합니다. 본 기사를 작성하기 위해 나고야/치쿠바 대학 후배인 우메키 씨와 나카무라 씨에게 도움을 받았습니다.

우메키 씨는 국내 최고 수준의 축구 데이터 분석 연구자이며, 해외에서도 유명한 Statsbomb 컨퍼런스에서 발표 경험이 있는 유일한 일본인 연구자입니다.

Evaluation of Team Defence Positioning: Umemoto Rikuhei | StatsBomb Conference 2023

나카무라 씨는 츠쿠바 대학에서 애널리스트와 컴퓨터 비전 연구를 겸임하고 있으며, 미래가 매우 기대되는 인재입니다. 학부, 동아리, 연구실까지 저와 함께하고 있지만, 축구를 보는 눈은 저보다 더 뛰어날지도 모릅니다.

筑波大가 양성하는 '애널리스트'가 승부를 뒤집다...J1 마치다를 꺾고 카시와시와 접전을 벌인 비하인드 스토리: 도쿄신문 디지털

서론이 조금 길어졌지만, 축구 분석의 최전선을 전하는 입문 기사로 즐겨주시기 바랍니다. 총 3편으로 나누어 전해드립니다!

<축구 분석의 비하인드 스토리: 1부> 방송 영상에서 경기 데이터를 얻는 방법(본 기사)
<축구 분석 비하인드 스토리: 2부> 볼 소유자 분석(xG, VAEP)
<축구 분석의 비하인드 스토리: 3부> 공 비보유 상태의 공격 패턴 분석하기(OBSO)

서론 - 축구 분석에서 '데이터'란 무엇인가?

인력 vs. 센서 vs. 영상처리

스포츠에서 데이터를 수집하는 방법은 크게 3가지로 분류할 수 있다.

인력: 영상을 보면서 수작업으로 선수와 공의 위치, 플레이를 기록한다.
센서: 선수에게 GPS를 장착해 위치 정보, 속도 등의 데이터를 수집한다.
영상처리(영상분석): AI를 이용해 경기 영상에서 선수와 공의 위치, 이벤트 정보를 자동으로 추출한다.

각각의 장단점을 정리하면 다음과 같다.

방법론적 측면	비용	정확도	실시간성	상대팀 정보 획득	획득 가능한 데이터
인력	✗	◯	✗ ◯	◯	이벤트 데이터만
센서	✗	센서	센서	✗ ◎ ◎	추적 데이터만
이미지 처리	◯	◯~◎	△~◯	이미지 처리	트래킹 데이터 + 이벤트 데이터

영상처리(영상분석)는 정확도를 추구하면 처리 시간이 길어지고, 반대로 실시간성을 높이면 정확도가 떨어지는 트레이드오프가 있다. 하지만 상대팀의 데이터를 획득할 수 있어 트래킹 데이터와 이벤트 데이터를 모두 얻을 수 있다. 또한, 비디오 분석가가 영상을 촬영하는 것을 고려하면 실제로는 가장 유연하고 현실적인 방법이라고 할 수 있습니다. 정확도도 매년 향상되고 있으며, Playbox가 영상 분석에 집중하고 있는 것도 이러한 이유에서다.

센서 방식(GPS)은 가속도 센서 등도 내장되어 있고, 최근에는 오차도 1미터 이내로 좁혀지는 수준까지 개선되고 있다. 영상 분석과 함께 활용하는 것이 가장 이상적이지만, 상대팀 데이터를 얻을 수 없다는 점과 장착 및 관리 등에 의외로 많은 시간과 비용이 소요된다는 단점이 있다. 또한 패스나 슛과 같은 이벤트 데이터는 수집할 수 없습니다.

축구 분석에 사용할 수 있는 영상의 종류

축구 분석에 사용할 수 있는 영상에는 크게 다음 세 가지 종류가 있습니다.

방송 영상: TV 중계 등으로 일반에 널리 공개된 영상. 카메라 전환이나 줌이 많아 분석에 많은 노력이 필요하지만, 접근이 용이하다는 장점이 있다.

프리미어 리그의 한 경기 스크린샷. 인용 출처는 여기** 트윗. **고정 카메라 영상(Playbox)

고정 카메라 영상(Playbox가 주로 다루는 방식): 간단한 카메라 셋업으로 경기장 전체를 항상 촬영하는 방식. 영상이 안정적이고 분석하기 쉬운 반면, 경기장 전체를 촬영하기 때문에 선수 개개인의 해상도가 거칠고, 등번호 인식 등 세밀한 분석에 어려움이 있다.

Playbox의 카메라 장치로 촬영할 수 있는 고정 카메라 풀피치 영상 예시. 자세히 보기 .
드론 영상: 상공에서 넓은 범위를 촬영할 수 있어 전술 분석에 적합하지만, 비용이 비싸고 법적 제약이 있다.

필자의 석사과정 연구로 피치 상공에서 촬영한 영상을 포함한 데이터 세트를 만들었습니다. 사람의 위치는 알 수 있지만, 누군지는 알 수 없죠. 참고로 이 데이터 세트는 Kaggle에서 다운로드할 수 있습니다.

영상에서 얻을 수 있는 데이터의 종류

영상에서 얻을 수 있는 주요 데이터는 크게 두 가지입니다.

트래킹 데이터: 선수와 공의 위치, 이동 속도, 이동 거리 등.
이벤트 데이터: 패스, 슛, 드리블 등 경기 중 일어나는 구체적인 플레이.

이를 조합하여 전술의 세부 분석, 선수 개인별 경기력 평가 등 다양한 용도로 활용할 수 있다.

방송 영상을 선택한 이유

이번에 분석 대상으로 삼은 경기(일본 대표팀의 월드컵 예선)는 현지에 가지 않았기 때문에 일반에 공개된 방송 영상만 접할 수 있는 상황이었다. 이러한 공개 영상을 분석하여 기사화하는 것 자체는 문제가 없음을 신문사에도 확인했지만, 해당 영상을 데이터화하여 상업적으로 활용할 수 있는지는 현재로서는 판단하기 어려운 상황입니다. 왜냐하면 Playbox에서는 팀으로부터 직접 영상을 제공받아 분석하여 결과를 돌려주는 방식을 취하고 있기 때문에 아직 이 문제에 직면하지 않았기 때문입니다.

다만 최근 '유튜브에 실제 경기 영상을 올릴 수 없으니, 영상에서 얻은 데이터를 활용해 경기 상황을 애니메이션으로 제작해 전달하고 싶다'는 문의를 종종 받고 있습니다. 이 부분에 대해서는 법적으로 회색지대가 있기 때문에 조만간 변호사와 상의해 명확하게 흑백을 가리고자 합니다.

참고로 ChatGPT에 물어보니,

"영상 자체에 저작권이 있는 경우, 그 영상을 바탕으로 만든 데이터나 애니메이션도 '2차적 저작물'로 간주될 수 있습니다. 따라서 상업적 이용을 할 경우에는 저작권자의 허락을 받는 것이 바람직하다"고 조언했다. 단, 영상에서 추출한 데이터가 '저작물성이 없는 사실정보'로 판단되는 경우에는 허락을 받지 않아도 되는 경우도 있습니다. 구체적인 사례에 따라 판단이 달라질 수 있으므로 전문가와 상담하는 것을 추천합니다."

라고 하셨습니다. 네, 전문가와 상담하겠습니다.

다음 장에서는 구체적으로 방송 영상에서 어떻게 데이터를 추출하는지, 그 과정을 자세히 설명하겠습니다.

2. 방송 영상에서 경기 데이터 추출하는 방법

보통 선수들의 트래킹 데이터를 얻기 위해서는 경기장에 전용 카메라를 여러 대 설치하거나, 선수들의 유니폼 색상과 등번호를 미리 시스템에 등록하는 등 여러 번 번거로운 과정을 거쳐야 한다.

하지만 이번과 같이 나중에 일반에 공개된 방송 영상만으로 분석하는 경우에는 이러한 사전 준비가 전혀 불가능합니다. 즉, '특정 영상만'을 가지고 AI가 얼마나 정확하게 선수와 공을 추적할 수 있느냐가 관건입니다.

이미 이를 실현하고 있는 회사도 여러 곳 존재합니다. 예를 들어 SkillCorner라는 회사는 방송 영상만으로 경기 상황을 실시간으로 재현하는 기술을 가지고 있는 것 같습니다.

경쟁사라고는 하지만, 너무 멋있어서 소개해드렸는데요, Playbox에서도 조만간 이런 일이 가능해질 예정이니 기대하셔도 좋을 것 같습니다!

이렇게 방송 영상만으로 '누가' '어디에' 있는지 추출하는 기술을 Game State Reconstruction(GSR, Game State Reconstruction) 이라고 합니다. '무엇을 하고 있는지'(패스나 슛 등)를 자동으로 감지하는 Action Spotting, 특히 공과 관련된 것을 Ball Action Spotting(BAS)이라고 합니다.

Game State Reconstruction (GSR)

GSR은 영상에서 선수와 공의 위치 정보를 추출하여 경기 상황을 재현하는 기술이다.

일본어로 상세하게 정리한 moai510님의 아래 블로그가 참고가 될 수 있습니다.

논문으로 공개된 최첨단 기술(State-of-the-Art, SOTA)은 2025년에 발표된 논문 "From Broadcast to Minimap: Unifying Detection, Tracking, and Calibration for Real- Time Game State Reconstruction" 입니다. From Broadcast to Minimap: Unifying Detection, Tracking, and Calibration for Real-Time Game State Reconstruction" 에 소개된 바 있다. 이 방법은 YOLO-v5m, SegFormer, DeepSORT와 같은 오픈소스 AI 기술과 자체 데이터셋(비공개)을 결합해 실시간에 가까운 속도로 경기 상황을 재현할 수 있다고 보고하고 있다.

하지만 이번 기사에서는 이 구체적인 기술에 대한 자세한 설명은 생략한다. 왜냐하면 Playbox 내부에서 이 기사의 기술에서 한 단계 더 발전된 최신 GSR 기법을 개발하고 있으며, 완전히 개방된 데이터 세트를 사용하여 위의 최첨단 기법과 거의 동일한 정확도를 달성했기 때문입니다! 자세한 설명은 조만간 별도의 기사로 공개할 예정이니 기대해 주세요!

따라서 이번 글에서는 GSR의 기본적인 이미지만 간략하게 전달해 드리겠습니다.

대략적인 흐름은 다음과 같습니다:

방송 영상에서 각 선수와 공을 AI가 감지하여 트래킹 (이미지 왼쪽 하단과 같이 선수와 공을 감지)
AI가 경기장의 선과 특징점을 감지하여 영상상의 위치 정보를 경기장의 절대 좌표로 변환(이미지 왼쪽 상단과 같이 카메라 보정 실시)
이를 조합하여 영상 속 선수 위치를 피치 위의 정확한 위치로 재현할 수 있다(이미지 오른쪽과 같이 피치 전체 그림으로 변환).

위 이미지의 예는 방송 영상에서 획득한 선수의 위치 정보(왼쪽 아래)를 바탕으로 피치 좌표를 추정(왼쪽 위)하고, 최종적으로 피치 전체의 조감 위치 정보로 시각화하고 있다(오른쪽 그림). 이 외에도 등번호, 역할, 팀을 인식하는 경우도 있지만, 이것이 GSR의 기본 구조입니다.

Ball Action Spotting (BAS)

GSR이 선수와 공의 위치를 재현하는 기술이라면, BAS(Ball Action Spotting) 는 공과 관련된 패스, 슈팅, 드리블 등의 '이벤트'를 영상에서 감지하는 기술입니다. 현재 가장 앞선 기술은 2024년에 발표된 T-DEED라는 기술로, T-DEED는 영상만으로 12가지 이벤트를 1초 이내에 73.4%의 정확도로 정확하게 감지할 수 있다고 한다(자세한 내용은 T-DEED 논문 참조).

이번 신문 기사에서는 30초 정도의 짧은 영상 몇 개만 분석했기 때문에 굳이 AI로 자동화할 필요 없이 사람이 직접 이벤트를 추출했다. 그쪽이 더 빠르고 정확하더라고요ㅎㅎㅎㅎㅎㅎ.

그래도 Playbox 본체 제품에서는 이 BAS와 같은 이벤트 감지 기술도 착실히 개발 중입니다. 다만, 그쪽은 주로 풀 피치 영상을 전제로 하고 있기 때문에 이번과 같은 방송 영상에는 아직 그대로 적용하기에는 무리가 있습니다. 이 부분에 대한 이야기도 추후에 다시 공개하도록 하겠습니다.

GSR과 BAS의 기술을 결합하면 '누가', '어디서', '무엇을' 했는지에 대한 분석에 필요한 데이터를 확보할 수 있고, 보다 고도화되고 심도 있는 분석이 가능해집니다.

데이터 추출의 과제와 Playbox의 솔루션

AI를 통한 데이터화의 한계 - 어디까지 자동화할 수 있을까?

GSR, BAS 등 영상 분석 기술은 나날이 발전하고 있지만, 여전히 해결해야 할 몇 가지 과제가 남아있다. 특히 방송 영상을 사용하는 경우 다음과 같은 문제점이 두드러집니다.

잦은 카메라 전환
- TV 중계에서는 카메라가 자주 바뀌기 때문에 같은 선수를 안정적으로 추적하는 것이 쉽지 않다.
영상 해상도 및 화각의 변화
- 선수가 갑자기 카메라 프레임 밖으로 나가거나 줌이나 패닝으로 시점이 이동하면 선수와 공을 정확하게 추적하는 것이 어려워집니다.
선수들 간의 겹침(오클루전)
- 선수들끼리 겹치거나 심판, 스태프 등이 시야를 가릴 경우 AI가 정확하게 인식하기 어려워진다.
날아가는 공의 위치 파악
- 선수는 기본적으로 지상에 있지만, 공중에 있는 공은 2차원 영상만으로는 정확한 위치를 추정하기 어렵다.

실제로 이번 기사를 위해 사용한 짧은 클립 영상에서도 AI가 선수의 위치나 등번호를 완전히 인식하지 못해 결국 일부분은 사람의 눈으로 확인하고 수정했다(이벤트 감지에 대해서는 완전히 수작업으로 진행되었다). 하지만 세상에는 AGI나 완전 자동 운전과 같은 어려운 문제를 열심히 풀려고 노력하는 사람들도 있습니다. 그에 비하면 축구 영상 데이터화 같은 건 여유가 있을 것 같은데, 열심히 해보겠습니다.

법적 유의사항과 영상 활용의 과제

서두에서도 언급했지만, 기술적인 문제와는 별개로 영상을 활용한 데이터화에는 법적인 문제도 존재합니다.

혹시 이 부분에 대해 잘 아시는 분이 계시면 연락을 주시면 감사하겠습니다!

정리 - 축구 분석은 '데이터 수집'이 출발점이다.

지금까지 축구 분석에 있어 영상에서 경기 데이터를 수집하는 방법과 그 과정에서의 문제점과 해결방안에 대해 알아보았습니다.

축구 분석의 시작은 좋은 데이터를 수집하는 것에서 시작되며, Playbox는 이 데이터 수집을 점점 더 자동화하여 더 많은 팀과 선수들이 쉽게 양질의 분석을 활용할 수 있는 세상을 목표로 하고 있습니다.

이번 내용이 축구 분석에 대한 여러분의 이해와 관심을 높이는 데 도움이 되었기를 바랍니다!

다음 시간에는 시리즈 2편으로 이번에 수집한 데이터를 어떻게 구체적인 분석에 활용할 수 있는지 xG(기대골 값) 와 VAEP(플레이 평가 지표) 라는 지표를 통해 자세히 설명해 드리겠습니다!

주식회사 Playbox 홈페이지 👉️ https://www.play-box.ai/

자동 촬영 및 편집이 가능한 합리적인 가격의 AI 스포츠 카메라 'playbox' 👉️ https://www.play-box.ai/lp

문의 및 문의처

Playbox에 대한 질문이나 상담, 사업 제안 등 궁금한 점이 있으시면 언제든지 아래 메일로 연락 주시기 바랍니다.

📩 atom@play-box.ai

<축구 분석의 비하인드 스토리: 1부> 방송 영상에서 경기 데이터를 얻는 방법 (1)

서문