영화나 스포츠 중계 영상에서 인물들의 동작을 3차원으로 복원할 수 있는 인공지능(AI) 기술이 나왔다. 이 기술은 축구 오프사이드 판정 같은 스포츠 분석이나 영화나 게임 속 가상 캐릭터에 배우들의 동작을 완벽하게 입혀 거부감 없이 관람할 수 있게 해 줄 것으로 기대된다.
화면이 바뀌어도 같은 사람의 움직임을 이어 복원하는 멀티썸즈 기술 장면 전환(Shot #1 → Shot #2)이 포함된 입력 영상(위) 전환 직전·직후 화면으로 만든 공유 3D 공간(초록 테두리)에 두 샷의 사람과 카메라를 정렬한 뒤 영상 전체로 전파한 결과. 같은 색은 같은 사람을 뜻하며 장면이 바뀐 뒤에도 각 사람의 신원과 이동 궤적(노란 점선 화살표)이 이어진다(아래).
UNIST 제공
울산과학기술대(UNIST) 인공지능대학원, CJ주식회사 AI/DT 부문, 영국 버밍엄대 공동 연구팀은 영상에서 여러 사람의 3D 몸 형상과 움직임을 일관되게 추적해 인식 오류를 줄인 3차원 인체 복원 AI 기술 ‘멀티썸즈’를 개발했다고 15일 밝혔다. 이번 연구 결과는 스웨덴 말뫼에서 열린 컴퓨터 비전 분야 국제 학술대회 ‘유럽컴퓨터비전학회’(ECCV 2026)에서 발표됐다.
기존 AI 복원 기술은 여러 각도에서 줌인, 줌아웃한 컷들을 이어 붙인 영화나 드라마, 스포츠 중계를 복원하기가 쉽지 않다. 정면으로 보이던 사람이 옆모습으로 나타나면 다른 사람으로 인식하거나 화면 속 위치 변화를 실제로 이동한 것으로 잘못 해석해 복원한 인물이 엉뚱한 위치로 옮겨지기도 한다.
이번에 개발한 멀티썸즈는 3차원 인체 복원에 인공지능 기술을 적용함으로써 여러 카메라의 원본 영상이나 촬영 정보를 모두 확보하지 못해도 일반 영상 하나로 3차원 복원이 가능하고 촬영 각도가 변하고 클로즈업 화면으로 전환된 영상을 이어 붙일 때도 복원 오류를 줄일 수 있게 해 준다.
이를 위해 멀티썸즈에는 화면 전환 전후 두 이미지에서 공유 3D 공간을 만드는 기술이 적용됐다. 3D 장면 복원 AI로 두 화면 속 배경과 카메라 위치를 같은 좌표계에 복원한 뒤 각 장면의 사람 3D 모형을 이 공간에 단계적으로 맞춰 배치하는 방식이다. 이 공간을 기준으로 장면 전후의 인물들이 얼마나 가까운지, 옷차림과 자세가 얼마나 비슷한지를 비교해 같은 사람을 찾아 연결하고, 이렇게 맞춘 공간 기준을 같은 장소를 촬영한 영상 구간 전체에 적용하고 움직임을 매끄럽게 다듬는 것이다.
사람들의 동작을 여러 대의 카메라로 촬영한 테스트 영상인 ‘에고휴먼스’에 장면 전환 편집을 적용했을 때 멀티썸즈는 영상 전체 기준 관절 위치 오차가 비교 기술 중 가장 낮았다. 차순위 기술인 GVHMR과 비교해 약 31% 줄었으며 같은 사람을 다른 사람으로 인식하는 신원 전환 오류도 약 62% 감소했다. 인물의 3차원 위치를 정확히 복원하는 데 필요한 카메라 위치 추정 오차도 절반으로 감소했다.
실제 장면 전환이 담긴 영화 장면 데이터(AVA)와 시트콤 ‘프렌즈’, ‘빅뱅이론’ 영상에 멀티썸즈를 적용해 분석한 결과 장면 전후 관절 위치가 맞아떨어지는 비율은 90.7%로 비교 기술(62.7%)보다 높았으며 동작이 떨리는 현상은 약 5분의 1로 줄고, 발이 바닥에서 미끄러지는 현상은 절반 이하로 감소했다.
백승렬 UNIST 교수는 “우리가 보는 영상 대부분은 여러 장면을 이어 붙여 만들어지는데 지금까지의 3D 인체 복원 기술은 장면이 바뀌는 순간 사람을 놓치곤 했다”며 “이번 기술로 영화·방송·스포츠 중계 같은 편집 영상에서도 여러 사람의 움직임을 3D로 이어서 복원할 수 있어 스포츠 분석과 가상·증강현실(VR·AR) 콘텐츠, 디지털 휴먼 제작 품질을 높이는 데 도움을 줄 것으로 기대한다”고 말했다.
