[한국기술뉴스] 이전에 케이블 TV의 실시간 방송 영상을 시청하던 시대에서 벗어나 다시보기와 요약본 등 다양한 방식으로 영상 컨텐츠를 소비하는 양상이 생겨나고 있다. 이에 수동적인 시청을 넘어 능동적인 참여를 원하는 소비자의 수도 증가하고 있다. 

이러한 수요를 반영하여 서강대학교 영상대학원 이상욱 교수 연구팀과 중부대학교 임지아 교수 연구팀이 AR 댄스 어플리케이션을 제작하였다. 이는 K-Pop 가수의 노래를 감상하면서 관객이 동작으로써 아바타의 동작을 컨트롤하여 새로운 컨텐츠를 만들 수 있는 어플리케이션이다.

연구팀은 부피를 기반으로 섬세한 움직임을 녹화하여 이를 디지털 캐릭터의 움직임으로 표현하는 기법(Volumetric Performance Capture)을 이용하였다. RGB와 IR 비디오 카메라로 K-Pop 가수의 움직임을 녹화하고 화질을 3D 비디오 포맷으로 압축하였다. 다중 모달, 다 시점의 스테레오 융합 RGB와 IR비디오 카메라, 두드러지는 부분을 자동으로 감지하여 그물 모양으로 표현하는 기술, 그리고 이를 MPEG 비디오 스트림으로 표현함으로써 생동감을 높였다. 또한 수많은 실험을 통하여 위치적 정확성과 고른 표면을 구현하여 화면의 실제감을 높일 수 있었다. 

개발된 어플리케이션에는 그물 표식이 없이 캐릭터를 표현할 수 있는 ARCore를 이용하였다. ARCore는 구글 플레이스토어에서 제공하는 AR 개발을 위한 앱이며 평평한 물체의 표면의 크기와 위치, 밝기를 측정해 디지털화하여 구현한다. ARCore는 4D 모델을 이용하는 증강현실 엔진인 Unity와 통합되었으며, 안드로이드 휴대폰으로 실행될 수 있다.

‘메이젠’은 해당 기술을 이전 희망하였으며, 2021년 12월 서강대학교 산학협력단과 ‘아바타 댄스 AR앱 개발 노하우 기술 이전’ 계약을 체결하였다.

연구팀이 개발한 기술은 사용자 체험 중심의 부가 컨텐츠를 만들고 소통하는 도구가 될 수 있을 것이다. 시청자가 스마트폰으로 참여하여 아바타 댄스를 가능하게 함으로써 이를 방송영상과 합성하여 새로운 영상을 만들어내고 소통하여 방송의 시청률과 활용성을 높일 수 있을 것으로 기대된다.