[한국기술뉴스] 서강대학교 컴퓨터공학전공 낭종호 교수 연구팀은 동영상에 등장하는 인물들의 얼굴을 인식할 수 있는 노하우를 개발하였다.

방송 채널의 다양화로 축구, 농구, 야구 등 국내외 스포츠 중계방송이 활성화되고 있으며, 초고속 인터넷망을 이용한 양방향 텔레비전 서비스 기술이 발전함에 따라 부가 서비스를 제공할 수 있는 기반이 만들어지고 있다. 특히 스포츠 중계방송계에서 실시간 채팅 기반으로 소통하는 콘텐츠의 요구가 증가하고 있다. 하지만 이를 위해서는 시청자들이 실시간으로 선수들의 정보를 파악할 수 있어야 하는데 현존하는 얼굴 인식 엔진은 학습데이터가 서양인이거나 일반적인 동영상에서의 얼굴 인식 엔진이기 때문에 움직임이 많은 스포츠 동영상에서 사용할 수 없다는 문제점이 있다.

연구팀은 국내 프로 축구단에 소속되어 있는 선수 500명에 대한 Web Crawling을 기반으로 얼굴 학습 데이터를 수집하여 인식 데이터베이스를 구축하였다. 이후 서양 인물 얼굴 인식 엔진인 Facenet의 Fine-Tunning을 통하여 국내 선수의 얼굴 인식 엔진을 개발하였다. 또한 동영상에서 프레임 추출기를 개발하기 위해 디지털 음성 스트림과 영상 스트림에 대해서 다양한 종류의 형태로 기록하고 변환하는 컴퓨터 프로그램인 ffmpeg을 이용하였다.  마지막으로 학습된 FaceNet을 이용하여 실시간으로 선수의 얼굴 이미지 특징을 추출 후 인식할 수 있는 엔진을 개발할 수 있었다.

해당 기술은 국내 축구 선수 500명 중 93% 이상의 얼굴을 정확하게 인식할 수 있다. 또한 얼굴 이미지 한 개당 50msec의 빠른 속도로 인식할 수 있다.

현재 ㈜액스콘에서는 스포츠 중계방송에 등장하는 선수에 대한 정보를 실시간으로 제공하는 “Action Sports” 서비스를 개발하고 있다. 이와 관련하여 낭종호 교수 연구팀의 얼굴 인식 엔진 개발 노하우를 통해 선수를 인식하는 주요 모듈을 개발하기를 희망하였다. 이에 따라 2020년 10월, ㈜액스콘은 서강대학교 산학협력단으로부터 ‘동영상 등장인물 검출을 위한 딥러닝 기반 얼굴 인식 엔진 개발 노하우’를 이전받았다.

해당 기술이 상용화된다면, 얼굴 인식 및 외부 데이터 연동을 통하여 영상에 나오는 선수의 정보를 실시간으로 파악할 수 있다. 이를 통하여 출전 선수의 정보를 외부 데이터와 연동하여 시청자에게 제공함으로써 시청자 간 실시간 소통을 도울 수 있어 시청자들의 수요를 충족시킬 수 있을 것으로 기대된다.