동영상 압축에서의 고속 움직임 예측
박상효 (연세대학교 바른ICT연구소 연구교수)
동영상 압축에서의 움직임 예측(Motion estimation) 기술은 시간적으로 상관이 있는 프레임 간에서 블록을 예측하는 기술로서, 압축률에서와 계산 복잡도 측면에서 결정적 영향을 끼친다. 이로 인하여 고속 움직임 예측 알고리즘은 비디오 부호화기(Encoder)에서의 복잡도(Complexity)를 줄이기 위한 연구들의 중심이 되어 왔다. 또한, 고속 움직임 예측 알고리즘 관련 연구는 기존 압축률을 최대한 보존하는 것을 함께 고려해왔다. 그러나 이러한 움직임 예측의 복잡도는 HEVC 코덱에서 훨씬 많이 증가했는데, 이는 AVC/H.264 코덱보다 두 배의 압축률을 만족시키기 위해 다양한 변화들을 수용했기 때문이다. 일례로, HEVC 코덱은 AVC/H.264에 비해 더 많은 움직임 파티션(Motion partition), 더 많은 움직임 방향(Motion direction), 그리고 더 정교한 움직임 정확도(Motion Accuracy)를 채용하였다. 게다가, 본 그림에서 나타나는 바와 같이, 최근에는 비디오 해상도가 급격히 증가한 것을 고려할 때, 움직임 예측의 복잡도는 분명 해결해야 할 문제라 할 수 있겠다.
HEVC의 복잡도를 경감시키기 위해서, 본 연구자는 상기 서술한HEVC의 다양한 변화들을 고려하는 움직임 예측 생략 전략을 제안한다. 이는 양방향 움직임 예측(Bidirectional motion estimation)을 생략하는 전략으로써, 대부분의 압축률에 비효율적인 검색 지점을 피하고자 한다. 특히, 단방향 움직임 예측(Unidirectional motion estimation)에는 없는 추가적인 보간 절차(interpolation process)로 인한 높은 계산 복잡도를 가지고 있는 양방향 움직임을 위한 검색지점(Search Point)을 피하는 것을 목표로 한다. 본 제안 방법은 예측 유닛(Prediction unit, HEVC의 특별한 특징 중 하나)의 문맥에 담긴 통계적 상관관계를 활용하여, 어떤 양방향 움직임 예측이 치명적인지 아닌지를 결정한다. 이러한 제안 전략을 활용하면, HEVC의 저복잡도 부호화(Low-complexity encoding)가 가능하고, 압축 성능도 합리적으로 유지할 수 있다고 본다.
본 움직임 예측 생략 전략의 성능을 증명하기 위하여, 다음의 복잡도 측정방식을 주의 깊게 선택하였다. 이는 관련 함수 호출 횟수, 실행 시간, 메모리 접근 횟수이다. 실험결과를 통해서, 제안된 양방향 움직임 예측 생략 전략이 양방향 예측 시간 복잡도를 평균적으로 30%로 줄일 수 있음을 보였으며, 또한 다른 기존 방법들과 비교할 때, 부호화 시간이나 함수 호출 횟수나 메모리 접근 측면에서도 모두 제안 기술이 더 우수함을 보였다. 그러므로, 본 연구자가 제안한 두 움직임 예측 전략은 저복잡도 HEVC 부호화기에 고려되어야 한다고 본다. 특히 실시간 방송 시스템이나 감시 카메라 어플리케이션 및 (전력 공급이 제한되는)모바일 비디오 부호화 장치를 위한 저복잡도 HEVC 부호화기를 구현함에 있어서 본 제안 기술들은 심사숙고 될 필요가 있다.
본 연구는 다음 연구의 일부를 발췌한 것임을 밝힌다 : [1] S. Park, S. Lee, E. S. Jang, D. Jun, J. –W. Kang, “Efficient biprediction decision scheme for fast high efficiency video coding encoding,” J. Electron. Imaging, 25(6), pp. 063007 (2016), [2] S. Park, “Motion Estimation Skipping Strategies for Low-Complexity HEVC Encoding,” PhD dissertation, Dept. Computer Science, Hanyang Univ., Seoul, South Korea (2017).
