푸리에 도메인에서 합성곱 네트워크와 주목 메커니즘을 이용한 스켈레톤 기반 행동 인식

Abstract

본 논문에서는 RGB-D 카메라로 취득한 영상의 스켈레톤 기반 행동 인식 기법을 제안한다. 스켈레톤의 각 관절을 노드로 하고 관절 간 연결 정보를 활용하여 그래프를 형성한다. 형성된 그래프의 라플라시안 행렬을 이용해 그래프 신호의 푸리에 변환을 정의한다. 푸리에 도메인에서 정의된 신호를 바탕으로 그래프 합성곱 네트워크와 풀링 계층을 이용하여 스켈레톤의 기하학적 특징을 추출한고 GRU를 통해 시간적 특징 또한 추출한다. 제안하는 주목 메커니즘을 적용하여 각 프레임별 중요도를 계산하고, 이를 이용해 최종 특징을 추출한다. 실험 결과 제안 기법이 우수한 성능을 보임을 확인한다.