효율적인 그래디언트 계산을 이용한 이진 뉴럴 네트워크 학습 방법

Abstract

본 발명은 학습 가능한 이진 뉴럴 네트워크를 구현하되, 부호 함수 근사 기법이나 확률적 이진화 방법과 달리 그래디언트값 자체를 근사하여 효율적으로 계산하고, 그 값을 가중치들에 전달하여 학습하는 이진 뉴럴 네트워크의 학습 방법을 제시한다. 이는 양자화 된 값의 미분을 근사하여 계산하기 위해 보조 변수 값을 활용하는 Straight Through Estimator(STE) 방법에 기반을 둔 것으로, 이를 통해 부호 함수는 그대로 가중치를 이진화하여 적은 자원으로도 동작하면서도 이진화 없는 인공신경망 기반의 학습 모델을 사용할 때와 유사한 정확도를 지닌 알고리즘을 제시한다.