경량 및 고용량 모델 내 파라미터의 가수부 및 지수부 값의 히스토그램 기반 비트 분할 압축에 따른 성능 분석

초록

최근 인공지능 기술의 발전으로 대규모 모델 개발이 활발해졌지만, 이러한 모델들은 자원이 제한된 모바 일 기기에서 활용이 어렵다는 한계가 있다. 이를 해결하기 위해 양자화(Quantization)와 프루닝(Pruning)과 같은 압축 기법들이 활용되며, 주로 부동소수점 값을 가지는 모델 파라미터들을 경량화하는 작업이 이루어진다. 따라서 부동소수점의 구성 요소인 가수부와 지수부 값들의 분포를 해석하고 이를 기반으로 경량화를 적절히 수행한다면 더욱 효과적인 최적화가 가능하다. 이러한 동기를 바탕으로, 본 연구에서는 주요 인공지능 모델들의 파라미터를 가수부와 지수부로 분할하여 히스토그램 분석을 수행한 후 비트 제거 기반 압축을 적용하고 성능을 평가하였으며, 지수부 비트 제거는 성능에 큰 영향을 미치며, 상대적으로 가수부 비트는 일정량 제거해도 성능 저하가 크지 않음을 확인하였다.