동적 메모리 기반의 캡슐 신경망을 이용한 Few-Shot 텍스트 분류 장치 및 그 방법

Abstract

본 발명은 BERT의 효율적인 활용을 위해 추가 사전학습과정을 실시하고, 미세조정(fine-tuning)시 일부 파라미터만을 제한적으로 학습하며, 동적 메모리 기반의 캡슐 신경망을 이용해 도메인이 서로 다른 태스크에 대해서도 일반적으로 적용될 수 있는 클래스 프로토타입인 메모리 프로토타입을 산출하고 이를 입력 데이터에 따라 현재 태스크의 클래스 프로토타입의 정보와 반영비율을 조절하여 Few-Shot 텍스트 분류를 수행하는 장치 및 그 방법에 대한 것이다. 본 발명은 이와 같은 방법을 통해 모델 학습에 필요한 파라미터의 개수를 감소시키고, Few-Shot 텍스트 분류를 위해 필요한 사전지식(prior knowledge)을 모델에 부여함으로써 Few-Shot 텍스트 분류 모델의 효율성 및 성능 향상을 제고한다.