일반 상식 기반 기계 독해를 위한 Type-specific 다중 헤드 공유 인코더 모델

Abstract

기계 독해는 주어진 컨텍스트를 기반으로 다양한 문제를 해결함으로써 기계의 자연어 이해를 평가할 수 있도록 도입된 태스크이다. 기계의 자연어 이해 평가를 위해서는 주어진 맥락을 완전히 이해한 상태에서 상식적인 추론이 가능해야 한다. 이러한 추론이 가능하도록 본 연구에서는 일반 상식 기반 기계 독해를 위한 멀티-태스크 학습 방법과 모델을 제안한다. 연구의 기여는 다음과 같이 요약된다: 1) 일반 상식 기반 기계 독해 기술 학습을 위한 태스크 유형별 데이터셋 구성 방법을 제안한다. 2) 상식 학습이 가능한 Type-specific 다중 헤드 공유 인코더 모델을 포함해 멀티-태스크 학습 방법과 배치 샘플링 기법을 제안한다. 3) 제안된 방법을 CosmosQA데이터셋에 평가했을 때 기존 베이스라인 모델보다 2.38% 향상된 성능을 보인다.