ScholarWorks@동국대학교

초록

최근 대규모 언어모델(Large Language Model, LLM)은 자연어 처리의 비약적인 발전으로 다양한 교육 현장에서 활용 되고 있다. 특히 검색 증강 생성(Retrieval-Augmented Generation, RAG) 기술은 대규모 언어모델이 보유하지 않은 최신 정보나 특정 도메인 지식을 외부 문서에서 실시간으로 검색하여 활용함으로써, 더욱 정확하고 신뢰할 수 있는 답변을 생 성할 수 있게 한다. 그러나 대규모 언어모델을 직접 사용하는 방식은 높은 비용 부담과 개인정보보호 문제로 인해 교육기 관에서 활용하는데 제약이 따른다. 또한 교육기관의 문서들은 입시 모집요강이나 학사제도 안내서처럼 도메인에 특화 되 어 있으며, 복잡한 표나 이미지가 포함된 구조화된 정보가 풍부하다는 특징이 있다. 기존 일반적인 대규모 언어모델 기반 챗봇은 몇 가지 한계를 가진다. 첫째, 전형일정이나 모집단위와 같이 셀이 병합되고 복잡한 표 형태로 정리된 정보를 정확 하게 추출하는 능력이 미흡하다. 둘째, 장･절･ 하위 절로 구성된 긴 문서에서 필요한 단락만 정확히 찾아내지 못하는 단점 이 있다. 또한 매 질의마다 수백 또는 수천개의 토큰을 재처리해 비용이 많이 발생하는 한계를 가진다. 이러한 문제점을 해결하기 위해 본 연구에서는 소규모 언어모델(Small Language Model, SLLM)과 RAG를 결합한 방법을 제안한다. 섹션 기반 문서 파싱 기법을 통해 문서를 체계적으로 분석하고, 복잡한 표 형태의 데이터를 소규모 언어모델이 정확하게 처리 할 수 있는 방법을 제시함으로써, 유료모델에 대한 경제적, 기술적 대안을 마련하고자 한다

키워드