MLSQ: 멀티모달 기반 학습 자료 요약 및 문제 생성 시스템

초록

디지털 교육 환경의 보편화에 따라 다양한 멀티미디어 학습 자료가 활용되고 있으나, 이는 종종 학습자의 수동적인 정보 습득으로 이어지는한계를 가진다. 기존의 텍스트 기반 자동 문제 생성 기술 역시 이러한 한계를 극복하기에는 부족하다. 이에 본 연구는 동영상 강의와 서면 자료를통합 분석하는 멀티모달 기반 학습 자료 요약 및 문제 생성 시스템(MLSQ)을 제안한다. 이 시스템은 OCR과 STT로 추출된 데이터뿐만 아니라,강의 영상에서 탐지된 필기 정보를 핵심 강조점으로 활용하여 이 모든 데이터를 시간 정보를 기준으로 정밀하게 융합하고, 이를 대형 언어 모델(LLM)에 입력하여 학습 내용을 요약하며 주관식 및 객관식 문제를 자동 생성한다. 성능 평가 결과, 제안된 멀티모달 융합 방식은 단일 모달 방식 대비BLEU 점수에서 최대 3.4%p, ROUGE-L 점수에서 최대 3.1%p 향상된 성능을 보였다. 또한, 5점 척도의 사용자 만족도 평가(MOS)에서 음성 변환신뢰도 및 문제 생성의 학습 적합성 항목이 평균 4.33점을 기록하는 등 모든 항목에서 4.0 이상의 높은 점수를 획득하여 제안 시스템의 교육적실용성과 효과성을 입증하였다.