텍스트 마이닝에 의한 문학 작품 분류

Abstract

본 연구는 빅데이터(Big Data) 중 하나인 구텐베르그 프로젝트(Project Gutenberg)에 등록되어 있는 문학작품들을 수집해서 텍스트 마이닝 기법에 의한 계량적 텍스트 분석(quantitative text analysis)을 활용하여 문학작품을 분류하는 방법을 소개하는 데에 목적을 두고 있다. 수집된 작품들을 프로그래밍 언어 R을 이용하여 전처리 과정을 한 후, 작품 내의 쳅터(chapter) 간 코사인 유사도와 서로 다른 작품의 쳅터 간 코사인 유사도에 의한 분류를 진행하였다. 동일한 소설 내의 쳅터들 간의 코사인 유사도는 상대적으로 높게 나타나지만 서로 다른 작품의 쳅터들 사이의 코사인 유사도는 대체로 낮은 결과를 보였다. 또한 기계학습(machine learning)의 방법 중 비지도 학습(unsupervised learning)의 군집(clustering) 분석에서 의미적 거리에 의하여 작품 내의 쳅터들의 강한 응집력으로 작품들이 분류되었고, 지도 학습(supervised learning)의 분류(classification) 분석에서도 작품들 간의 분류에서 높은 정확도를 보였다. 또한, 본 연구에서는 아동소설이 쳅터 간에 코사인 유사도 값이 크고 의미적 거리가 작아서 읽기 쉬운 작품으로 분류될 수 있다는 것을 확인하였다. 따라서, 텍스트 마이닝 기법에 의한 계량적 텍스트 분석은 질적 텍스트 분석을 수행하는데에 밑거름이 될 것으로 본다.