자연어 처리 Triple+ 추출을 이용한 진술 일관성 판별 정확도 연구

Abstract

성폭력 사건의 수사 및 재판 단계에서 피해자 진술의 신빙성 판단이 중요해짐에 따라 진술분석의 수요가 증가하고 있다. 피해자 진술의 일관성은 진술 신빙성 판단의 주요 기준 중 하나이다. 4차 산업혁명 시대에 점차 고도화되는 자연어처리 기술은 대화 내용을 분석하는데 확장되고 있는 점에 착안하여, 이 연구는 자연어 처리 기술인 Triple+ 추출을 적용한 진술 일관성 분석의 정확도를 확인고자 하였다. 이를 위해 진술분석 교육을 이수한 평가자가 57건의 실제 피해자 진술 녹취록에 대해 진술 일관성 분석을 실시한 후 Triple+를 이용한 진술 불일치 분석 결과와 비교하였다. 평가자의 분석 결과 확인된 18쌍의 비일관적인 문장들에 대한 Triple+를 추출하고 7가지 진술 불일치 유형으로 구분하였으며 유형별 진술 불일치 판단 규칙을 설정하였다. 분석 결과, Triple+가 평균적으로 77% 정확하게 진술 불일치를 판별하는 것으로 나타났다. 세부 유형별로는, 방향, 시점, 행동 주체 유형은 100%, 내용 부정 유형은 75%, 장소 유형은 66.7%, 사건의 순서, 피동․능동 유형 판별은 50%의 정확도로 나타났다. 또한, 무작위로 선정된 32쌍의 일관적인 문장에 대한 판단에서는 93.8%의 판별 정확도를 보였다. 이러한 연구 결과는 Triple+을 이용한 자동적 진술 불일치 판별은 진술분석의 보조도구로서 효율성을 높일 수 있을 것으로 기대된다. 인공지능 진술분석에 필요한 현존하는 자연어 처리 기술의 한계와 향후 연구의 방향에 대해서도 논의하였다.