노래 가사의 감정 단어 기반의 무대 배경 이미지 스타일 변형 방법

Abstract

최근, 컴퓨터 기술의 발전으로 딥러닝은 인간 고유의 능력인 창의성을 필요로 하는 예술 분야까지 확장하였고, 컴퓨터가 예술에서 표현하는 인간의 감정을 이해하고 데이터로 처리하기 위한 프로세스를 필요로 한다. 예술 분야는 다양한 산업 분야와 접목하고 있는데, 그 중에서 시각적 이미지를 창출하는 무대 예술에서 인공지능이 사용되고 있다. 기존 노래 무대의 배경 이미지는 노래에서 표현되는 감정을 컴퓨터가 데이터로 처리하기 복잡하기 때문에, 사람이 직접 노래 무대 배경 이미지를 설계하였다. 최근에는 인공지능이 사람을 대신하여 무대 배경 이미지를 설계할 수 있도록 무대 배경 이미지에 관한 연구가 진행되고 있지만, 노래 가사에 담겨 있는 감정을 무대 배경 이미지에 반영하는 연구는 진행되지 않았다. 본 논문은 감정을 무대 배경 이미지에 반영하기 위한 스타일 변형 방법을 제안한다. 첫 번째, 노래 가사에서 순차적으로 단락을 도출하고 각각의 절과 코러스에 포함된 감정 단어를 추출한다. 두 번째, 노래 가사에서 추출한 감정 단어들의 비율을 계산하고, 사전에 수집한 감정 단어들을 표현한 이미지 데이터세트에서 해당 비율과 가장 유사한 비율을 가진 이미지를 검색한다. 마지막으로 각 절과 코러스마다 감정 이미지의 스타일을 무대 배경 이미지에 적용한 이미지를 도출한다.