온라인 게임에서의 모방학습을 이용한 강화학습 탐색 장치 및 그 방법

초록

강화학습은 기계 학습의 한 분야로 상태(State)에서 에이전트가 수행한 행동(Action)에 따라 보상(Reward)을 받고 이러한 보상이 최대가 되는 정책(Policy)에 따라 의사 결정을 한다. 학습 초기에는 입실론의 확률이 크기 때문에 랜덤 행동으로 학습한다. 하지만 초기에 랜덤으로 학습하게 되면 최적이 아닌 행동도 섞여 있어서 학습 시간이 걸리는 문제가 발생한다. 따라서 강화학습에서 초기에 발생하는 탐색 문제를 해결하기 위한 방법이 필요하다. 모방학습은 전문가의 행동을 따라하는 방식으로 학습한다. 다양한 상태에 따른 전문가가 결정한 행동을 데이터로 기록하고 분석해서 학습을 위한 데이터로 사용하여 활용한다. 모방학습의 경우에도 모든 경우에서의 전문가의 행동 결정 데이터를 수집해야하기 때문에 상태 공간이 클 경우 학습이 불가능하다. 즉, 데이터에 존재하지 않는 새로운 상황을 마주쳤을 때 학습하기 위한 방법이 필요하다. 본 발명은 다양한 상태에서 모방학습을 수행할 발생되는 상태 공간 문제를 완화하고, 모방학습을 이용하여 강화학습에서의 탐색 문제를 해결함으로써 강화학습의 성능을 높일 수 있도록 한다.