도시에서 차량을 주행하는 게임이나 가상환경에서는 플레이어의 주변 NPC 차량은 개발자가 정해둔 규칙에 따라 수동적으로 움직인다. 또한, 플레이어의 움직이나 행동에 따라 수동적으로 움직이며, 이러한 기계적인 움직임은 NPC들을 단순한 게임의 배경 요소로만 인식하게 된다. 대부분의 이러한 게임에서 NPC들과 다르게 플레이어는 빠른 이동을 위해 ‘무법적’으로 주행을 한다. NPC들의 차량도 플레이어의 움직임처럼 무법적으로 움직이며, 능동적인 움직임을 구현한다. 이를 통해 플레이어가 NPC를 단순히 가상의 배경이 아닌, 하나의 능동적인 객체로 인식을 하여 게임과 가상 환경의 역동성을 높히고자 한다.
율 주행 환경 구성에는 오픈소스 자율주행 시뮬레이터인 carla(https://carla.org/)를 활용한다. Unreal 엔진을 통해 물리적 환경을 실행할 수 있으며, python을 통해 명령을 전달할 수 있다. 이를 통해 차량의 이동, 회전, 위치 정보 등을 받아온다. 받아온 정보는 차량의 ‘상태’가 된다. ‘상태’를 보고 어떤 ‘행동’을 해야 할지 ‘정책’을 정하고, 이를 수행한다. 이에 따라 변화하는 환경에서 ‘보상’을 얻는다. 강화 학습은 ‘상태’ -> ‘행동’ -> ‘보상’을 반복하며 어떤 ‘정책’을 수행해야 좋은 보상을 얻는지를 학습한다. 강화학습 모델은 DQN 구조로 구현을 하였으며, ‘행동’으로는 차량의 엑셀 값, 핸들 값, 브레이크 값을 가진다. 차량이 이동한 거리, 차량의 속도, 충돌 여부, 도로에서 벗어난 정도를 계산하여 ‘보상’을 정한다. 정책 학습에는 Deep Neural Network 구조를 사용하였다.