[프로젝트 개요]
- VR 은 궁극적인 미래 메타버스 생태계의 핵심 구성요소이며, VR 형태의 메타버스로 콘텐츠를 결합하여 그 시너지를 불러일으킴.
- 대학생의 일상에서 많이 접할 수 있는 친목 모임, 술자리에서 시뮬레이션을 하는 스토리로 공감 및 직접 체험을 경험할 수 있음
- 현실감을 느낄 수 있기 위해 VR 물리적 상호작용을 구현하여 적용함.
- 술 게임 컨텐츠 뿐만 아니라 술자리에서 겪을 수 있는 술자리싸움을 대비하여 강화학습을 통한 시뮬레이션 구현  
- 비대면, 대면 모두의 상황에서 적절하게 사용할 수 있음.

[프로젝트 컨텐츠]
<술게임 1>
'전국 노래 자랑' : 오프닝 소리에 맞춰 한 사람이 동작을 하면 다른 사람들이 같은 행동을 따라하도록 하는 게임이다. VR 컨트롤러를 이용해 물리 기반으로 물건과 인터랙션 게임을 진행한다.

<술게임 2>
'병뚜껑 게임' : AI와 순서를 돌아가며 병뚜껑의 꼭다리를 떼도록 손가락을 튕기는 게임이다. 마찬가지로 VR 컨트롤러를 이용해 게임을 진행할 수 있다.

<술게임 3>
'잔치기' : AI와 순서를 돌아가며 잔치기 게임을 진행한다. 잔을 한번치면 진행 방향 그대로 진행, 잔을 두번치면 점프, 세번치면 반대로 돌아가는 규칙을 가진다. 또한 VR 컨트롤러를 이용해 게임을 진행한다.

<강화학습을 통한 술자리에서 시비가 붙었을  경우 대처 시뮬레이션>
- VR 기기를 통해 메타버스를 접하는 만큼 평소 컴퓨터의 모니터 화면으로 봤을 때는 익숙하던 NPC들의 움직임이 눈앞에서 보면 단조로워서 가상현실에 몰입하는 것을 방해할 수 있다.
따라서 단조롭지 않은 자연스러운 반응을 만들기 위해 강화학습을 통해 애니메이션을 생성함.
- 강화학습 중에서 딥러닝에 해당하는 deep reinforcement learning 알고리즘인 Proximal Policy Optimization 알고리즘을 사용하였다.
- 이는 두 개의 네트워크가 동시에 학습되는 방식이며, 정책을 담당하는 Actor 네트워크가 현재 캐릭터의 포즈, 날아오는 물체의 상대적인 위치와 속력을 관찰하여, 이후 캐릭터가 행해야 할 포즈를 각 관절별 회전값으로 출력한다.
- 또 다른 네트워크인 Critic 네트워크가 Policy 네트워크를 더 잘 평가할 수 있도록 현재 상태에 대한 가치를 학습하며 최대한의 보상을 얻을 수 있는 방향을 탐사해나간다.
- 강화학습으로 출력된 애니메이션은 약간의 지터링을 가지고 있기 때문에 temporal smoothing을 savitzky-golay 필터로 수행해여 부드럽게 바꿔줌.
-> 단조롭지 않고 가상현실에 몰입할 수 있도록 강화학습을 통한 애니메이션 생성