i - There은 경희대학교 컴퓨터공학과 재학생인 제가 팀장으로 진행한 프로젝트로, 서울대학교 의과대학 재학생, 홍익대학교 시각 디자인, 산업 디자인 학과 재학생, 데이터 공학과 재학생, 이화여자대학교 융합콘텐츠 학과 재학생, 숙명여자대학교 생명시스템공학과 재학생과 같이 다양한 분야의 전공자들이 모여 협업해 제작한 프로젝트입니다.

------------------------------------------------------------------------
# Background

ADHD는 조기 발견과 빠른 치료가 중요합니다. 주의력 저하나 과잉행동을 주소로 정신과외래에 내원하는 아동의 46.7%가 ADHD로 진단받습니다. 아동이 성장하면서 ADHD 증상이 사라지는 경우도 있으나 약 60%가 성인기까지 증상이 지속됩니다. ADHD 아동은 학업 성취도가 떨어지고 행동문제나 대인관계 형성의 어려움을 경험할 가능성이 높기 때문에 질병의 조기발견과 빠른 치료적 개입이 매우 중요합니다.

하지만 아동은 ADHD 진단 및 약물 치료 과정에서 큰 죄책감과 심리적 부담을 느낍니다. ADHD 아동의 심리 치료 선행연구에 따르면, 아동은 진단 및 약물 치료 과정에서 스스로를 탓하며 부정적인 자기 정체성을 형성하고, 부모에 대해 죄의식과 죄책감을 느낍니다. 이러한 경험은 우울증, 불안장애, 반사회적 인격장애 등으로 이어져 ADHD 치료를 저해합니다. 이는 기존의 ADHD 치료 방식을 효과적으로 보완할 수 있는 다른 방안의 필요성을 보여줍니다.

뿐만 아니라 보건복지부에 따르면 정신건강 데이터 구축 및 객관화의 필요성을 강조하는데 디지털 기술을 정신 건강 분야에 접목하는 것이 ADHD 개선에 있어 중요한 해결책이 될 수 있다고 합니다. 객관화된 디지털 측정 자료를 통해 환자 스스로 자신의 데이터를 모으는 것을 개인화라고 합니다. 삼성 서울 병원 정신과 교수인 전홍진 교수는 “혈압을 측정하면 결과에 따라 높고 낮음이 객관화 되지만 (정신질환은) 기분이 우울하다, 환청이 들린다 등의 정보로 환자가 진짜 위험한지 여부를 판단하기 어렵다. 이런 부분이 객관화 돼야 다음 단계로 넘어갈 수 있다” 라고 언급했고 세브란스 병원 정신의학과 교수인 안석균 교수는 “외래와 입원이 아니라 환자 스스로 자신의 데이터를 모으고 의사와 논의해 치료방법을 정하는 개인화가 중요하다.”라고 강조했습니다.

따라서 가상 환경의 몰입형 행동 유도, HMD 디바이스의 음성 인식과 트레킹 센서 등을 통한 복합적 데이터셋 도출하고 이러한 Raw Data를 ADHD 공식 진단 기준인 DMS-5의 척도에 데이터 전처리와 정규화를 통해 반영한 뒤 딥러닝을 통해 ADHD 정도를 스크리닝하여 환자마다 개인화된 치료를 제공하고, 혼합현실의 스토리텔링을 통해 약물 치료는 제공할 수 없었던 정서적 보완을 준다면 기존의 ADHD의 치료방식을 보완할 수 있을 것이라는 결론을 내렸습니다.

즉, 단일한 장비로 ADHD 진단에 필요한 복합적인 데이터셋을 도출이 가능하고, 추후 혼합 현실 디지털 치료로의 확장 가능성을 가지고있는, XR과 AI를 접목한 ADHD 스크리닝 및 맞춤형 증상 개선 프로그램을 제작하고자 한 것입니다.

------------------------------------------------------------------------
# Implement

i - There은 맞춤형 혼합현실 프로그램으로 심리적 부담감을 보완하고 ADHD 진단과 치료 과정을 효과적으로 개선하고자 했습니다. 프로젝트 명에 걸맞게 아이가 상상하는 정신병원의 이데아, 아이데아를 만드는 것이 본 프로젝트의 최종 지향점입니다. 앞서 설명한 데이터셋을 통한 개인화에 더해서, 8-12세는 자아 정체성이 형성되는 중요한 시기인 만 부정적 자기 정체성을 형성할 위험이 있기 때문에 정서적 측면도 중요하게 다루었습니다. 이를 위해 아동 친화적 UX 디자인과 스토리텔링으로 심리적 부담감 없이 스크리닝하고 증상 개선 시스템으로 이어질 수 있는 프로그램을 개발했습니다.

# Implement - Technique

핵심 기술의 흐름도는 다음과 같습니다.

먼저 XR 디바이스를 통해 콘텐츠에서 스크리닝에 필요한 데이터셋을 도출해야합니다. 손목 움직임 3차원 Vector, 가상 현실의 태스크 수행 시간 기록, 음성 인식의 고주파 추출 등을 추적할 수 있는 시스템을 구축하였고, 이를 ADHD 진단 기준인 DSM-5에 직접적으로 반영하고자 했습니다. 이 Raw Data를 이동거리, 오류율 등을 계산해 데이터를 정제하고 최종적으로 Unity의 Static 배열과 REST API를 유니티에 연동하여 학습과 진단에 필요한 데이터를 Database에 기록했습니다.

그리고 유니티 Baraccuda를 통해 논문을 토대로 구현한 외부 딥러닝 모델을 직접 연동하여 AI 학습을 통해 아동의 ADHD를 스크리닝합니다. Database에 기록된 수치들을 CNN Model에 입력해 ADHD 정도를 정량적으로 도출해낼 수 있게 됩니다.

이러한 과정을 통해 곧 사용자마다 개인화된 ADHD 개선 보조 프로그램으로 확장할 수 있습니다. 의료전용 솔루션을 이용해 재활 운동치료를 처방하고 환자용 어플리케이션에서 수행하는 MORA의 사례처럼 AI 모델 학습을 통해 쌓인 진단 데이터베이스를 기반으로 개인화 치료를 제공할 수 있습니다. 과잉 행동의 정도에 따른 난이도 조정, 집중력 부족의 정도에 따른 난이도 조정을 통해 ADHD 증상 정도에 따라 난이도가 달라지는 개인화된 ADHD 개선 보조 프로그램을 개발할 수 있게 되는 것입니다. 실제로 스크리닝 시스템에 더해 정도에 따라 난이도가 달라지는 인지행동 프로그램까지 일부 설계하여 확장성을 보여주고자 했습니다.

# Implement - UX Design

그리고 단순히 기술적으로 완성도 높은 시스템을 구현하는 것에 그치지 않았습니다. '아동'이 대상인 만큼 아동에 최적화된 사용자 경험을 연구하고 이를 직접 시스템 디자인에 반영했습니다. 집중력을 잃기 쉬운 아동의 특성을 반영해 쉽고 직관적인 UX를 설계했습니다. 아동의 주의력 특성을 연구한 결과, 아동은 자신에 대한 주의 통제가 약하고 주의력이 쉽게 분산됩니다. 또한 주의 전환 능력도 비교적 약합니다. 일에 집중한 뒤 다른 일로 전이되기도 어렵고 주의 분배 능력이 약해 두가지 이상에 집중하기 어렵다는 특성도 있었습니다. 따라서 아동이 게임을 성공적으로 수행하기 위해서는 쉽고, 간단하고, 생동감있게 설계해야 함을 이해하고 이를 직접적으로 반영했습니다. 또한 본 프로젝트가 AR 글래스로 제작됨을 고려해 AR 환경에서 오브젝트와 거리가 멀수록 더욱 뚜렷한 자극을 제공해야 하며, 오브젝트의 색상, 모양, 연속성을 고려해 집중력을 잃지 않도록 설계했습니다.

아동의 흥미를 이끌 수 있도록, 생동감 있는 캐릭터 디자인과 3D 모델링을 제작했습니다. 진흙의 형태와 돼지의 캐릭터는 아동에게 친근하고 편안한 이미지를 전달하고 동화적인 요소를 표현하기 위해 둥글고 부드러운 형태로 표현하였습니다. 파스텔 톤을 사용하여 시각적 부담을 줄이고 안정감을 더하고자 하였습니다.

돼지 캐릭터의 애니메이션이 설명에 대한 이해를 도울 수 있도록 설명에 적합한 행동과 표정으로 구현하였으며 음성 또한 설명을 천천히 전달할 수 있도록 제작하였습니다. 몰입감을 높이기 위해 동화같은 느낌의 모델링을 구현하였고, 아동들의 공간인지능력 향상을 위해 입체적으로 공간을 활용할 수 있도록 앞면과 옆면의 벽이 규칙 상 이어지도록 구상했습니다. 미션 수행 후 심리적 보상을 줄 수 있는 3d 모델과 이펙트도 구현했습니다.

#Implement - Contents

콘텐츠 시나리오는 인지행동을 자연스럽게 측정하고 반영할 수 있는, '아기돼지 삼형제' 이야기에서 모티브를 받아 제작했습니다. 진흙을 줍고, 이를 차분하게 굽는 과정을 통해 총 18가지 형태의 DMS-5 기준에 따른 데이터셋을 도출합니다. 이를 진단 시스템을 거쳐 벽돌로 집짓기 퍼즐을 맞추게 되는 인지행동 증상 개선 프로그램으로 자연스럽게 이어지게됩니다. 이 과정에서 아동은 진단에 대한 두려움과 스트레스를 받지 않으며 자연스럽게 게임과 같은 콘텐츠를 하면서 정도를 스크리닝하고 증상 개선으로까지 이어지게 되는 것입니다.

#Implement - Device

i - There은 메타렌즈2라는 AR 글래스로 제작되었습니다. 메타렌즈는 AR이라는 특성상 사용자를 완전 몰입시켜 위험에 빠트릴 수 있는 부작용이 있는 VR에 비해 위험성이 적고, VR HMD에 비해 가볍고 어지러움도 덜 유발합니다. 따라서 최적의 장비를 찾고자 함으로 XR 시스템이 가지고있는 필연적인 부작용을 최대한 감소시키고자 했습니다.

------------------------------------------------------------------------
# Effect

기존의 연구들은 정신 질환을 정량적으로 측정하는 것에 주로 주의를 기울여왔습니다. 실제로 저희가 참고한 진단 기준의 전처리와 딥러닝 모델도 이에 관한 연구였습니다. 하지만 정신 의학은 그 실체가 모호하고 생물학적인 기전의 인과관계가 명확히 밝혀지지 않아 이처럼 진단 기준에 따라 정량적으로 측정하려고 한 연구들은 정신 질환 진단의 의학적인 관점에서는 크게 유효하지 않은 접근이었습니다. 따라서 저희는 이러한 ADHD 진단 기준을 정량적으로 측정하려고 시도한 연구들을 맞춤형 증상 개선 시스템에 적용할 수 있는 척도로 삼았고, 아동 ADHD의 유병률에 집중하여 시스템을 설계함으로써 기존 연구와의 차별성을 두려고 한 것입니다.


------------------------------------------------------------------------
# Thoughts

의학, 공학, 디자인, 콘텐츠 등 다양한 분야의 전공자들이 협업한 프로젝트이니 만큼, 여러 방면에서 각자만이 할수있는 역할을 최대한 살린 접근을 하고자 했으며 이를 통해 융복합적이고 실용적이며, 쉽게 시도하기 힘들었던 프로젝트를 구상하고 개발한 것 같아 매우 유익한 경험이었습니다. 더군다나 저는 팀장으로써 모든 부분에 관여함으로써 많은 성장을 할 수있었습니다.

발표 자료 : https://docs.google.com/presentation/d/15_bhaBQnit-40zymiSBJzzf8C3wvN2Dfq6MdTuOuIlA/edit?usp=sharing