Introduction

다기능 대시보드 MIND는 웹캠 데이터와 뇌파 정보를 통합하여 사용자 얼굴 표정 기반 감정인식 기능과 뇌파(EEG) 기반 주의력 감지 기능, 자세 기반 감정 이미지 생성 기능을 실시간으로 제공합니다. 이와 같이 실시간으로 제공되는 정량적인 사용자 경험(UX) 평가 기능을 통해 전통적인 UX 평가 방식인 설문지 방식과 달리 높은 정밀도와 신뢰성을 지닌 평가가 가능하도록 합니다.

MIND의 세 가지 주요 기능
(a) Facial emotion recognition (얼굴 감정 인식)
(b) EEG-based attention recognition (뇌파 기반 집중도 인식)
(c) Pose-guided affective image generation (포즈 기반 감정 이미지 생성)

a. Facial Emotion Recognition
- OpenCV의 Haarcascade 정면 얼굴 감지 모델과 FER-2013 데이터셋으로 훈련된 DeepFace 모델로 사용자의 감정을 Angry, Sad, Happy, Neutral, Fear, Disgust, Surprise의 7가지 범주로 분류합니다.

b. EEG-based Attention Recognition
- 14채널 Emotiv Epoc X 뇌파 장비와 Lab Streaming Layer (LSL) 프로토콜을 활용한 실시간 EEG를 획득합니다.
- 각 EEG 채널에서, 10초 동안의 EEG 데이터 세그먼트를 사용하여 단시간 푸리에 변환으로 Spectrogram을 생성합니다.
- K-최근접 이웃(kNN) 분류기를 사용하여 주의력을 Focus, Unfocus, Drowsy 상태로 분류합니다.


c. Pose-guided Affective Image Generation
- OpenPose 모델로 18개의 랜드마크 키포인트를 추출하여 포즈 스켈레톤 이미지를 구성합니다.
- ControlNet 구조를 활용하여 감정 상태와 자세 이미지에 따라 다르게 만들어지는 감정 이미지를 생성합니다.

d. Interface of MIND
프로젝트 표지는 MIND의 인터페이스를 나타냅니다. 각 기능은 아래와 같습니다.
(a) 웹캠 기반 실시간 얼굴 감지 기능
(b) 사용자의 감정 상태를 실시간 그래픽으로 나타내는 플롯 기능
(c) 사용자의 뇌 활동을 보여주는 실시간 EEG 신호 스트리밍 기능
(d) 뇌 활동의 분포를 나타내는 실시간 EEG scalp map
(e) 사용자의 집중도를 나타내는 EEG 기반 집중도 인식 기능
(f) 추정된 포즈와 사용자의 감정 상태 기반의 이미지 생성 기능

MIND의 동작영상은 동영상 데모와 소프트웨어 페스티벌 당일 시연을 통해 확인하실 수 있습니다 :)