1. 프로젝트 배경

건물 부문 전력 소비가 2024년 사상 처음으로 산업 부문을 추월(49.8% vs 49.2%)하였으며, 이 중 냉난방(HVAC)이 건물 에너지의 40~50%를 차지하고 있다. 폭염 빈도 증가로 냉방 수요는 전년 대비 8.3% 급증하였고, 건물 에너지 총사용량은 37,275천TOE에 달한다.

현재 대부분의 건물 냉난방 시스템은 벽면에 설치된 단일 온도 센서에 의존하여 제어되고 있으나, 이 방식은 공간 내 온도 분포의 불균일성, 착의량, 활동량, 개인 체질 차이를 반영하지 못한다. 그 결과 센서가 측정하는 온도와 재실자가 실제로 느끼는 체감 온도 사이에 근본적인 괴리가 발생하고, 이것이 과잉 냉난방의 원인이 되고 있다.

재실자 중심(Occupant-centric) 쾌적도 관리에 대한 관심은 높아지고 있으나, 웨어러블 센서는 착용이 필요하고 설문 방식은 지속 운영이 어렵다는 한계가 있다. 이에 본 프로젝트는 AI와 열화상·RGB 듀얼 카메라를 활용하여 재실자의 열적 쾌적도를 비접촉으로 자동 판단하는 시스템인 "HeatSight"를 제안한다.


2. 모델 구조

HeatSight는 RGB 카메라와 열화상(IR) 카메라를 천장에 나란히 설치하고, 두 영상을 스테레오 캘리브레이션으로 정합하여 재실자 개인별 열적 쾌적 상태를 실시간으로 판단한다.

입력 데이터로는 RGB 영상(사람 검출, 포즈 추정, 행동 인식)과 열화상 영상(피부 표면 온도 추출)을 활용한다. YOLOv8으로 두 영상에서 각각 사람을 검출한 뒤, 호모그래피 기반 좌표 변환과 IoU 매칭을 통해 동일 인물을 대응시킨다.

매칭된 인물에 대해 열화상에서 피부 영역(이마, 볼 등)의 온도를 추출하며, 얼굴 영역은 MediaPipe FaceLandmarker(468 keypoints)로 정밀하게 지정한다. 행동 인식은 3단계 앙상블 구조로 수행된다. 먼저 RTMPose-L(RTMLib Body 모델, COCO 17 keypoints)로 신체 골격을 추정하고, 이 keypoints로부터 휴리스틱 규칙 기반으로 팔짱 끼기, 웅크리기, 부채질 등 열적응 행동을 1차 분류한다. 이와 병렬로 CLIP 모델이 영상-텍스트 매칭을 통해 행동을 2차 판별하고, VLM(Qwen2-VL-2B)이 자세·행동·복장을 종합적으로 해석하여 3차 추론한다. 세 모듈의 결과를 융합하여 최종 행동을 판정한다.

피부 온도가 경계값에 위치할 경우, 인식된 행동 패턴을 보정 요소로 활용하여 쾌적도 판단의 정확도를 높인다. 최종적으로 각 재실자의 상태를 추움, 적정, 더움 3단계로 분류하며, 이 결과를 BEMS(건물 에너지 관리 시스템)와 연동하여 구역별 냉난방 설정 온도를 자동 보정하고, 팬 출력 조절 및 예상 에너지 절감률을 산출한다.

모든 영상 처리는 NVIDIA Jetson Orin Nano 엣지 디바이스에서 수행되어 외부 서버로 영상이 전송되지 않으며, 재실자의 개인정보를 보호한다.


3. 기대 효과

HeatSight는 재실자 중심 냉난방 제어를 통해 건물 에너지 소비를 10~30% 절감할 수 있다. 실제 오피스 환경 실험에서 재실자 중심 제어 시 17~24% 에너지 절감(Kong et al., 2022, Applied Energy)이 확인되었으며, 재실 감지 기반 자동 제어로 30% 이상 절감한 연구(Aftab et al., 2017, Energy & Buildings)도 존재한다.

또한 창가·내부, 개인 체질 차이를 반영한 맞춤형 쾌적 환경을 제공하여 재실자 만족도와 근무 생산성을 향상시키고, 건물 부문 탄소 배출 저감을 통해 기업 ESG 경영에 기여할 수 있다.

장기적으로는 산업 현장 열사병 예방, 병원 환자 비접촉 체온 모니터링 등 의료·산업 분야로 확장 가능하며, 기후위기에 대응하는 스마트 빌딩 솔루션으로서 데이터 기반 건물 에너지 관리 체계 구축에 기여할 것으로 기대된다.