대부분의 로봇 자율주행 알고리즘은 robot vision (Lidar, Camera)에 의존한다. 하지만 이는 코너 환경에서 보이지 않는 장애물에 대해 대비하지 못하고, 코너 도는 중 장애물을 갑작스레 맞이하게 되면 회피하지 못해 충돌 가능성을 야기한다. 따라서 인간이 보행 할 때, 장애물 회피 시 청각 정보를 활용하는 것에 영감을 받아 청각 정보를 코너 시나리오에서 활용하는 시스템을 제안한다.
본 프로젝트에서 핵심은 청각 정보를 처리하는 경량화된 AI 모델인 MMT-Net이다. MMT-Net은 기존 SOTA 모델에서 사용한 Conformer 블록을 대체하여 TCN기반의 MM-TCN 블록을 만들고, transformer와 연결하여 경량화와 성능을 동시에 챙겼다. 기존 SOTA 대비 파라메터 1/7로 감소, latency 40% 감소를 성공하였다. 이러한 경량화에 비해 성능은 1% 하락만 있었다(benchmark 기준). 이 모델을 사용하여 프로젝트 task에 맞는 데이터 셋을 구축하고 모델을 한번 더 학습 시켰다. 결론적으로 Jetson nano 보드에서 시스템을 구축하여 30fps의 추론 속도를 확보하여 real-time의 가능성을 입증하였고, 코너 환경에서 안정적인 주행을 할 수 있었다.

동영상 링크 : https://youtu.be/pEbWHloKEfQ