시각장애인들의 편의를 위한 음료자판기의 음료를 판단하여 알려주고 생명과 직접적으로 연관이 될 수 있는 알약을 구분하여 정보를 알려주는 애플리케이션입니다.

1. 프로젝트 선정 배경 및 목표

최근 SNS에서 시각장애인 유튜버로 유명한 “원샷한솔”님의 영상에서 일상생활 속 시각장애인 분들이 느끼는 불편함에 대해 알게 되었습니다. 영상을 통해 시각장애인의 생활에서 여러 불편함에 대해서 알 수 있었지만, 저희가 조명했던 부분은 음료수(및 음료수 자판기)와 의약품에 점자가 제대로 표시되어있지 않은 부분이었습니다. 이후 여러 자료를 찾아보았고, 아래와 같은 정보를 알 수 있었습니다. 음료수(음료수 자판기)와 의약품에 점자가 제대로 표시되어있지 않은 경우가 많았고, 이 부분을 해결 또는 도움을 드릴 방법을 생각해보게 되었습니다. 결과적으로 스마트폰 애플리케이션에서 객체 탐지 모델을 이용해 음료수(음료수 자판기)와 의약품의 정보를 알 수 있도록 하여 시각장애인 분들의 불편함을 해소하는 것이 저희 프로젝트의 목표입니다.

2. SW 기능

- 음료수에 대한 이름 제공

생수(아이시스), 칠성사이다, 칠성사이다 제로, 펩시콜라, 펩시콜라 제로, 밀키스, 포카리스웨트, 핫식스, 레쓰비 총 9개에 대한 음료수 이름을 판별하고, TTS API를 통해 음성으로 제품의 이름을 사용자에게 전달합니다. YOLOv5 객체탐지 모델을 통해 판별된 음료수의 이름을 TTS API를 통해 사용자에게 정보를 전달합니다.

- 의약품에 대한 이름 및 정보 제공

타이레놀, 후시딘, 부루펜, 이지엔, 게보린, 게보린 소프트, 가스 활명수 총 7개에 해당하는 의약품을 탐지하고, 해당 의약품의 이름, 용법 등의 정보를 TTS API를 통해 사용자에게 읽어줍니다. 또한, 사용자에게 탐지된 약의 정보(이름, 성분, 효과, 복용방법)를 추가적으로 제공합니다.

- 애플리케이션 UI

Slide 가능한 Cardview 형식으로 음료수 및 의약품 탐지 모드를 슬라이드 기능을 통해 전환할 수 있습니다.


2022SW페스티벌

https://www.youtube.com/watch?v=tzcCxf7A3Wg