청각장애인을 위한 휴대용 경보음 감지 및 알림 장치

청각장애인은 자동차 경적이나 긴급차량 사이렌처럼 즉시 주의가 필요한 소리가 발생해도 이를 인지하거나 발생 방향을 파악하기 어렵다. 특히, 뒤쪽에서 발생하는 위험에는 시각 정보도 획득하지 못해 취약하다. 본 작품은 이러한 위험을 청각 정보로 감지하고 화면과 진동으로 바꾸어 전달하는 실시간 위험 소리 알림 장치이다. 해당 작품은 소리를 감지하는 입력부(모자)와 감지 정보를 확인하는 출력부(팔토시)로 나뉜다.
입력부는 XVF3800 4-마이크 어레이를 통해 주변 소리와 소리의 방향을 수집한다. 이후, 입력부의 보드는 주변 소음보다 충분히 큰 소리가 발생했는지 확인한 후 해당 소리가 위험 신호인지 구분한다. 현재 시제품은 자동차 경적과 사이렌으로 판단된 경우만 경보를 발생시킨다. 소리 분류에는 소형 제어기에서도 동작할 수 있는 경량 결정트리를 도입했다. 결정트리는 5가지 음향 변수를 사용하며, 음향 변수들은 소리의 주파수 분포와 시간에 따른 변화 정도에 관련된 변수들이다. 이후, ESP-NOW 무선 통신을 통해 출력부에 경보를 전달한다. 출력부는 소리의 종류와 소리의 방향(12방위)을 출력하며 3초 동안 진동을 일으킨다. 이때, 수신 확인, 재전송, 경보 대기열 기능을 구현하여 경보가 전달 과정에서 누락될 가능성을 줄였다.
본 제품은 컴퓨터 등 외부 기기 없이 ESP32S3 보드 내에서 소리의 판단이 이루어지므로 자유롭게 휴대할 수 있다는 강점이 있다. 또한, 경량 결정트리를 통해 소리의 종류를 빠르게 판단하고 진동을 주어 즉각적 위험에 대응하는 데 강점이 있다.
향후, 인식 대상을 초인종·화재경보음·문 두드림 등으로 확대하여, 청각장애인의 안전한 이동과 독립적인 일상생활을 돕는 보조 기기로 발전시키고자 한다. 또한, 더욱 다양하고 정확한 학습 데이터를 확보하고 처리 성능과 메모리 용량이 향상된 보드를 활용한다면, 소리 인식의 정확도를 더욱 높일 수 있을 것이라 기대된다.