VisuEARize

본 과제는 청각장애인이 주변의 위험음을 신속하게 인지하고 다자간 대화에 원활하게 참여할 수 있도록, 소리의 방향·종류·발화자·발화 내용을 시각적으로 제공하는 AR 글래스 기반 보조 시스템을 개발하는 것을 목적으로 한다. 기존 자막형 보조기기는 음성 내용 전달에 집중되어 있어 경적이나 사이렌의 발생 방향, 다수 화자 중 현재 발화자와 같은 상황 정보를 제공하는 데 한계가 있다. 이에 다양한 소리 정보를 하나의 화면에서 직관적으로 확인하여 이동 중에도 주변 상황을 파악하고 대화를 편리하게 이해할 수 있는 통합 시스템을 구현하였다.

전체 시스템은 “ReSpeaker → 중앙컴퓨터 → 스마트폰 → AR 글래스” 구조로 구성된다. ReSpeaker 마이크 배열로 주변 소리와 DOA 각도를 수집하고, 중앙컴퓨터에서 AST를 이용해 경적·사이렌 등의 환경음을 분류한다. 음성은 Silero VAD로 발화 구간을 추출한 뒤 Faster Whisper로 한국어 자막을 생성하며, Sherpa-ONNX와 TitaNet 기반 화자 임베딩을 등록 정보와 비교하여 발화자를 식별한다. 분석된 환경음 종류, 화자명, 자막 및 방향 정보는 JSON 형식으로 웹 서버에 전달되고, SSE 통신을 통해 스마트폰의 반응형 웹 UI에 실시간 표시된다. 사용자는 스마트폰과 연결된 AR 글래스를 통해 스마트폰 화면을 계속 바라보거나 별도로 조작하지 않고도 자막과 방향 화살표를 자연스럽게 확인할 수 있다.

본 작품은 기존 자막형 보조기기와 달리 “어떤 소리인지, 어느 방향에서 발생했는지, 누가 어떤 말을 했는지”를 AR 글래스 화면에 통합 제공한다. 이를 통해 보행 중 경적이나 사이렌의 위치를 빠르게 파악하여 위험에 대응하고, 회의나 다자간 대화에서는 발화자와 발화 내용을 쉽게 연결해 이해할 수 있다. 결과적으로 청각장애인의 이동 안전성, 주변 상황 인지 능력과 의사소통 참여도를 높이고 일상생활의 편의성과 독립성 향상에 기여할 것으로 기대된다.