실시간 음성의 화자 정보와 준언어적 특성을 전달하는 웨어러블 청각 보조 시스템

실시간 자막은 발화 내용을 문자로 옮기는 데 그쳐, 누가 어느 쪽에서 어떻게 말했는지는 전하지 못한다. 다자간 대화에서 화자 전환과 발화 방향을 놓치고 세기와 높낮이, 강조와 같은 운율이 사라지는 문제는 음성인식 정확도를 높이는 것만으로는 해결되지 않는다. 선행 연구는 표현형 자막, 화자 및 방향 안내, 촉각 보조로 나뉘어 있고, 표현력이 가장 높은 Caption with Intention은 수작업 편집을 전제로 하여 실시간성과 표현력을 함께 만족하는 사례가 없다.

본 과제 Weave는 이들을 하나의 실시간 시스템으로 통합한다. 마이크 어레이가 음성과 발화 방향을 수집하고, 음성인식과 화자 구분, 운율 분석을 병렬로 수행한 뒤 단어 단위 타임스탬프를 기준으로 결합한다. 결과는 CaptionSpec이라는 단일 데이터 규격에 담겨 자막과 진동 출력이 같은 정보를 공유한다. 자막에서는 색이 화자와 발화 시점을, 크기가 음량을, 굵기가 화자의 음역을 나타낸다. 자막 전체를 실제 음성보다 늦춰 띄워 각 단어가 색이 바뀌기 전에 미리 나타나므로, 사용자는 다음 말을 먼저 읽고 발화 순간에 색이 도는 것을 본다. 화자 판정은 근거가 쌓이는 정도에 따라 단계적으로 관리해 확실해지기 전에는 색을 부여하지 않고, 진동은 확정된 화자 전환과 강한 강조에서만 좌우로 짧게 울린다.

웨어러블 장치는 목 뒤를 감싸는 헤드셋 형태이다. 진동의 좌우와 방향 측정의 기준이 사용자의 몸과 정렬되며, 상대가 별도의 기기를 착용하지 않아도 동작하고 모든 처리가 사용자 기기 안에서 이루어져 개인정보 보호에 유리하다. 화자가 자주 바뀌는 환경에서 대화의 흐름을 파악하는 데 도움을 준다. 음성인식과 표현형 자막은 소프트웨어로 먼저 제공하고 방향과 햅틱이 필요할 때만 하드웨어를 더하는 단계적 도입도 가능하다. 본 과제는 실시간 자동화와 한국어 적용으로 표현형 자막 발전에 기여한다. 세부 구현과 인터페이스는 https://nobel2040ne.github.io/Weave/에서 확인할 수 있다.