비접촉 입력 플러그인

본 과제는 기존 키오스크의 구조를 변경하지 않고 필요한 입력 기능을 추가할 수 있는 탈부착형 비접촉 입력 플러그인을 개발하는 것을 목표로 한다. 공공 키오스크는 다수가 반복적으로 화면을 접촉한다는 위생적 부담이 있으며, 새로운 입력 방식 역시 고령층이나 디지털 기기 사용에 익숙하지 않은 사용자에게 또 다른 장벽이 될 수 있다. 이에 카메라 기반 손 인식과 ToF 센서를 결합하여 비접촉 입력을 구현하고, 사용 과정에서 어려움이 감지될 경우 사람의 도움으로 연결하는 자동 도움요청 시스템을 함께 설계하였다. 카메라는 MediaPipe를 이용해 손의 위치와 Pinch 동작을 인식하고, ToF 센서는 카메라만으로 얻기 어려운 깊이/거리 정보를 보완하여 의도하지 않은 입력을 줄이도록 하였다. 두 센서의 데이터는 Raspberry Pi 4에서 처리되며, 손의 위치를 화면 기준 상대좌표로 변환한 뒤 마우스 커서 이동과 클릭 신호로 출력하여 특정 키오스크의 버튼 배치나 내부 프로그램에 종속되지 않도록 하였다. 하드웨어는 3D 프린팅한 거치 구조를 이용해 키오스크 상단에 장착·분리할 수 있도록 제작하였다. 자동 도움요청 시스템은 진행 없음 시간, 헛클릭, 같은 영역 배회, 선택 동작 없음의 네 가지 행동 신호를 바탕으로 도움 필요도를 판단하며, 일정 기준을 넘으면 먼저 도움 팝업을 제시하고 필요 시 직원 호출로 연결한다. 본 작품은 기존 설비를 유지한 채 새로운 기능을 선택적으로 추가할 수 있어 경제성과 범용성이 높으며, 새로운 기술에 적응하기 어려운 사용자까지 고려한다는 점에서 의미가 있다. 향후 음성/시선/촉각 등 다양한 입력 모듈을 추가하여 사용자 특성에 맞는 인터페이스를 선택적으로 제공하는 확장형 플랫폼으로 발전할 수 있다.