MacRobot: LLM 기반 자연어 작업 실행용 인식·파지 모바일 로봇

본 과제는 비전문가도 자연어로 조건과 순서를 포함한 로봇 작업을 지시할 수 있도록, 사용자의 명령을 검사 가능한 제한 Python 프로그램으로 변환하고 물체 탐색·이동·정렬·파지까지 연결하는 저비용 모바일 매니퓰레이터를 구현하는 것을 목적으로 한다. 기존 소형 로봇은 인식·주행·팔 제어가 분리되어 연속 작업 수행이 어렵고, Raspberry Pi에서 영상 처리와 딥러닝 추론을 동시에 수행하면 연산 지연과 통신 병목이 발생한다. 또한 물체가 잘 보이는 거리와 팔이 닿는 거리가 다르며, LLM의 임의 코드 실행은 오동작과 안전 절차 우회의 위험이 있다. 이를 해결하기 위해 Raspberry Pi는 D435 기반 깊이 후보 생성, 3차원 위치 변환과 ROS 2 제어를, WSL2의 Intel Arc XPU는 DINOv2 물체 식별과 patch 위치 정제를, Pico 2 H는 엔코더 모터와 서보 제어를 담당하도록 분산하였다. 전체 영상 대신 후보 RGB crop만 전송해 네트워크 부하를 줄였고, 물체 위치를 aligned depth와 TF로 base_link 좌표로 변환한 뒤 재관측 기반 distance handoff로 파지 거리까지 접근하였다. 로봇팔은 Fusion 360 모델을 URDF/Xacro로 구성하고 폐루프 4절 링크를 논리 관절로 단순화하여 IK와 MoveIt 충돌 검사를 적용했으며, 의미 keyframe을 현재 물체 위치에 맞게 재계산해 파지를 수행한다. 생성 코드는 공개 구동함수만 사용하고 AST 검사, 인자 검증, 사용자 승인, 자원 잠금, timeout·STOP을 거쳐 실행된다. 그 결과 물체 등록, 환경별 임계값 보정, 실시간 탐색, 위치 저장·복귀, 차체 정렬, 안전 경로 검증, 파지와 들어 올리기를 하나의 흐름으로 수행하는 통합 시스템을 완성하였다. 모듈형 ROS 2 구조는 센서·제어기 교체와 새로운 물체·행동 추가를 쉽게 하며, 교육, 실험실 보조, 생활 지원 및 소형 물류 분야로의 활용이 기대된다.