LLM-Based Active Perception Control for Occlusion Avoidance and Safe Approach in Harvesting Robots

과수를 수확하는 로봇 기술을 개발하기 위해서는 수확 과정에서 과실과 과수를 손상시키지 않으면서 안정적인 파지 포즈를 확보하는 것이 중요하다. 하지만 실제 과수원 환경에서는 잎사귀, 줄기, 또는 다른 과실에 의해 목표 과실이 부분적으로 가려질 경우가 많아 정확한 파지 포즈를 추정하기 어렵다. 본 연구에서는 이러한 어려움을 해결하기 위해 대형 언어 모델(LLM) 기반 감시 제어를 활용하여, 로봇이 능동적으로 목표 과실을 인식하고 가려짐을 회피하며 안전한 접근이 가능하도록 파지 포즈를 추정할 수 있는 제어 전략을 제안한다. 제안한 전략에서는 카메라 영상과 사전에 정의된 프롬프트를 멀티모달 입력으로 LLM에 전달하고 목표 과실이 부분적으로 가려진 상황에서도 최대한 노출될 수 있는 위치로 로봇 그리퍼를 이동시켜 가려짐을 회피한 파지 포즈를 추정한다. 추정된 파지 포즈를 기반으로 수확 작업을 수행한 결과, 로봇은 가려짐을 회피하면서 목표 과실에 성공적으로 접근할 수 있었다.