NL2MCP: A New Framework for Natural Language Query Execution

본 연구는 자연어 질의를 데이터베이스 실행으로 변환하는 두 가지 접근, NL2SQL과 NL2MCP를 동일 조건에서 비교·분석하였다. 언어모델은 GPT-4o, 데이터베이스는 PostgreSQL, 데이터셋은 Spider dev를 사용하고, NL2SQL, NL2MCP(cache), NL2MCP(live) 세 경로를 설정하였다. 실험은 정확도(EM), 실행 성공률(EX), 평균 및 p95 지연, 오류율을 난이도별(easy, medium, hard, extra)로 측정하였다. 결과적으로 NL2MCP는 EM에서는 낮았으나 EX와 지연 안정성에서 우위를 보였으며, 특히 live 모드는 스키마 불일치 오류를 줄이고 hard·extra 구간에서 가장 높은 완수율을 달성하였다. 이는 실제 운영 환경에서 NL2MCP(live)가 가장 신뢰할 수 있는 실행 경로임을 보여준다.