Quantitative Reliability Evaluation Methodology for Automated Defect Detection: PAUT Solution Based on Round-Robin Evaluation

본 연구에서는 인공지능(AI) 기반 PAUT 솔루션의 탄소강 평판 맞대기 용접부에서의 결함 판독 능력에 대한 신뢰도를 정량적으로 평가하기 위하여 다자비교평가(Round Robin Evaluation; RRE)를 적용하였다. RRE는 기존 다자비교시험(Round Robin Test; RRT)과 달리 검사자의 인적요인 한계를 극복하고자 동일한 데이터에 대하여 ISO 9712 Level II 이상의 자격과 3년 이상의 현장경력을 보유한 전문가 3명의 판독 결과를 기준으로 CNN 기반 딥러닝 PAUT 솔루션과 비교평가를 통한 새로운 신뢰도 평가 방법론이다. POD, RMSE 및 Confusion Matrix를 적용하여 평가를 진행하였다. POD의 경우 80% 기준 전문가는 약 6.66 mm, AI 솔루션은 10.4 mm로 나타났고, RMSE는 Length 기준 전문가는 약 3.94 mm, AI 솔루션은 약 3.46 mm로 나타났다. 또한, Confusion Matrix 기반 결함 종류 판독 신뢰도는 전문가 약 96%, AI 솔루션은 93%로 나타났다. 다자비교평가를 통하여 AI 솔루션의 판독능력이 전문가에 근접하는 결과를 보여주었으며, 이는 신뢰도 평가 방법론으로 활용될 수 있는 근거를 마련하였다.