Analysis of Train–Validation Dependence and Evaluation Reliability in a Video-Derived Object Detection Dataset

객체탐지 성능평가는 학습집합과 검증집합의 충분한 독립성을 전제로 하지만, 영상 프레임 기반 데이터에서는 유사 장면이 서로 다른 분할에 포함될 수 있다. 본 연구는 이를 학습–검증 시각적 종속성(train–validation visual dependence)으로 정의하고, 공개 Medical Pills 데이터셋 115장과 2,022개 GT 객체를 대상으로 평가 신뢰성을 감사하였다. 전체 6,555개 영상쌍을 분석한 결과 장거리 시각적 재현이 확인되었으며, Official split의 평균 교차분할 GT-box-region correlation은 0.0913이었지만 validation image별 nearest-training correlation 중앙값은 0.8262였다. 모델 성능정보와 독립적으로 구성한 Minimum-dependence split에서는 두 값이 각각 0.0427과 0.2714로 감소하였다. 초기 3-seed YOLO11n 비교에서 [email protected]:0.95의 Official−Minimum 평균차는 +0.0086이었으나 두 검증집합의 조성이 달라 독립적인 종속성 효과로 해석할 수 없었다. 이에 동일 검증영상을 사용하는 5-fold × 2-condition × 5-seed 통제실험 50회를 추가하고 115장 pooled out-of-fold [email protected]:0.95를 평가하였다. 고종속 조건은 5개 seed 중 4개에서 높았으나 평균차는 +0.00118, 95% 신뢰구간은 − 0.00230~+0.00466으로 초기 차이의 크기는 재현되지 않았다. 따라서 확정적 성능효과를 주장할 수는 없지만, 실험결과는 명목적 데이터 분리만으로 평가 독립성을 가정하기보다 split 구조와 sample-level dependence를 함께 감사하는 것이 객체탐지 성능값의 해석 신뢰성을 높이는 데 중요함을 보여준다.

Authors

Publication Details

Journal
Journal of the Institute of Electronics and Information Engineers
Published
2026-10-26
DOI
https://doi.org/10.5573/ieie.2026.63.10.124
Primary Topic
Advanced Neural Network Applications
Type
article
Field-Weighted Citation Impact
0.00
Controls
|||
ALL TIME
JAN
FEB
MAR
APR
MAY
JUN
JUL
AUG
SEP
OCT
article

Analysis of Train–Validation Dependence and Evaluation Reliability in a Video-Derived Object Detection Dataset

Seungjin Kim
Journal of the Institute of Electronics and Information Engineers
Advanced Neural Network Applications
article

Analysis of Train–Validation Dependence and Evaluation Reliability in a Video-Derived Object Detection Dataset

Seungjin Kim
article en

Abstract

객체탐지 성능평가는 학습집합과 검증집합의 충분한 독립성을 전제로 하지만, 영상 프레임 기반 데이터에서는 유사 장면이 서로 다른 분할에 포함될 수 있다. 본 연구는 이를 학습–검증 시각적 종속성(train–validation visual dependence)으로 정의하고, 공개 Medical Pills 데이터셋 115장과 2,022개 GT 객체를 대상으로 평가 신뢰성을 감사하였다. 전체 6,555개 영상쌍을 분석한 결과 장거리 시각적 재현이 확인되었으며, Official split의 평균 교차분할 GT-box-region correlation은 0.0913이었지만 validation image별 nearest-training correlation 중앙값은 0.8262였다. 모델 성능정보와 독립적으로 구성한 Minimum-dependence split에서는 두 값이 각각 0.0427과 0.2714로 감소하였다. 초기 3-seed YOLO11n 비교에서 [email protected]:0.95의 Official−Minimum 평균차는 +0.0086이었으나 두 검증집합의 조성이 달라 독립적인 종속성 효과로 해석할 수 없었다. 이에 동일 검증영상을 사용하는 5-fold × 2-condition × 5-seed 통제실험 50회를 추가하고 115장 pooled out-of-fold [email protected]:0.95를 평가하였다. 고종속 조건은 5개 seed 중 4개에서 높았으나 평균차는 +0.00118, 95% 신뢰구간은 − 0.00230~+0.00466으로 초기 차이의 크기는 재현되지 않았다. 따라서 확정적 성능효과를 주장할 수는 없지만, 실험결과는 명목적 데이터 분리만으로 평가 독립성을 가정하기보다 split 구조와 sample-level dependence를 함께 감사하는 것이 객체탐지 성능값의 해석 신뢰성을 높이는 데 중요함을 보여준다.

Journal of the Institute of Electronics and Information EngineersVol. 63(10)
Openalex Percentile: Top 17%
Advanced Neural Network Applications
AI Navigator

Ask Laika to Summarize, Analyze, and Connect papers live on the map.

Summarize Papers & Methodologies

Extract key findings, datasets, and comparative methods across publications.

Benchmark Rankings & Visual Analytics

Rank top research institutions, authors, funders, topics, and journals by Field-Weighted Citation Impact (FWCI) and paper volume with instant charts.

Connect Distant Disciplines

Bridge topological clusters on the map to find hidden collaborative intersections.

Laika access coming soon