Multispectral Image Registration and Threshold-Based Semantic Segmentation for Constructing Plant Dataset

컴퓨터 비전 분야에서 객체 분할은 식물 영상에서 표현형 특징을 정량화하고 식별 및 분류를 위한 중요한 작업이다. 분할의 목적은 영상의 표현을 좀 더 의미있고 해석하기 쉽도록 단순화하거나 변환하는 것이고, 그중에서도 의미적 분할은 영상을 픽셀별로 분류하는 것이다. 본 연구에서는 멀티 렌즈 카메라를 사용해서 식물의 다중분광 영상을 얻은 후, 각 밴드별 영상을 정합하여 의미적 분할 데이터셋을 구축하는 방법을 제안한다. 촬영에 사용한 카메라는 7개의 렌즈로 각각 단일 파장의 영상을 취득하는 시스템이기 때문에 분석을 위해서는 영상을 정합하는 과정이 필수적이다. 영상 정합에는 칼라와 관련된 5개의 파장 영상 중 하나를 기준으로 나머지 영상을 정합하는 방식을 적용했다. 정합을 위한 방법으로는 ORB를 사용하였다. 그리고 정합된 영상들을 기반으로 딥러닝 학습을 위한 의미적 분할 데이터셋을 구축한다. 식물은 일반적으로 가시광 영역에서 green 채널의 픽셀 값이 red, blue 채널에 비해 상대적으로 높은 값을 가지는 경향이 있으며, 적외선 영역에서도 픽셀 값이 크다는 특성이 있다. 그러므로 R, G, B, NIR 파장을 모두 활용해서 픽셀 값에 적절한 임계값을 설정하면 영상에서 식물 부분만 의미적 분할하는 것이 가능하다. 실험을 통해 DeepLab v3+을 사용하여 학습 데이터 셋 100장을 기준으로 Mean IOU 0.991142, Cross Entropy 0.011507의 결과를 얻었다. 본 연구를 통해 RGB 영상만으로도 라벨링없이 식물의 의미적 분할 영상 데이터 양을 쉽게 늘릴 수 있다.