4.2.1 YOLO (You Only Look Once) 모델

객체 인식 분야에서는 크게 2가지의 딥러닝 학습 알고리즘 계열이 존재한다. Region-based Convolution Neural Networks ^{(Girshick et al., 2015)}, Fast R-CNN ^{(Girshick, 2015)}, Faster R-CNN ^{(Ren et al., 2015)}와 같은 double stage 학습 알고리즘 계열은 영상 자료의 배경을 학습하여 속도보다 정확도에 초점을 맞춘 알고리즘 계열이다. 이에 반해 single stage 학습 알고리즘 계열은 YOLO (You Only Look Once) 계열로 Region Proposal 방식을 생략하고 배경을 학습에 사용하지 않고 이미지상의 경계박스로 규정된 객체 영역만을 학습에 사용되므로 정확도보다는 학습 속도에 중점을 둔 학습 알고리즘 계열이다. 본 논문은 빠른 프레임 처리속도와 정확성을 확보한 YOLO 계열 모델을 채택하여 학습 데이터의 검증 작업을 수행하였다.

상기 Fig. 7은 YOLO의 모델 구조를 도식화하였다. YOLO는 합성곱 신경망(Convolution Layer) 층으로 구성되며, 추가로 맥스 풀링(Max Pooling)과 완전 연결 층(Fully Connected Layer)이 존재한다. 입력 데이터를 합성곱 신경망 층과 맥스 풀링을 순차적으로 통과시켜 입력 영상의 특징 맵(Feature Map)을 추출한다^{(Redmon and Farhadi, 2017)}. 두 작업을 반복적으로 수행하면서 입력 영상의 특성을 유지한 상태로 크기를 줄여나가며, 최종적으로 Fully Connected Layer를 통해 입력 영상을 최종 출력 구조인 $7\times 7\times 30$ 크기의 텐서 형태로 정량화한다. 최종 값을 이용하여 입력 영상 내 객체의 위치와 클래스 정보를 예측하게 된다. 이전 버전과 달리 YOLO V3은 일반적으로 사용하는 ResNet과 같은 Backbone 네트워크를 사용하지 않고 Darknet-53을 도입하여 실시간성을 높였다. 또한 prediction feature map으로 3개의 축척단계(Scale)을 적용하여 작은 객체를 인식하지 못하는 단점을 보완하였다.

Fig. 7. YOLO v3 Model Architecture

4.2.2 딥러닝 모델 학습 조건 및 환경

객체 인식 모델을 학습하기 위해서는 최적의 학습 하이퍼 파라미터를 설정해야 효과적인 모델 생성이 가능하다. 따라서 본 논문에서는 일련의 사전검토 연구를 통해 영상 크기는 640 x 640, Batch Size는 16, Epoch는 160으로 설정하고 학습을 수행하였다. 실험에 사용된 학습 환경은 Ubuntu 18.04에서 Python 3.8 버전으로 YOLO를 실행하였으며, Tensorflow 1.13.1 버전의 딥러닝 프레임워크를 이용한다. 하드웨어의 경우 CPU는 6코어 6스레드인 INTEL i5-8500, RAM 용량은 32 GB, GPU는 NVIDIA GTX 2080 Supter로 실험을 수행하였으며, 딥러닝 코드의 구조상 CPU 및 RAM을 활용하므로 객체 인식 모델 및 계산 용량에 맞추어 CPU 및 RAM을 설정하였다.

4.3.1 딥러닝 모델 수치 성능평가

객체 인식 모델의 성능평가를 위해 대표적인 평가지표인 mAP (Mean Average Precision)를 활용하였다. mAP란 정밀도(Precision)와 재현율(Recall) 지표가 사용되며 다음 Eqs. (2) and (3)로 표현된다. 정밀도는 모델이 사실이라고 분류한 것 중에서 실제로 사실인 경우의 비율을 나타내며, 재현율은 실제 사실인 것 중에서 모델이 사실이라고 예측한 비율로 설명된다. 최종적으로 정밀도를 Y축에 재현율을 X축으로 값을 놓고 PR-곡선을 생성하여 면적을 통해 AP 값을 구한다^{(Powers, 2010)}.

다음 Table 4는 모든 객체에 대한 mAP 평가 결과를 보여준다. IoU (Intersection over Union) 기준으로 평가를 진행하였으며, IoU는 실제 예측한 경계상자와 정답이 겹치는 비율을 의미한다. 이에 따라, 50 %와 75 %로 기준점을 설정하고 실험을 진행하였다. 50 %인 경우는 92.6이며 75 %인 경우 86.05로 기준점이 높아 검출 정확도는 상대적으로 감소하였다. 추가로 객체의 크기 별로 평가를 진행하였다. 객체의 크기별로 $AP_{Small}$, $AP_{Medium}$, $AP_{L\arg e}$로 구분하여 평가지표를 산정하였으며 다음과 같이 면적에 따라 구분된다. (a) $AP_{Small}$ (면적 < $32^{2}$픽셀), (b) $AP_{Medium}$ ($32^{2}$픽셀 < 면적 < $96^{2}$픽셀, (c) $AP_{L\arg e}$ (면적 < $96^{2}$픽셀). 평가 결과, 큰 객체일수록 정확도가 높은 경향을 보여준다.

다음 Table 5는 대상 객체 별로 mAP 값을 구한 결과를 보여준다. 자동차 객체와 펌프카 객체를 제외하고 90 이상의 AP값을 얻었다. 자동차 객체의 경우 겹침 현상으로 미탐지 데이터가 다수 포함되어 상대적으로 낮은 AP값을 얻었으며 펌프카의 경우 표본 수가 10장으로 매우 적어 낮은 결과 값을 보였다.

다음 Fig. 8은 오탐지 및 미탐지로 인한 정확도 감소여부를 확인하기 위해 4가지 종류로 도시하였다. Fig. 8의 (a) 오탐지 예로 대상 객체를 잘못 인식한 경우 (b) 부정확한 경계상자 예시로 대상 객체의 크기보다 작게 검출한 경우 (c) 동일한 객체를 두 번 검출한 경우 (d) 미탐지 예로 대상 객체를 인식하지 못한 경우로 이러한 결과가 mAP를 감소시킨 원인으로 판단된다. 다음과 같은 현상은 데이터 추가 반영 및 학습 시간 보충으로 전체적으로 해결될 것이라 판단된다. 추가로 객체 인식 분야에서 대표적인 한계점인 겹침 현상은 객체 크기에 따라 검출하는데 주요한 영향 인자인 앵커 박스(Anchor box)와 앵커 스케일(Anchor scale) 파라미터의 최적화로 보완될 것이라 판단된다.

Fig. 8. Causes of Decrease in Object Detection Accuracy

4.3.2 딥러닝 모델 시각 성능평가

다음 Fig. 9는 대상 객체들이 포함된 추론 결과를 도시하였다. 전체적으로 90 %에 근접한 mAP 정확도에 맞게 대부분의 건설장비 객체의 검출 대응력을 확인하였다.

Fig. 9. Visual Inference Results according to the Target Object