1. 서 론

철근콘크리트 손상 평가를 수행할 때 육안 검사는 손상을 쉽게 감지할 수 있는 방법이나 접근하기 어려운 영역에서 검사 결과가 완전하지 않을 뿐만 아니라 검사 시간도 많이 걸린다. 이에 무인항공기를 활용한 손상 감지에 대한 많은 연구가 이루어지는 과정에서 이미지 특성을 효과적으로 추출할 수 있을 뿐만 아니라 풀링(pooling)에 의하여 많은 수의 클래스를 효과적으로 구별할 수 있는 컨볼루션 신경망이 많이 활용되고 있다.

철도 결함 감지^{(Soukup and Huber-Mork, 2014)}, 붕괴 분류^{(Yeum and Dyke, 2015)}, 콘크리트 균열 감지^{(Cha et al., 2017)}, 1차원 컨볼루션 신경망을 통한 구조적 손상 감지^{(Abdeljaber et al., 2017)}, 포장 균열 감지^{(Vetrivel et al., 2017)}, 사전 학습 컨볼루션 신경망을 활용한 구조적 손상 인식^{(Gao and Mosalam, 2018)} 및 구조적 손상 감지분류^{(Lin et al., 2017)}, 딥러닝 기반 손상 탐지 프로토타입 개발^{(Nam et al., 2022)} 등의 연구에서 다양한 컨볼루션 신경망 백본이 적용되고 있다.

객체 검출 모델 SSD(Single Shot MultiBox Detector), R-CNN(Region-based Convolutional Neural Network)에서는 VGGNet, ResNet, ResNeXt, MobileNet, AlexNet 등의 사전 학습 컨볼루션 신경망을 백본으로 사용하고 있으며, 객체 분할 모델 U-Net, FCN, DeepLab에서는 VGGNet, ResNet, EfficientNet, Xception 등의 사전 학습 컨볼루션 신경망을 특성 추출 백본으로 적용하고 있어 컨볼루션 신경망이 객체 검출 및 분할 성능에 직접적인 영향을 주고 있다.

이미지 질감 및 색상 등에 따른 최적 컨볼루션 신경망 구조는 달라지고 복잡한 이미지 특성을 가질수록 더 깊은 컨볼루션 신경망이 필요하게 되어 적용 필터 크기와 개수, 풀링 층 및 옵티마이저 종류, 드롭아웃 적용 여부의 최적 조합이 이미지 특성 추출 정확도를 강화시키게 된다.

본 연구에서는 Fig. 1과 같이 무인항공기 기반 실시간 철근콘크리트 박리, 백화, 철근 노출, 철근 부식, 건조수축 균열, 구조적 균열 이미지 특성 추출 최적 컨볼루션 신경망 네트워크를 도출하고자 한다. 컨볼루션 신경망은 새로운 이미지 데이터셋을 처음부터 학습하는 과정을 가지는 바닐라 컨볼루션 신경망과 대규모 이미지 데이터셋에서 미리 학습된 사전학습 컨볼루션 신경망으로 나누어진다.

사전학습 컨볼루션 신경망은 이미지 특성 추출 능력이 뛰어난 반면에 높은 연산량을 가지고 있어 무인항공기 본체 또는 조정기에 컨볼루션 신경망을 설치할 경우 높은 전력 소비가 이루어지게 되어 Howard et al.^{(2017, 2019), Sandler et al.(2018)}은 모바일 및 임베디드 비전 애플리케이션 설계 요구 사항에 맞출 수 있는 모바일넷V2, 모바일넷V2Large, 모바일넷V2Small 사전학습 컨볼루션 신경망을 개발하였다.

이에 실시간 철근콘크리트 박리, 백화, 철근 노출, 철근 부식, 건조수축 균열, 구조적 균열 이미지 특성 추출을 위한 사전학습 컨볼루션 신경망으로 모바일넷을 적용하여 바닐라 컨볼루션 신경망 성능과 모바일넷 성능을 비교 분석하고 철근콘크리트 손상 이미지 질감 및 색상 등의 특성에서 모바일넷 성능을 최대화 할 수 있는 조건을 도출하였다.

섹션 2에서는 철근콘크리트 손상 이미지 데이터 확보 방법과 적용 컨볼루션 신경망들의 개요를 제시하고 섹션 3에서는 컨볼루션 신경망을 훈련하는데 사용되는 옵티마이저, 이미지 증식, 드롭아웃, 풀링 적용 효과와 성능 평가 방법론을 서술하였다. 섹션 4에는 바닐라 컨볼루션 신경망과 모바일넷V2, 모바일넷V2Large, 모바일넷V2Small 성능 평가 결과를 보여주고, 섹션 5에 본 논문의 결과를 제시하였다.

Fig. 1. Derivation of Optimal CNN Backbone for Real-time Feature Extraction

Fig. 2. Examples of Images

2. 이미지 데이터와 특성 추출 백본

2.2 특성 추출 백본

2.2.1 바닐라 컨볼루션 신경망

사전학습 컨볼루션 신경망 효율성을 분석하기 위하여 바닐라 컨볼루션 신경망 최대 성능을 분석하였다. Fig. 3은 본 연구에서 구성한 바닐라 컨볼루션 신경망이다. 첫 번째 레이어는 224×224×3 픽셀 해상도의 입력 레이어로 각 차원은 입력 이미지 높이, 너비 및 채널 크기이다.

입력 이미지는 네트워크를 통과하여 최종적으로 13×13×256 픽셀 해상도 크기로 축소된다. 256개의 요소를 포함하는 벡터는 ReLU(Rectified Linear Unit) 레이어에 공급되며 마지막으로 소프트맥스 레이어에서 무손상, 균열, 백태, 철근 노출, 철근 부식, 건조수축 균열, 구조 균열인지를 예측한다. 각 계층의 세부 차원과 적용된 하이퍼파라미터를 Table 2, 3에 정리하였다.

컨볼루션 신경망 장점은 지역적 특성을 도출하여 입력 데이터 크기를 줄여 계산을 줄이는 것이다. Table 2의 풀링층에서는 입력 배열의 공간 크기를 줄여 주게 되어 다운샘플링 단계로 정의된다. 최대값 풀링은 입력 배열의 하위 배열에서 최대값을 가져오는 반면 평균값 풀링은 평균값을 가져온다. ^{Scherer et al.(2010)}은 이미지 데이터 세트의 최대값 풀링 성능이 평균값 풀링보다 우수함을 보여 주고 있다.

컨볼루션 신경망에서 y=tanh(x)와 같은 S자형 활성화 함수(activation function)를 사용하는 것이 비선형선을 증폭시켜 높은 연산 시간이 필요하게 되어 최근에는 ReLU 활성화 함수를 넓게 적용하고 있다^{(Krizhevsky et al., 2012)}. 본 연구에서는 ReLU 활성화 함수를 적용하였고 다중 분류임으로 소프트맥스 함수를 사용하였다.

Table 2. Structure of Vanilla Convolutional Neural Network

Layer type	Output Shape	Number of Parameters (Total number of weights)
Conv2D_1	223,223,32	416
MaxPooling2D_1	111,111,32	0
Conv2D_2	110,110,64	8,256
MaxPooling2D_2	55,55,64	0
Conv2D_3	54,54,128	32,896
MaxPooling2D_3	27,27,128	0
Conv2D_4	26,26,256	131,328
MaxPooling2D_4	13,13,256	0
Flatten	43,624	0
Dense (ReLU)	256	11,075,840
Dense (softmax)	7	1,799

Table 3. Hyperparameters of Vanilla Convolutional Neural Network

Hyperparameters	Name/Value
Activation function	ReLU, Softmax
Rate of learning	1 × 10-5
Epochs	1,000
Batch size	20
Loss function	Categorical cross entropy
Optimizer	RMSprop / Adam

2.2.2 모바일넷

무인 항공기를 활용한 딥러닝 기반 콘크리트 손상 감지 체계는 클라우드 기반 모델과 로컬 기반 모델로 나누어진다. 클라우드 기반 모델에서는 무인항공기가 이미지나 비디오를 캡쳐하여 해당 데이터를 클라우드로 전송하면 컨볼루션 신경망 네트워크가 실행되고 그 결과가 반환된다. 이 방법은 무인항공기의 전력 등 리소스를 아낄 수 있어 모델을 더 쉽게 업데이트 할 수 있지만 인터넷 연결이 필요하므로 전송 지연이나 인터넷 연결이 끊어진 경우에는 모델이 작동하지 않는 단점이 있다.

로컬 기반 모델은 무인항공기 또는 조정기에 컨볼루션 신경망 네트워크를 로컬로 설치하고 무인항공기에서 네트워크를 직접 실행하여 결과를 반환한다. 이 방법은 인터넷 연결이 필요하지 않으므로 전송 지연이나 인터넷 연결 끊임에 영향 받지 않으며 더 빠른 처리 속도를 제공 할 수 있으나 무인항공기의 리소스를 추가적으로 더 많이 사용하게 되어 저 전력으로도 충분한 정확도가 확보 될 수 있는 가벼운 네트워크가 필요하다. 이에 ^{Howard et al.(2017)} 등은 모바일 기기 또는 임베이드 체계 등에 적합한 작고 효율적인 모바일넷(MobileNets)을 개발하였다.

Fig. 4와 같이 모바일넷V1에서는 depthwise separable 컨볼루션을 적용하였고 모바일넷V2에는 linear bottlenecks, inverted residuals을 추가로 적용하였다. 모바일넷V3에는 계산 리소스와 계산 시간이 상대적으로 많이 필요한 층을 재설계 하면서 비선형성 활성화 함수를 적용하였다.

모바일넷은 ^Sifre(2014) 연구의 inception 모델에 사용된 depthwise separable 컨볼루션으로 구축된다. Fig. 5와 같이 depthwise 컨볼루션은 각 입력 채널 각각에 단일 필터를 적용하고 pointwise 컨볼루션에서 1×1 컨볼루션을 적용하여 깊이별 컨볼루션으로 결합한다.

Dk=필터의 높이/폭 크기, DF=특성 맵(feature map)의 높이/폭 크기, M=입력 채널 크기, N=출력 채널의 크기(필터의 개수) 로 둘 경우 표준 컨볼루션의 대략적 계산 비용은 식 (1)과 같으며 Depthwise separable 컨볼루션이 적용된 모바일넷의 대략적 계산 비용은 식 (2)와 같다^{(Howard et al., 2017)}.

(1)

$D_{K}\times D_{K}\times M\times N\times D_{F}\times D_{F}$

(2)

$D_{K}\times D_{K}\times M\times D_{F}\times D_{F}+ D_{F}\times D_{F}\times M\times N$

식 (1)~(2)의 두 컨볼루션의 계산 비용차이는 식 (3)과 같다.

(3)

$\dfrac{D_{K}\times D_{K}\times M\times D_{F}\times D_{F}+D_{F}\times D_{F}\times M\times N}{D_{K}\times D_{K}\times M\times N\times D_{F}\times D_{F}}$

$=\dfrac{1}{N}+\dfrac{1}{D_{k}^{2}}\simeq\dfrac{1}{D_{k}^{2}}$

식 (3)에서 출력 채널 크기 N이 필터의 높이/폭 크기 Dk 보다 훨씬 큰 값임으로 1/N + 1/Dk2는 1/Dk2로 볼 수 있다. Depthwise separable 컨볼루션의 Dk는 보통 3이므로 depthwise separable 컨볼루션의 계산량이 표준 컨볼루션의 1/9배 정도이다^{(Howard et al., 2017)}.

Fig. 3. Vanilla Convolution Neural Network

Fig. 4. Main Structure of MobileNetV1, MobileNetV2, MobileNetV3

Fig. 5. Depthwise Separable Convolution: (a) Depthwise Convolution, (B) Pointwise Convolution

3. 시뮬레이션 방법

컨볼루션 신경망에 있어 옵티마이저는 손실을 감소시키기 위한 가중치 및 학습률과 같은 네트워크 속성을 변화시키는 알고리즘이다. 본 연구에서는 RMSprop와 Adam 옵티마이저를 적용하였다. 옵티마이저 RMSprop는 경사하강 알고리즘의 확장이며 각 매개변수에 대한 단계 크기를 조정할 때 부분 경사의 감쇠 평균을 사용한다. 감쇠 이동 평균을 사용하면 알고리즘이 초기 경사를 잊어버리고 검색 진행 중에 가장 최근의 경사에만 집중하는 adaptive gradient 알고리즘의 한계를 극복할 수 있다^{(Kurbiel and Khaleghian, 2017)}.

옵티마이저 Adam는 최근 컴퓨터 비전 및 자연어 처리 분야의 딥러닝 애플리케이션에 널리 채택되는 확률적 경사하강법의 확장으로 자연어 및 컴퓨터 비전 문제의 희소 경사에 대한 성능을 향상시키기 위한 매개변수별 학습률을 유지하는 adaptive gradient 알고리즘과 가중치에 대한 경사의 최근 크기의 평균을 기반으로 조정된 매개변수별 학습률을 유지하는 옵티마이저 RMSprop 알고리즘의 장점을 가지고 있다^{(Kingma and Ba, 2014)}.

과대접합은 학습 데이터가 적어 데이터에 일반화할 수 있는 모델을 훈련시킬 수 없기 때문에 발생한다. 이미지 증식은 유사한 이미지를 생성하도록 변화를 적용하여 샘플을 늘려 과대접합을 감소시킨다. 본 연구에서는 Table 4와 같은 조건의 이미지 증식을 고려하였다.

드롭아웃은 신경망을 위해 사용되는 규제 기법 중에서 가장 효과적이고 널리 사용되는 방법 중 하나이다. 네트워크 층에 드롭아웃을 적용하면 훈련하는 동안 무작위로 층의 일부 출력 특성을 제외시킨다. 한 층이 정상적으로 훈련하는 동안에는 어떤 입력 샘플에 대해 벡터를 출력한다고 가정하고 드롭아웃을 적용하면 이 벡터의 일부가 무작위로 0으로 바뀐다. 드롭아웃 비율은 보통 0~0.5(0~50%)로 지정된다^{(Srivastava et al., 2014)}. 본 연구에서는 드롭아웃 비율을 50% 적용하여 드롭아웃의 영향을 평가하였다.

모델의 성능(performance) 평가에 있어 정확도(accuracy), 정밀도(precision), 재현율(recall) 3가지 성능 지표를 사용하여 계산하였다. 정확도, 정밀도, 재현율은 다음과 같이 계산된다.

식 (4)~(6)에서 TP(true positive)는 철근콘크리트 손상을 정확하게 탐지한 경우이고 TN(true negative) 철근콘크리트 무손상을 정확하게 탐지한 경우이다. FP(false positive)는 무손상 철근콘크리트가 손상이 있는 것으로 잘못 탐지한 경우이고 FN(false negative)은 손상이 있는 철근콘크리트를 손상이 없는 것으로 잘못 탐지한 경우이다.

Fig. 3의 바닐라 컨볼루션 신경망 최대 성능을 도출하기 위하여 Table 5와 같이 옵티마이저(RMSprop, Adam), 이미지 증식, 드롭아웃(50%)에 따른 성능 변화를 평가하였다.

모바일넷V2, 모바일넷V3Large, 모바일넷V3Small 모델에는 Table 6과 같이 옵티마이저, 이미지 증식, 분류기의 유닛 크기, 풀링, 드롭아웃(50%)에 따른 모델 성능을 평가하였다.

4. 시뮬레이션

4.1 바닐라 컨볼루션 신경망

Table 5와 같이 옵티마이저 종류, 이미지 증식, 드롭아웃에 따른 네트워크의 정확도, 재현율, 정밀도를 분석하였다. 옵티마이저 Adam, 이미지 증식, 드롭아웃이 적용된 S5의 정확도, 손실, 정밀도, 재현율 변화 양상을 Fig. 6에 일례로 정리하였다.

Fig. 5의 정확도, 손실, 정밀도, 재현율 그래프는 과대접합의 특성을 보여 준다. 훈련 이미지 데이터셋에 의한 훈련 정확도는 증가해서 거의 100%에 도달하는 반면에 검증 이미지 데이터셋에 의한 검증 정확도는 최대 67.5% 정도에서 멈추는 것을 보여 주고 있다. 분석된 바닐라 컨볼루션 신경망 성능은 Table 7과 같다.

철근콘크리트 무손상, 균열, 백태, 철근 노출, 철근 부식, 건조수축 균열, 구조 균열 이미지 분류 인식에 있어 고려된 조건에 따른 검증 정확도가 52.49~67.5%로 높은 차이가 발생하는 것으로 Table 7에서 분석되고 있으며 검증 정확도가 가장 높은 경우는 S5(67.5%)이고 그 다음은 S7(66.5%)로 나타났다. 옵티마이저 Adam 적용 경우 이미지 증식에 의해 검증 정확도가 11.5% 상승 하는 것으로 나타나 기존 연구와 동일한 경향을 보여 주고 있으며 옵티마이저 Adam이 옵티마이저 RMSprop 보다 이미지 증식에 더욱 민감한 것으로 나타났다.

이미지 증식 미적용의 경우에는 옵티마이저 종류에 따른 네트워크 성능의 차이가 거의 발생하지 않는 것으로 평가 된다. 드롭아웃 적용에 의해서 옵티마이저 Adam 적용 네트워크의 검증 정밀도가 다소 개선되는 변화만을 보여 주고 있으나 드롭아웃이 극적인 변화를 가져오지 않는 것으로 나타났다.

최종적으로 철근콘크리트 무손상, 균열, 백태, 철근 노출, 철근 부식, 건조수축 균열, 구조 균열 이미지에 있어서는 옵티마이저 Adam이 옵티마이저 RMSprop 보다 상대적으로 높은 성능을 가지는 것으로 평가되며^{(Kingma and Ba, 2014)} 이미지 증식은 옵티마이저 Adam 적용 네트워크의 성능 강화에 긍정적인 영향을 주는 것으로 분석된다.

Fig. 6. Accuracy, Loss, Precision and Recall Curves of Vanilla CNN (Case S5): (a) Accuracy, (b) Loss, (c) Precision, (d) Recall

Table 7. Performance of Vanilla Convolution Neural Network

ID.	Training performance (%)			Validation performance (%)
	Accuracy	Precision	Recall	Accuracy	Precision	Recall
S1	74.50	89.99	63.49	55.50	67.0	46.0
S2	87.50	94.56	81.99	54.0	59.09	45.50
S3	73.0	89.99	58.0	52.99	63.16	43.99
S4	87.99	94.43	81.0	52.49	62.16	44.49
S5	95.99	98.26	91.99	67.5	72.86	60.0
S6	100.0	100.0	100.0	59.50	70.88	50.99
S7	97.0	98.38	93.99	66.50	79.33	60.0
S8	100.0	100.0	100.0	55.0	66.74	41.50

4.2 모바일넷

모바일넷에 있어서는 Table 6과 같이 모바일넷V2, 모바일넷V3Large, 모바일넷V3Small 모델과 옵티마이저, 이미지 증식, 분류기 네트워크 크기, 풀링, 드롭아웃에 따른 정확도, 재현율, 정밀도를 분석하였다. 옵티마이저 RMSprop, 이미지 증식, 평균 풀링이 적용된 MO2의 정확도, 손실, 정밀도, 재현율 변화 양상을 Fig. 7에 일례로 정리하였다.

Fig. 7의 정확도, 손실, 정밀도, 재현율 그래프는 Fig. 3의 바닐라 컨볼류션 신경망과 같이 과대접합의 특성을 보여 준다. Table 5 조건에 따른 모바일넷의 성능은 Table 8과 같다.

모바일넷 종류 및 조건에 따라 검증 정확도가 28.49~75.49%로 큰 변화가 발생하는 것으로 Table 8에서 확인할 수 있다. 검증 정확도, 정밀도, 재현율을 고려할 경우 최적 경우는 Mo6(모바일넷V2)로 분석되며 옵티마이저 RMSprop, 분류기 유닛 크기 1024, 평균 풀링을 적용한 경우이다. 모바일넷V3Large에서는 검증 최대 정확도 74.0%, 검증 최대 정밀도 75.18%, 검증 최대 재현율 73.49%의 Mo18에서 가장 성능이 높은 것으로 나타나고 있으며 Mo18는 옵티마이저 RMSprop, 분류기 유닛 크기 512, 평균 풀링을 적용한 경우로서 모바일넷V2 네트워크에서 최적의 성능을 보여 주고 있는 Mo2와 동일한 조건이다.

모바일넷V3Small에서는 검증 최대 정확도 72.50%, 검증 최대 정밀도 74.80%, 검증 최대 재현율 71.0%의 Mo22가 가장 최적인 것으로 평가되며 Mo22는 옵티마이저 RMSprop, 분류기 유닛 크기 512, 최대 풀링을 적용한 경우로 모바일넷V2, 모바일넷V3Large 최적 경우와 동일한 조건이다. 바닐라 컨볼루션 신경망과 모바일넷 최대 성능 조건을 정리하면 Table 9와 같으며, 연산량을 결정하는 모델의 가중치(weight)와 편향(bias)의 파라미터 수를 Table 10에 정리하였다.

모바일넷 검증 정확도가 바닐라 컨볼루션 신경망 검증 정확도 보다 6.0~9.0% 높은 것으로 Table 9에서 분석되고 있으며 옵티마이저 RMSprop, 이미지 증식 미적용, 유닛 크기 512, 평균값 풀링, 드롭아웃 미적용이 최적 모바일넷을 만들어 주는 것으로 분석 되었다.

Table 10에서 모바일넷 가중치 수가 바닐라 컨볼루션 신경망 가중치 수의 15.9~22.9% 수준의 적은 연산 작업이 필요 한 것으로 나타나고 있어 ^{Howard et al.(2017)} 등이 식 (1)~(3)에서 도출한 바닐라 컨볼루션 신경망 연산량 대비 모바일넷 연산량이 약 1/9(11.1%) 정도 인 것과 거의 동일한 경향을 보이고 있다. 옵티마이저, 드롭아웃, 풀링, 유닛 크기 및 이미지 증식이 모바일넷 성능에 미치는 영향을 세부적으로 분석하면 다음과 같다.

· Optimizer 영향

모바일넷V2, 모바일넷V3Large, 모바일넷V3Small에 있어 옵티마이저 RMSprop 및 Adam적용에 따른 검증 정확도를 Fig. 8에 정리하였다.

옵티마이저 RMSprop 적용 경우 모든 모바일넷 성능이 동일 한 것으로 Fig. 8에 나타났다. 옵티마이저 Adam을 적용할 경우에는 옵티마이저 RMSprop 적용의 경우보다 성능이 감소하고 성능 감소 정도는 모바일넷V3Large 가 가장 높은 것으로 평가 되어 모바일넷으로 철근콘크리트 이미지 특성 추출 시 옵티마이저 RMSprop를 적용하는 것이 바람직한 것으로 분석된다. 이와 같은 결과는 Table 9의 결과와 동일하다.

· Dropout 영향

모바일넷 적용 시 분류기에 적용될 수 있는 드롭아웃은 모바일넷 검증 정확도에 영향을 주지 않는 것으로 Fig. 9에 나타났다.

· Pooling 영향

옵티마이저 RMSprop 적용 경우 분류기 풀링 형태에 무관하게 견고한 성능을 보여 주고 있는 반면에 옵티마이저 Adam 적용에 있어서는 평균 풀링에 의해 성능 감소가 발생하는 것으로 Fig. 10에 나타나고 있다.

· Units 영향

분류기 밀집(dense) 층에 512개 및 1,024 유닛을 적용할 경우의 모바일넷V2 성능을 Fig. 11에 나타내었다.

Fig. 11(a)를 살펴보면, 옵티마이저 RMSprop 적용 시 분류기 유닛 크기 영향을 받지 않는 것으로 나타났다. 옵타마이저 Adam 적용시(Fig. 11(b))에는 분류기 유닛 크기가 증가할수록 네트워크의 성능이 개선되는 것으로 평가 된다.

· Image generation 영향

옵티마이저 RMSprop 적용 시 이미지 증식에 의해서 오히려 성능이 감소하는 것으로 Fig. 12(a), 13(a), 14(a)에서 평가되고 있다. 옵티마이저 Adam 적용 시 모바일넷V2, 모바일넷V3Large 에서는 약간의 성능 개선이 이루어지고 있으며(Fig. 12(b), Fig. 13(b)) 모바일넷V3Small에서는 이미지 증식에 의해 정밀도가 크게 개선되나 정확도와 재현율은 미소하게 낮아지는 것으로 평가 되고 있다(Fig. 14(b)).

Fig. 7. Accuracy, Loss, Precision and Recall Curves of MobileNets (Case MO2): (a) Accuracy, (b) Loss, (c) Precision, (d) Recall

Fig. 8. Effect of Optimizer Type: (a) Optimizer : RMSprop, (b) Optimizer : Adam

Fig. 9. Effect of Dropout: (a) RMSprop, (b) Adam

Fig. 10. Effect of Pooling Type: (a) RMSprop, (b) Adam

Fig. 11. Effect of Unit Size: (a) RMSprop, (b) Adam

Fig. 12. Effect of Image Generation (MobileNetV2): (a) RMSprop, (b) Adam

Fig. 13. Effect of Image Generation (MobileNetV3-Large): (a) RMSprop, (b) Adam

Fig. 14. Effect of Image Generation (MobileNetV3-Small): (a) RMSprop, (b) Adam

Table 8. Performance of MobileNets

ID.	Training (%)			Validation (%)
	Accuracy	Precision	Recall	Accuracy	Precision	Recall
Mo1	93.0	96.78	89.49	67.0	72.96	62.99
Mo2	100.0	100.0	100.0	74.0	76.22	73.0
Mo3	98.50	100.0	95.99	66.50	74.84	59.0
Mo4	100.0	100.0	100.0	62.0	68.35	56.49
Mo5	93.99	96.71	67.0	67.0	83.21	63.50
Mo6	100.0	100.0	100.0	75.49	75.36	74.0
Mo7	99.50	100.0	96.0	67.50	74.90	59.50
Mo8	100.0	100.0	100.0	67.0	70.95	59.99
Mo9	89.49	93.43	85.99	69.99	78.07	64.99
Mo10	100.0	100.0	100.0	75.0	77.77	74.0
Mo11	98.0	99.44	94.99	68.99	76.70	60.0
Mo12	100.0	100.0	100.0	60.0	66.35	57.99
Mo13	87.99	90.79	82.49	66.5	77.61	63.0
Mo14	100.0	100.0	100.0	73.50	75.77	72.50
Mo15	94.49	98.30	89.99	69.99	78.17	59.50
Mo16	100.0	100.0	100.0	62.50	68.71	57.49
Mo17	63.99	92.50	34.99	46.50	64.99	33.49
Mo18	100.0	100.0	100.0	74.0	75.18	73.49
Mo19	65.49	87.08	43.50	38.49	52.72	32.99
Mo20	100.0	100.0	100.0	28.49	41.16	26.0
Mo21	58.99	90.89	25.53	44.99	76.66	29.50
Mo22	100.0	100.0	100.0	72.50	74.80	71.0
Mo23	61.0	87.25	35.99	39.50	72.66	35.0
Mo24	100.0	100.0	100.0	46.0	46.75	40.0

Table 9. Comparison of Performance

Model		Validation (%)			Condition
		Accuracy	Precision	Recall
Vanilla		66.50	79.33	60.0	①: Adam, ②: Apply(50%), ③: Max
MobileNets	V2	75.49	75.36	74.0	①: RMSprop, ②: Unapplied ③: Average
	V3Large	74.0	75.18	73.49
	V3Small	72.50	74.80	71.0
① Optimizer, ② Dropout, ③ Pooling

Table 10. Comparison of Parameters

Model	Vanilla	MobileNet
		V2	V3Large	V3Small
Million Parameters	11.25	2.58	4.55	1.79
Parameters ratio	-	22.9%	40.4%	15.9%

5. 결 론

객체 검출 및 분할 백본으로 활용되고 있는 컨볼루션 신경망 중 무인항공기 리소스 사용을 최소화 할 수 있는 모바일넷이 최적으로 철근콘크리트 손상 특성 추출을 할 수 있는 네트워크 종류, 이미지증식, 유닛 크기와 함께 옵티마이저, 드롭아웃, 풀링 조건을 도출하였다.

모바일넷 성능 비교 평가를 위한 바닐라 컨볼루션 신경망 분석에 있어서 이미지 증식과 드롭아웃 50% 동시 적용으로 검증 정확도가 12.5% 상승하는 것으로 나타나 옵티마이저 Adam, 이미지증식과 드롭아웃을 동시에 적용을 할 경우 바닐라 컨볼류션 신경망이 철근콘크리트 손상 이미지 특성 추출에 최고의 성능을 보여주는 것으로 분석되었다.

철근콘크리트 손상 검출 및 분할 백본으로 바닐라 컨볼류션 신경망 보다 모바일넷V2, 모바일넷V3Large, 모바일넷V3Small이 6.0~9.0% 높은 검증 정확도를 가지면서도 연산 시간에 직접적으로 영향을 미치는 모바일넷 가중치와 편향 수가 바닐라 컨볼류션 신경망의 가중치와 편향 수의 15.9~22.9%에 미치는 것으로 나타났다. 모바일넷V2, 모바일넷V3Large, 모바일넷V3Small에 있어서 옵티마이저 RMSprop 적용 시 성능 차이가 거의 없으나 옵티마이저 Adam 적용 시에는 모든 모바일넷의 성능이 감소하면서 모바일넷V3Large 성능이 가장 많이 감소하는 것으로 평가 되었다. 이미지 증식에 의해서는 옵티마이저 Adam의 모바일넷V2, 모바일넷V3Large의 경우만 미소하게 성능이 개선되는 것으로 나타났다.

유닛 크기와 풀링 방법에 따라 옵티마이저 RMSprop 적용 모델은 성능의 변화가 발생하지 않으나 옵티마이저 Adam 적용 모델의 성능 변화는 발생하는 것으로 평가 되어 최종적으로 실시간 철근콘크리트 손상 검출 및 분할 백본으로 옵티마이저 RMSprop, 이미지 증식 및 평균 풀링 적용, 분류기 유닛 크기 1,024, 드롭아웃 미 적용시의 모바일넷V2가 최적인 것으로 본 연구에서 분석되었다.

모바일넷V2 기반 철근콘크리트 무손상, 균열, 백태, 철근 노출, 철근 부식, 건조수축 균열, 구조 균열 7개 분류에 있어 본 연구에서 도출한 최대 검증 정확도 75.49%는 관련 이미지 축적 및 학습 강화로 더욱 향상 될 수 있으며 무인항공기 및 로컬 설치되는 모바일넷V2 기반 실시간 철근콘크리트 손상 이미지 특성 추출 정확도가 더욱 강화 될 수 있을 것으로 판단된다.