3.1 바닐라 컨볼루션 신경망

GPR B-scan 회색조 이미지에서 싱크홀 특성을 추출하기 위해 본 연구에서 적용한 바닐라 컨볼루션 신경망 구조와 매개변수는 Table 2~3과 같다.

Table 2의 바닐라 컨볼루션 신경망은 4개의 층으로 구성되었으며, 최대값 폴링을 적용하여 특성 맵의 크기를 축소하고 특징을 추출하였다. 각 층에 ReLU 활성화 함수를 적용하고, 이중 분류를 위해 마지막 층에는 활성화 함수로 Sigmoid를 사용하였으며, RMSprop와 Adam 옵티마이저를 적용하였다.

옵티마이저인 RMSprop는 경사하강 알고리즘의 확장으로, 각 매개변수에 대한 단계 크기를 조정할 때 부분 경사의 감쇠 평균을 사용한다. 이를 통해 알고리즘이 초기 경사를 잊어버리고 검색 진행 중에 가장 최근의 경사에만 집중하는 adaptive gradient 알고리즘의 한계를 극복할 수 있다^{(Kurbiel et al., 2017)}.

옵티마이저인 Adam은 확률적 경사하강법의 확장으로, 자연어 및 컴퓨터 비전 문제의 희소 경사에 대한 성능을 향상시키기 위해 매개변수별 학습률을 유지하는 adaptive gradient 알고리즘과 가중치에 대한 경사의 크기의 평균을 기반으로 조정된 매개변수별 학습률을 유지하는 옵티마이저 RMSprop 알고리즘의 장점을 가지고 있다^{(Kingma et al., 2014)}.

Table 2~3의 바닐라 컨볼루션 신경망 모델에서는 옵티마이저인 RMSprop와 Adam, 그리고 드롭아웃 및 이미지 증식의 적용 여부에 따라 8가지 경우를 시뮬레이션하였으며, 이에 따른 도출된 top-1 검증 정확도와 연산 시간을 Table 5에 정리하였다.

Table 4의 8가지 경우에서 이미지 증식 적용 영향 분석을 위한 결과를 Fig. 4에 정리하였다.

Fig. 4(a)와 Fig. 4(c)의 이미지 증식 적용으로 인해 학습 정확도와 검증 정확도가 거의 동일하여, 이미지 증식이 적용되지 않은 Fig. 4(b)와 Fig. 4(d)에서는 과대접합이 발생하지 않고 있다. Fig. 4(c)와 Fig. 4(d)에서의 옵티마이저 Adam 적용 시, 이미지 증식으로 인한 과대접합 감소 정도가 Fig. 4(a)와 Fig. 4(b)에서의 옵티마이저 RMSprop 적용 시의 것보다 더 높은 것으로 나타났다. 과대접합을 감소시키는 방법 중 하나인 드롭아웃 적용에 따른 시뮬레이션 결과는 Fig. 5에 정리하였다.

에포크 150회에 한정하여 분석할 경우, 드롭아웃 미적용 시 약 60회 에포크 이후에 과대접합이 발생하지만(Fig. 5(b)), 드롭아웃 적용 시에는 에포크 100회 정도까지 과대접합이 발생하지 않는 것으로 나타나고 있어, 과대접합을 지연시키는 드롭아웃의 효과를 확인할 수 있다.

GPR B-scan 회색조 이미지에서 싱크홀 특성 추출에 이미지 증식을 적용할 경우(case 1, 3, 5, 7), 필요 연산 시간이 약 40 % 정도 증가하였으나, top-1 검증 정확도 상승이 발생하지 않는 것으로 Table 5에 나타나고 있다. 비용 개념을 고려한 연산 시간과 top-1 검증 정확도를 기반으로 아키텍처 효율 지수(architecture efficient index)를 Eq. (1)과 같이 도출하여, top-1 검증 정확도와 함께 Fig. 6에 나타내었다.

Table 2에서 바닐라 컨볼루션 신경망에 옵티마이저 Adam을 적용한 경우, 이미지 증식과 드롭아웃의 적용 여부와 관계없이 거의 동일한 top-1 검증 정확도(77.2~78.2 %)가 case 5~8에서 분석된다. 반면 옵티마이저 RMSprop을 적용한 경우(case 1~4)에는 top-1 검증 정확도(70.9~76.3 %)의 변동폭이 상대적으로 높다. 이는 Fig. 6(a)에서 확인할 수 있다.

Fig. 6(b)의 아키텍처 효율 지수를 살펴보면, 이미지 증식에 따른 연산 시간 증가로 이미지 증식이 고려된 case 1, 3, 5, 7의 아키텍처 효율 지수가 0.83~0.94로, 이미지 증식이 고려되지 않은 case 2, 4, 6, 8의 아키텍처 효율 지수인 1.22~1.35와 비교하여 약 30.3~31.9 % 낮은 것으로 나타났다. Case 1과 3, case 2와 4, case 5와 7, case 6과 8을 각각 비교할 경우, 드롭아웃의 적용으로 인해 연산 시간과 top-1 검증 정확도의 변화가 거의 없어 아키텍처 효율 지수가 거의 동일한 것으로 나타났다.

3.2 사전 훈련된 컨볼루션 신경망

사전 훈련된 컨볼루션 신경망은 대량의 데이터 세트에서 미리 훈련된 네트워크이다. 충분히 큰 이미지 데이터 세트로 훈련된 네트워크는 훈련된 이미지와는 완전히 다른 클래스에도 매우 유용하게 활용된다. 특성 추출은 새로운 이미지 데이터 세트에서 특성을 뽑아내는 것으로, 이러한 특성을 바탕으로 맞춤 분류기를 훈련시킨다. 특성 추출은 빠른 특성 추출(fast feature extraction)과 특성 추출(feature extraction)로 나누어진다.

빠른 특성 추출은 많은 연산이 수반되는 합성곱 연산을 한 번만 실행하기 때문에 빠르고 비용이 적게 들지만, 과대접합을 최소화할 수 있는 데이터 증식을 적용할 수 없다. 특성 추출은 사전 훈련된 컨볼루션 신경망 위에 층을 쌓아 확장한 후 새로운 이미지 데이터 세트로 전체 네트워크를 실행한다. 모든 입력 이미지가 매번 합성곱 기반 층을 통과하기 때문에 이미지 증식을 사용할 수 있다.

사전 훈련된 가중치와 함께 사용할 수 있는 딥러닝 모델로는 케라스 홈페이지에서 38개(2023년 12월 30일 기준)의 사전 훈련된 딥러닝 모델을 제시하고 있으며, 최근 컴퓨터 비전 분야에서 널리 사용되는 사전 훈련된 딥러닝 모델은 Resnet50, EfficientNet, Inceptionv3이다.

ResNet50 모델은 마이크로소프트에서 개발되었으며, 기울기 소실 문제를 해결하여 최대 100개의 레이어로 구성된다. EfficientNet은 구글에서 개발한 STOA(state-of-the-art) 모델이며, InceptionV3 모델 또한 구글에서 개발한 모델로서 생성하는 매개변수의 수와 발생하는 계산 비용 측면에서 효율적으로 평가되고 있다. 이러한 3개의 모델 외에 케라스 홈페이지에서 제시하는 VGG, DesNet, MobileNetV2 모델의 성능을 Table 6에 정리하였다.

Table 6에서 EfficientNetB7의 top-1 검증 정확도(84.3 %)가 가장 높지만, GPU 기반 연산 시간(61.6ms)이 가장 높아 정확도와 연산 시간을 종합적으로 고려할 때 신경망 효율이 가장 낮게 된다. 반면에 MobileNetV2는 상대적으로 낮은 top-1 검증 정확도(71.3 %)를 보여주지만, 짧은 연산 시간(3.8 ms)으로 가장 높은 효율을 보여준다.

MobileNetV2는 모바일 체계에 필요한 낮은 계산 복잡도와 저전력으로도 충분한 정확도를 확보할 수 있는 가벼운 신경망이다 ^{(Howard et al., 2017)}. 관련하여 MobileNetV3-Large 및 MobileNetV3-Small을 개발하는 등 계속적인 연구가 진행되고 있다^{(Howard et al., 2019)}. MobileNets의 성능은 Table 7에 정리하였다.

Table 7에서는 MobileNetV3-Large이 가장 높은 top-1 검증 정확도를 보여주고 있으며, MobileNetV3-Small의 연산 시간이 가장 짧다. 옵티마이저(RMSProp, ADAM) 종류와 드롭 아웃 및 이미지 증식의 적용 여부에 따른 빠른 특성 추출과 특성 추출의 성능을 평가하기 위해 Table 6~7의 모델을 사용하여 Table 8에 8가지 경우의 GPR B-scan 회색조 이미지의 싱크홀 특성 추출 시뮬레이션을 수행하였다. 가장 높은 top-1 검증 정확도가 분석된 VGG19 시뮬레이션 결과를 Fig. 7에 정리하였다.

VGG19 기반 특성 추출에 옵티마이저 RMSprop을 적용할 경우, 드롭아웃이나 이미지 증식의 적용 여부에 관계없이, 에포크 30 이상에서 명확한 과대접합이 발생하는 것을 Fig. 7(a), (c)에서 확인할 수 있다.

반면에, Fig. 7(b), (d)에서는 드롭아웃을 적용한 빠른 특성 추출에 과대접합 정도가 감소하고 오히려 과소접합이 발생하는 양상을 보여준다. 옵티마이저 Adam을 적용할 경우에는 과소 및 과대 접합이 발생하지 않지만 낮은 top-1 검증 정확도를 Fig. 7(e), (f)에서 보여주고 있으며, 빠른 특성 추출을 적용할 경우에는 일정 이상의 에포크부터 명확한 과대접합이 Fig. 7(f), (h)에서 나타난다.

이러한 결과로부터, 동일한 모델에 대해서도 특성 추출 방법과 적용된 옵티마이저 등이 시뮬레이션 결과에 명확한 영향을 미치는 것으로 판단된다. Table 6~7의 사전 훈련된 컨볼루션 신경망의 GPR B-scan 회색조 이미지 싱크홀 특성 추출 top-1 검증 정확도를 Table 9에 정리하였다.

옵티마이저 종류, 이미지 증식 및 드롭아웃 적용 여부, 특성추출 방법에 따라 동일한 신경망에서도 top-1 검증 정확도의 변화가 발생하는 것으로 Table 9에서 분석되고 있다. Table 6의 KERAS 시뮬레이션 결과에서 EfficientNetB7와 MobileNetV2의 top-1 검증 정확도가 각각 84.3 %, 71.3 %로, 이 두 모델의 top-1 검증 정확도의 13 % 차이가 발생하는 것으로 평가되고 있지만, 본 연구에서 도출된 Table 9의 두 신경망 top-1 검증 정확도는 각각 80.9 %, 78.2 %로 거의 차이가 발생하지 않는 것으로 나타났다.

이는 KERAS 시뮬레이션 대상 이미지 특성과 시뮬레이션 조건이 본 연구의 GPR B-scan 회색조 이미지의 싱크홀 특성 추출에 사용된 이미지 특성 및 시뮬레이션 조건과 상이하기 때문이다.

모바일 체계에 합당한 MobileNetV2는 Table 9의 5번 시뮬레이션 조건(Adam, Dropout, Image generation, feature extraction)으로 EfficientNetB7와 상응하는 높은 top-1 검증 정확도를 보장할 수 있을 뿐만 아니라 상대적으로 짧은 연산 시간으로 신경망 효율을 강화할 수 있다.

EfficientNetB7, InceptionV3, VGG19, MobileNetV3-Large는 시뮬레이션 조건에 따라 각각 29.8 %, 26.4 %, 31.8 %, 24.6 %의 높은 top-1 검증 정확도 변화가 발생하고 있으므로 해당 신경망을 객체 검출 및 분할 백본으로 적용할 경우에는 매개변수 등의 적용에 신중해야 한다. 본 연구에 활용된 GPU 탑재 컴퓨터의 1 에포크 연산 시간을 Table 10에 정리하였다.

Table 10에서 시뮬레이션 조건에 따라 동일한 신경망에서도 연산 시간 변화가 나타나고 있다. DesNet121은 적용된 시뮬레이션 조건에 따라 연산 시간이 최대 311.1 % 변화하는 것으로 분석되었다. Eq. (1)에 따른 아키텍처 효율 지수를 Table 11에 정리하였다.

각 신경망의 최대 아키텍처 효율 지수는 2.81에서 5.45 사이로, 모델 간에 최대 1.94배의 차이가 발생함을 Table 11에서 분석하고 있다. 시뮬레이션 조건에 따라 연산 시간과 top-1 검증 정확도가 변화하면서 아키텍처 효율 지수가 변화하며, 이 변화가 낮을수록 모델이 강건한 것으로 판단된다.

Table 11의 결과를 통해 각 모델의 시뮬레이션 조건 변화에 따른 아키텍처 효율 지수 변동 정도를 살펴보면, DesNet121 및 MobileNetV3-Large에서 각각 246.0 %, 177.4 %의 높은 변동이 있어 이 모델들을 GPR B-scan 회색조 이미지의 싱크홀 객체 검출 및 분할 백본으로 사용할 때는 시뮬레이션 조건 적용에 특히 주의해야 할 것으로 분석된다.

InceptionV3의 아키텍처 효율 지수 변화는 22.6 %로 가장 낮아 가장 강건한 모델로 평가된다. Table 9에서 분석된 top-1 검증 정확도와 Table 11의 아키텍처 효율 지수를 정리한 결과는 Table 12와 같다.

Table 12를 종합적으로 고려할 때, 상위 25 %의 top-1 검증 정확도(81.1 % 이상)와 상위 25 %의 아키텍처 효율 지수(4.32)를 동시에 충족하는 VGG19 및 VGG16이 GPR B-scan 회색조 이미지의 싱크홀 특성 추출 백본으로 상대적으로 높은 효율성을 갖는 것으로 나타나고 있다. 또한, GPR 내재 기반 실시간 B-scan 회색조 이미지의 싱크홀 특성 추출을 위해서는 MobileNet 중 MobileNetV3-Large가 가장 적합하다고 평가된다.