3.1 빅데이터 구축

딥러닝 학습을 위해서는 학습 데이터양과 질이 매우 중요하다. 학습데이터는 학습, 검증, 테스트 3가지 세트로 구성되며, 일반적으로는 학습데이터와 검증데이터 비율을 약 8:2 비율로 구축한다. 학습데이터 구축 시 재질과 조명, 각도 등의 다양한 조건에서 촬영된 교량 영상을 포함하여 학습데이터에만 지나치게 학습하는 과적합 문제가 발생하지 않도록 해야 한다.

학습데이터의 수를 증가시키기 위해 이미지 분할(Image Segmentation)과 이미지 변형(Image Transformation) 기술을 적용해야 한다. 즉, 전체 이미지를 작은 이미지로 분할하거나, 3방향 회전(90°, 180°, 270°)과 상·하, 좌·우 반전, 밝기 조절, 블러링 등을 이용하여 데이터 수를 증가시킨 경우 거짓 긍정(False Positive) 빈도는 높아질 수 있지만 거짓 부정(False Negative)은 줄어드는 효과가 있다. 교량 상태평가 경우 손상을 놓치는 경우 상태평가에 문제가 발생할 수 있으므로 재현율을 높이는데 초점을 맞추어 학습데이터를 구축해야 한다. 따라서, 딥러닝을 활용한 손상탐지 모델에 대한 학습데이터 구축을 위해 Table 3과 같이 영상정보의 데이터 분류체계를 작성하였다.

3.2 전이학습

전이학습(Transfer Learning)은 특정 환경에서 기존에 학습된 인공신경망을 다른 목적의 비슷한 응용분야에 적용하기 위해 일부 조정하여 사용하는 것을 말한다. 전이학습은 학습 데이터가 부족한 경우 적용될 수 있으며, 이미지 분류를 위한 인공지능 모델개발과 학습시간을 단축시킬 수 있고, 검증된 정확도의 모델을 활용할 수 있다는 장점이 있다. 즉, 방대한 데이터로부터 학습된 모델은 이미지의 전체적인 특징과 세부적인 특징들을 추출할 수 있게 된다.

3.3 손상검출방법

교량의 손상 영역을 검출하기 위한 방법은 크게 윈도우 슬라이딩 기법을 이용한 객체 분류 모델과, 객체 검출 모델, 분할 모델로 나눌 수 있다.

윈도우 슬라이딩 기법을 이용한 객체 분류모델은 교량 영상을 작은 크기의 윈도우로 분할한 뒤 각각 CNN에 입력하여 손상의 종류를 판별한다. 각각의 윈도우에 CNN을 적용한 결과로 확률 맵(Probability Map)을 생성할 수 있다. 이때 손상이 윈도우 경계에 위치하는 경우에 탐지가 불가능한 문제를 해결하기 위해 가로·세로 50 % 만큼 중첩이 되도록 윈도우를 생성한다.

교량 손상을 검출하기 위한 4 K (3,840×2,160) 이상의 고해상도 영상을 이용하는 경우에 224×224 크기의 중첩 윈도우 적용 시 600개 이상의 윈도우에 대해 CNN을 적용해야하므로 실시간 처리의 한계가 있다. 따라서 윈도우 슬라이딩 단계 이후, 정량화를 위한 픽셀단위로 손상을 검출하기 위해서는 이미지 프로세싱 기법을 이용한다. Fig. 4는 윈도우 슬라이드 기법의 교량 손상 검출 시나리오를 나타내었다.

객체 검출 모델 적용 시 한 장의 이미지에 대해 한 번의 처리로 객체를 검출할 수 있으므로 실시간 처리가 가능한 장점이 있다. 그러나 검출 결과가 객체의 모든 경계를 포함하는 최소 크기의 경계 박스이므로 균열의 검출에는 적합하지 않다. 즉, 균열의 경우 이미지 내에서 불규칙하게 이어져 있으므로 경계 박스 형태로 검출 시 이미지 전체 영역이 검출되는 문제가 있다. 또한, 원본 이미지를 작은 사이즈로 축소 후 처리하므로 크기가 작은 손상은 검출이 불가능한 문제가 발생할 수 있다.

Fig. 4. Scenario of Bridge Damage Detection Using Window Sliding Method

앞서 설명한 모델은 객체 탐지 이후에 픽셀 단위 손상 검출을 위해 이미지 프로세싱 기법을 적용해야한다. 이 또한 촬영조건과, 손상의 종류에 따라 매우 복잡한 문제가 될 수 있다. 반면, 분할 모델은 경계박스 형태가 아닌 픽셀단위로 객체탐지가 가능한 모델이며, 대표적으로 의미론적 분할 모델(Mask Regions with Convolutional Neuron Networks, Mask R-CNN)와 Unet이 있다. Mask R-CNN은 기존 객체 검출 모델 중 하나인 Faster R-CNN은 예측 단계를 추가한 모델이고, Unet은 메디컬 분야에서 널리 사용되는 분할 모델이다.

Mask R-CNN과 Unet 모두 객체의 검출(Detecting)-분류(Classification)-분할(Segmentation)이 실시간으로 가능한 것이 장점이다. Mask R-CNN의 경우 Unet에 비해 입력 및 출력 이미지의 크기가 약 2배정도 크다는 장점이 있고, Unet의 경우 검출 속도가 더 빠르다는 장점이 있다.

3.4 손상 정량화

교량 상태평가에서 정량화는 검출된 손상 영역의 실제 크기를 계측하는 기술을 의미한다. 이를 위해서는 영상 내에서 손상영역을 픽셀단위로 검출하는 단계가 선행되어야 하며, 검출된 픽셀을 실제 거리 단위로 변환하는 과정이 필요하다. 주어진 영상에서 픽셀을 실 거리 단위로 변환하기 위한 방법은 크게 세 가지로 나눌 수 있다.

첫째로, 영상 촬영 시 기준거리가 되는 체커보드를 교량 외각에 부착 후 촬영하는 방법이다. 촬영 된 영상 내의 체커보드를 통해 픽셀 당 실제 거리를 유추해 낼 수 있으며, 체커보드의 모양을 이용하여 왜곡 보정이 가능하다.

둘째로, 교량 구조물의 실제 거리정보의 입력을 통한 거리 계산 방법이다. 예를 들어 교각의 경우, 교각의 실제 너비 값을 이용해 손상의 크기를 계산할 수 있다.

셋째, 영상 촬영 시 깊이 맵을 획득 가능한 스테레오 카메라 혹은 ToF 카메라를 사용하는 방법이다. 픽셀간의 거리를 정확하게 계산할 수 있으므로 가장 정확한 정량화가 가능하다는 장점이 있고 카메라의 깊이 맵 획득 범위 이내에서 촬영해야 한다는 제한성이 있다.

세 가지 방법을 비교해 보면, 첫 번째 방법은 영상 촬영 시 마다 체커보드를 부착해야 하며, 정확도를 높이기 위해서는 체커보드의 크기 또한 커져야 하므로 현실적인 적용이 불가능하다. 세 번째 방법은 정확도는 가장 높지만 특수한 카메라를 사용해야 하는 점에서 범용적으로 적용하기에는 한계가 있다. 따라서 정량화를 위해서 두 번째 방법이 가장 적합하다고 판단되며, 본 논문에서의 실구조물의 거리정보를 입력 할 수 있도록 프로토타입을 개발하였다.

3.5 소결

본 논문에서는 손상(균열, 망상균열, 박리/박락, 철근노출)의 학습데이터를 구축하였으며, 손상탐지에서의 네거티브 샘플인 시공이음부, 줄눈, 교각 등 미관을 위한 형상들은 학습데이터로 활용하지 않았다. 학습데이터는 손상검출 및 정량화에 문제가 발생하지 않도록 최대 1024×1024 픽셀로 학습하였고, 고화질의 데이터의 경우 윈도우 슬라이딩 기법을 활용하여 이를 극복하였다. 또한, 손상 정량화를 픽셀 값으로 도출하기 위해 정밀한 레이블링이 필요하며 이를 위해 각 학습영상데이터의 손상에 대한 픽셀 레이블링을 진행하였다.

4.1 딥러닝 모델 선정

본 논문에서는 교량 상태평가를 위해 픽셀단위의 정확한 손상 검출 및 정량화가 가능한 분할 모델이 가장 적합하다고 판단하였으며, Semantic Segmentation 모델 중 가장 보편적이고 성능이 우수하다고 알려진 Unet과 Mask R-CNN을 검토하였다. Mask R-CNN의 경우, 기본 입력 사이즈가 1000×800 픽셀로 U-net에 비해 상대적으로 크고 적은 양의 학습데이터로도 전이학습이 가능하다. 또한, 손상검출-분류-픽셀단위 검출을 동시에 수행, 이미지 전체에 대해 한 번에 검출가능(4 K 기준 0.5초) 등의 장점(Table 4)이 있어, 본 논문에서는 Mask R-CNN을 선정하여 교량 상태평가 프로토타입을 개발하였다.

4.2 학습데이터 구축 및 레이블링

학습데이터의 손상은 콘크리트의 균열, 망상균열, 박리/박락, 철근노출이며, 정밀안전진단 세부지침에 따라 기준을 선정하였다. 균열의 경우 폭 0.1 mm이상~1.0 mm미만 범위, 망상균열은 0.1 mm이상~0.3 mm미만에 손상에 대하여 기준을 선정하였다. 망상균열의 경우 손상이 0.3 mm 이상일 때 콘크리트 박리가 발생하여 이 이상 검출에 대해서는 고려하지 않았다. 박리/박락, 철근노출의 경우는 조사단위면적에 따라 손상발생 면적을 계산하여 표면손상 면적율로 기준을 선정하였다. 교량 손상탐지 프로토타입 프로그램에 사용한 학습데이터 수는 총 5,140장을 적용하였다. 수집한 외관조사 영상 중에 손상유형이 뚜렷하지 않거나 손상과 백묵이 겹쳐져 있는 경우, 손상유형을 판단 할 수 없는 영상데이터는 제외하였으며, 기존 연구에서 활용한 오픈데이터(Table 5)와 자체취득 영상 중 적합한 데이터를 선별하여 학습에 활용하였다.

양질의 학습데이터 활용 및 확보를 위해 Fig. 5와 같이 데이터 정제 작업을 수행하였다. 최대 1024×1024 픽셀 단위로 손상이 명확하게 구분되도록 하였고, 복합 손상 영상데이터에서는 정제작업을 통해 고화질의 단일 손상 학습데이터를 확보하였다. 학습에 활용한 데이터 수는 Table 6과 같으며, 손상별로 균열은 3,400장, 망상균열 240장, 박리·박락 및 철근노출 1,500장을 활용하였다.

향후 손상탐지의 정확도와 정밀도를 높이기 위해서는 정제된 학습데이터가 손상 당 최소 약 3~5천장이 필요하며, 이미지에 대한 픽셀별 손상이 정교하게 레이블링 된다면 결과에 대한 신뢰성을 충분히 확보할 것으로 판단된다.

Mask R-CNN, 이미지 분할 딥러닝 기술을 위한 학습데이터 생성 시에는 Oxford 대학 연구실에서 제공하는 Web 기반 레이블링 툴인 VIA (VGG Image Annotator)를 이용하였다. 또한, 균열, 박리/박락, 철근노출, 케이블 도장/박리 등의 학습을 위한 데이터 레이블링을 수행하였다. Fig. 6과 같이, 손상 범위에 대해 레이블링을 하면 결과 혹은 손상 범위에 대해 검출하여 오차가 발생된다. 따라서 최대한 균열 등의 손상을 정확하게 검출하기 위해 손상 윤곽 내부를 더욱 정밀하게 픽셀단위로 레이블링(Fig. 7)하였다.

Fig. 5. Data Refinement Methods and Results

Fig. 6. Setting of Wrong Labeling

Fig. 7. Setting of Proper Labeling

4.3 프로토타입 프로그램 개발 시나리오 작성

본 논문에서 개발한 프로토타입은 Fig. 8과 같이 총 4단계로 영상 로드, 기준거리 입력, 정량화, 보고서로 분류하였다.

영상입력 단계에서는 분석하고자 하는 영상과 부재 및 면적에 대해 입력한다. 그리고 기준거리 입력은 손상 정량화에 대한 평가를 위해 대상 구조물의 실측값을 기준값으로 활용하여 픽셀 1개에 대해 실제 수치로 환산하는 단계로 손상 정량화가 가능하도록 기입하였다. 마지막, 보고서 단계에서는 정량화된 수치에 따라 영상에 표현된 시설물 범위와 손상 기반의 시설물 등급과 손상 수치, 위치 등이 표현되도록 작성하였다.

Fig. 8. Scenario of Development of Bridge Damage Detection Prototype Program based on Deep-Learning

4.4 교량 상태평가 프로토타입 프로그램 결과

4.4.1 교량 상태평가 프로토타입 프로그램 성능 검토

본 논문에서 개발한 프로토타입에 대한 성능 검토를 위해 콘크리트 균열, 박리/박락, 철근노출을 검증 대상으로 선정하였으며, 영상기반 딥러닝 알고리즘 성능 검증지표인 정밀도(precision)와 재현율(recall)을 통하여 알고리즘 성능 검증을 실시하였다. 또한, Tables 7 and 8과 같이 정밀도와 재현율을 확인하기 위해서 True Positive (TP), False Positive (FP), False Negative (FN), True Negative (TN)로 분류하고 성능 값을 산정하였다. 콘크리트 균열, 박리/박락, 철근노출 영상 학습데이터 5,140장과 510장의 테스트 데이터로 구성하여 검증한 결과, 정밀도는 95.2 %, 재현율은 93.8 % 나타났다. 콘크리트의 균열, 박리/박락, 철근노출 등 이미지를 통해 손상 검출한 결과는 Table 9, Fig. 9와 같다. 본 논문에서는 기존 다수의 연구 및 논문의 성능 검토를 위한 정밀도, 재현율 검증과 더불어 실제 균열과의 크기 비교 및 부재 단위의 손상률 등으로 2차 검증을 실시하였다.

실제 원본 이미지와의 비교를 위해 2,000만 화소(4 k) 카메라, 0.6 m 거리로 촬영한 결과와 점검자가 육안으로 조사했을 시 크기 0.8 mm 균열에 대한 이미지를 분석하였다. 그 결과(Fig. 10), 최대크기 0.88 mm 최소크기 0.12 mm로 검출되었다. 즉, 근접촬영의 경우 지속적으로 정제된 손상 데이터와 정밀하게 레이블링된 데이터를 가지고 딥러닝 시 검출성능은 더욱 향상 될 수 있을 것으로 판단된다.

Table 7. Performance Measures according to True and Predicted Conditions

Classification		True Answer
		True	False
Predicted Condition	Positive	True Positive (TP)	False Positive (FP)
	Negative	False Negative (FN)	True Negative (TN)

Table 8. Indicators for Checking Deep-Learning Performance

Performance Index	definition	Formula
Precision	Percentage of deep-learning model recognized as true that is true	$\dfrac{TP}{TP+FP}$
Recall	Percentage of actual truth recognized by deep-learning model as true	$\dfrac{TP}{TP+FN}$

Table 9. Result Performance of Crack & Reticular Crack, Stripping & Exfoliation and Rebar Exposure

Evaluation Scale	Precision	Recall
Performance	0.952	0.938

실제 교각을 대상으로 원거리 촬영 영상의 프로그램 성능 검토를 위해 망원렌즈(600 mm) 촬영한 후 왜곡 보정 및 정밀도 향상을 위해 정합 위치별 표적지를 설치하여 영상분석을 실시하였다(Fig. 11).

교각(H: 9.8 m, W: 12 m)의 외관(육안)조사망도 및 손상물량표를 검토하여 손상률과 프로토타입 프로그램의 손상률의 성능검토를 실시하였다. 외관(육안)조사망도의 손상률은 Eq. (1)에 따라 16.48 %로 산정하였고, 영상 분석 결과는 19.74 % (Fig. 12)로 3 %로 이상 오차가 발생하였다. 이는 고화질 영상의 경우 확대 시 콘크리트 표면의 불균질함이 손상으로 인식되어 오차가 발생하는 것이라 판단된다. 프로토타입 프로그램은 영상을 활용한 초기점검용으로 활용하는 것이 적절하다고 판단된다.

(1)

손상률(%) = $\dfrac{결함 및 손상 면적(m^{2})}{조사단위(부재)면적(m^{2})}\times 100$

Fig. 9. Results of Damage Detection Using Prototype Program (Concrete Crack, Stripping & Exfoliation And Rebar Exposure)

Fig. 10. Comparison of Detection Result with Crack in Original Image

Fig. 11. Long-Distance Photograph of Pier Taken Using Telephoto Lens Camera

Fig. 12. Result of Image Using Telephoto Lens Camera

4.4.2 딥러닝 기반 교량 상태평가 프로토타입 GUI

딥러닝 기반 교량 상태평가 프로토타입은 ver.4.3 시나리오 기반으로 GUI를 표현하였다. 즉, 사용자가 손상검출 분석할 이미지 로그와 실구조물의 수치입력을 통해 기준 픽셀수치를 정하여 최종적으로 검출하고자하는 손상에 픽셀단위로 정량화하여, 최종적으로 상태평가 등급이 표현 가능하도록 GUI (Fig. 13)를 개발하였다.

Fig. 13. GUI of Prototype Program for Damage Detection