박영훈(Park, Younghoon)1†
-
정회원 · 교신저자 · 부천대학교 토목공학과 교수
(Corresponding Author · Bucheon University ․ pyh@bc.ac.kr)
Copyright 2026 by the Korean Society of Civil Engineers
핵심용어
철근콘크리트 구조물, 복합 손상 분할, Three-Multihead, 균열, 철근노출, 박락
Keywords
Reinforced concrete structures, Multi-damage segmentation, Three-Multihead, Crack, Rebar exposure, Spalling
1. Introduction
철근콘크리트 구조물은 건축물, 교량, 터널 및 옹벽 등 다양한 사회기반시설에 널리 사용되고 있다. 그러나 장기간 사용 과정에서 환경적 열화, 반복하중,
철근 부식 및 노후화 등의 영향으로 균열, 철근노출 및 박락과 같은 다양한 손상이 발생한다. 이러한 손상은 구조물의 내구성 및 사용성을 저하시킬 뿐만
아니라 장기적으로 구조 안전성에도 영향을 미칠 수 있으므로 정확한 손상 진단과 유지관리가 중요하다(Cha et al., 2017;
Dorafshan et al., 2018).
최근에는 무인항공기(UAV), 로봇 플랫폼 및 고해상도 영상장비의 발전과 함께 영상 기반 자동 손상진단 기술이 활발히 연구되고 있다. 특히 딥러닝
기반 영상분석 기술은 구조물 표면 손상을 자동으로 탐지하고 정량화할 수 있는 효과적인 방법으로 주목받고 있다(Cha et al., 2017;
Dorafshan et al., 2018;
Zhang et al., 2016;
Zou et al., 2019). 초기 연구들은 손상의 존재 여부를 판단하는 영상 분류 또는 객체 검출에 초점을 두었으나, 최근에는 픽셀 단위의 손상 영역을 추정할 수 있는 의미론적
분할 기법이 널리 활용되고 있다(Chen et al., 2018;
Ronneberger et al., 2015;
Yang et al., 2018). 의미론적 분할은 손상의 위치와 형상을 정밀하게 표현할 수 있어 구조물 상태평가 및 유지관리 분야에서 높은 활용 가능성을 가진다.
한편 기존 연구의 대부분은 균열, 철근노출 또는 박락과 같은 단일 손상 유형에 대한 분할 성능 향상에 집중되어 있다. 실제 구조물에서는 여러 손상이
복합적으로 공존하는 경우가 많으며, 철근 부식에 의해 균열이 발생하고, 이후 박락 및 철근노출로 진행되는 열화 과정이 대표적인 예이다. 따라서 실제
점검 환경에서는 여러 손상 유형을 동시에 고려할 수 있는 다중 손상 분할 기술이 요구된다.
다중 손상 분할을 실제 구조물 점검 환경에 적용하기 위해서는 몇 가지 기술적 과제를 해결할 필요가 있다. 균열, 철근노출 및 박락은 형상적 특성이
크게 상이하여 단일 출력 구조만으로는 각 손상의 특징을 효과적으로 학습하기 어렵다. 또한 서로 다른 손상 클래스는 동일 영역 또는 인접 영역에 함께
존재할 수 있으므로, 실제 손상과 무관한 클래스가 동시에 활성화되거나 중복 예측이 발생할 수 있다.
본 연구에서는 균열, 철근노출 및 박락을 동시에 분할하기 위한 Three-Multihead 기반 의미론적 분할 모델을 제안한다. 제안 모델은 공유
인코더와 손상별 전용 헤드로 구성되어 손상별 특징을 독립적으로 학습하면서도 하나의 영상에서 여러 손상을 동시에 예측할 수 있도록 설계되었다. 또한
손상 클래스 간 공간적 상호작용 정보를 학습 과정에 반영하기 위하여 Pairwise Prior를 도입하고, 클래스 간 중복 활성화를 억제하기 위하여
Extra Loss를 적용함으로써 복합 손상 환경에서 발생하는 클래스 간 간섭 문제를 완화하고자 하였다. 제안 모델의 성능을 검증하기 위하여 기준
모델 및 Multi-Damage Representation 모델과의 비교 실험과 Ablation Study를 수행하였다. 또한 실제 구조물에서 수집한
44장의 복합 손상 이미지를 별도로 구축하여 성능을 평가하였으며, Fine-Tuning과 Threshold Optimization을 수행하여 실제
복합 손상 환경에 대한 적응 성능 향상 가능성을 추가적으로 분석하였다.
2. Related Work
2.1 RC Damage Segmentation Studies
철근콘크리트 구조물의 손상 자동 인식은 최근 딥러닝 기술의 발전과 함께 활발히 연구되고 있다. 초기 연구들은 손상의 존재 여부를 판단하는 영상 분류
또는 객체 검출에 초점을 두었으나, 최근에는 픽셀 단위의 손상 영역을 추정할 수 있는 의미론적 분할 기법이 널리 활용되고 있다. 균열 검출 분야에서는
U-Net, FCN 및 DeepLab 계열 모델을 활용한 연구가 수행되었으며, Zou et al.(2019)은 DeepCrack을 제안하여 계층적 특징 추출 기반의 균열 검출 성능 향상을 보고하였다. 또한 Yang et al.(2018)은 FCN을 이용한 픽셀 단위 균열 검출의 가능성을 제시하였으며, Dorafshan et al.(2018)은 CNN 기반 접근법의 적용 가능성을 확인하였다. 그러나 대부분의 연구는 특정 손상 유형, 특히 균열 검출에 집중되어 있으며, 균열·철근노출·박락을
동시에 고려하는 연구는 상대적으로 부족하다. 실제 구조물에서는 균열, 철근노출 및 박락이 복합적으로 발생하는 경우가 많으므로, 다중 손상을 동시에
고려할 수 있는 분할 프레임워크가 요구된다.
2.2 Multi-Damage Segmentation
다중 손상 분할은 하나의 네트워크를 이용하여 여러 손상 유형을 동시에 인식하는 방법으로, 최근 구조물 유지관리 분야에서 관심이 증가하고 있다(Bai et al., 2021;
Kim and Cho, 2020). 단일 손상 모델을 각각 독립적으로 운영할 경우 손상 유형별로 별도의 추론 과정이 필요하지만, 다중 손상 분할은 하나의 추론 과정에서 복수의 손상
정보를 동시에 획득할 수 있다는 장점을 가진다.
그러나 균열, 철근노출 및 박락과 같이 형상 특성이 크게 다른 손상들은 동일한 특징 공간에서 학습될 경우 클래스 간 경쟁과 경계 간섭이 발생할 수
있다. 이러한 현상은 다중 과제 학습에서 보고되는 task interference 또는 negative transfer 문제와 관련된다(Ding et al., 2023;
Vandenhende et al., 2020). 또한 손상 클래스 간 공간적 상호작용 정보를 고려하지 않는 경우 실제 손상과 무관한 클래스가 함께 활성화되거나 중복 예측이 발생할 수 있다. 따라서
다중 손상 환경에서는 손상별 특성을 유지하면서도 손상 클래스 간 공간적 상호작용 정보를 함께 고려할 수 있는 분할 구조가 요구된다.
2.3 Multi-Task Learning and Multi-Head Architecture
Multi-Task Learning(MTL)은 하나의 모델이 여러 개의 관련 과제를 동시에 학습하도록 설계하는 방법으로, 일반적으로 공통 특징 추출기와
과제별 출력 헤드로 구성된다(Caruana, 1997;
Crawshaw, 2020;
Kendall et al., 2018). 최근 컴퓨터 비전 분야에서는 객체 검출, 의미론적 분할, 깊이 추정 등 다양한 문제에 MTL이 적용되고 있으며, 관련 과제 간 특징 정보를 공유함으로써
성능 향상을 달성하고 있다(Crawshaw, 2020;
Kendall et al., 2018). 구조물 손상 분할 관점에서 균열, 철근노출 및 박락은 모두 콘크리트 열화와 관련된 손상이지만 형상적 특성은 서로 다르다. 따라서 공유 특징 공간을
활용하면서도 손상별 특징을 독립적으로 학습할 수 있는 Multi-Head 구조가 효과적인 대안이 될 수 있다. 특히 균열은 선형 구조, 철근노출은
방향성과 질감 특성, 박락은 면적 기반 특성을 가지므로 단일 출력 구조보다 손상별 전용 헤드를 사용하는 Multi-Head 구조가 보다 효과적일 수
있다. 이러한 특성을 고려하여 본 연구에서는 균열, 철근노출 및 박락을 위한 Three-Multihead 구조를 채택하였다.
2.4 Knowledge Distillation and Damage-Aware Learning
Knowledge Distillation(KD)은 성능이 우수한 Teacher 모델의 지식을 Student 모델로 전달하여 보다 효율적인 학습을 수행하는
방법이다(Hinton et al., 2015;
Romero et al., 2015). 일반적으로 Teacher 모델의 예측 결과 또는 특징 정보를 Student 모델이 학습함으로써 성능 향상을 유도한다. 한편 실제 구조물의 손상은
서로 독립적이지 않으며 열화 과정에 따라 일정한 관계를 가진다. 예를 들어 철근 부식은 균열을 유발할 수 있으며, 균열의 진행은 박락과 철근노출로
이어질 수 있다. 이러한 특성을 고려하여 손상별 특징 정보를 효과적으로 활용하면서도 손상 간 관계를 반영할 수 있는 학습 전략이 필요하다. 본 연구에서는
단일 손상 Teacher 모델의 정보를 활용하기 위하여 Knowledge Distillation을 적용하였으며, 손상 간 관계를 반영하기 위한 Pairwise
Prior와 손상 클래스 간 중복 활성화를 억제하기 위한 Extra Loss를 함께 적용하였다. 이를 통해 복합 손상 환경에 대한 적응 성능 향상을
도모하고자 하였다.
3. Proposed Three-Multihead Framework
3.1 Overview of the Proposed Framework
본 연구는 철근콘크리트 구조물에서 발생하는 균열, 철근노출 및 박락을 동시에 분할하기 위한 Three Multihead 기반 의미론적 분할 프레임워크를
제안한다. 제안 모델은 하나의 공유 인코더와 세 개의 손상 전용 헤드로 구성된다. 공유 인코더는 입력 영상으로부터 공통 특징을 추출하며, 각 손상
전용 헤드는 손상 유형별 특징을 독립적으로 학습한다. 이를 통해 하나의 네트워크에서 다중 손상을 동시에 예측하면서도 손상별 특성을 효과적으로 반영할
수 있도록 하였다. 또한 단일 손상 모델로부터 학습된 손상별 특징 정보를 활용하기 위하여 Knowledge Distillation(KD)을 적용하였다.
아울러 복합 손상 환경에서 발생할 수 있는 클래스 간 간섭과 중복 활성화 문제를 완화하기 위하여 Pairwise Prior와 Extra Loss를
도입하였다. Pairwise Prior는 손상 클래스 간 공간적 상호작용 정보를 학습 과정에 반영하며, Extra Loss는 서로 다른 손상 클래스의
중복 활성화를 억제하는 역할을 수행한다. Fig. 1은 제안된 Three-Multihead 프레임워크의 전체 구조를 나타낸다. 제안 모델은 Knowledge Distillation, Pairwise
Prior 및 Extra Loss를 통합적으로 활용하여 복합 손상 환경에서 보다 안정적인 다중 손상 분할 성능을 확보하도록 설계되었다.
Fig. 1. Overall Architecture of the Proposed Three-Multihead Framework Incorporating Knowledge Distillation, Pairwise Prior, and Extra Loss for Composite Damage Segmentation
3.2 Construction of Single-Damage Teacher Models
다중 손상 분할 모델을 구축하기에 앞서 균열, 철근노출 및 박락에 대한 단일 손상 분할 모델을 각각 독립적으로 학습하였다. 각 모델은 AI Hub
사회기반시설 손상 영상 데이터셋(AI-Hub, 2024)을 활용하여 구축하였으며, 해당 손상 유형만을 대상으로 학습을 수행하였다. 데이터 구성 및 학습 조건은 Table 1과 같다.
각 손상 유형별로 3,500장의 영상을 사용하였으며, 데이터셋은 이미지 단위로 무작위 분할하여 학습(70 %), 검증(15 %), 테스트(15 %)
데이터로 구성하였다. 입력 영상 크기는 512 × 512 pixel로 설정하였으며, 모델의 일반화 성능 향상을 위하여 horizontal flip,
vertical flip, rotation, shift, scale 및 color jitter 등의 데이터 증강 기법을 적용하였다. 모델은 DeepLabV3+
구조를 기반으로 하며 백본으로 ResNet50을 사용하였다(Chen et al., 2018;
He et al., 2016). 손실 함수는 Cross Entropy Loss를 사용하였고, learning rate=2.4×10⁻⁴, weight decay=1×10⁻⁴, batch
size=2 및 AdamW optimizer를 적용하여 총 150 epoch 동안 학습을 수행하였다. 성능 평가는 IoU, Dice coefficient,
Precision, Recall 및 F1 score를 이용하였으며, 각 평가지표는 Eqs. (1)~(5)와 같이 정의된다.
Eqs. (1)~(5)에서 TP, FP 및 FN은 각각 예측 결과와 정답 간의 일치 및 오차를 의미한다. 또한 경계 검출 성능을 평가하기 위하여 Boundary F1을
추가적으로 사용하였다. Boundary F1은 예측 경계와 실제 경계 간의 일치도를 평가하는 지표로, 경계 픽셀 기반의 precision과 recall을
이용하여 계산된다.
각 손상별 Optimal Threshold는 검증 데이터셋에 대해 수행한 threshold sweep 결과 중 Dice score가 최대가 되는 값을
사용하였다. Table 2에 따르면 철근노출은 Dice 0.82, mIoU 0.70으로 가장 높은 성능을 나타냈으며, 박락은 Dice 0.80, 균열은 Dice 0.70을
기록하였다. 특히 균열은 Boundary F1이 0.55로 가장 높게 나타나 선형 구조의 연결성과 경계 보존 특성이 비교적 잘 유지됨을 확인할 수
있었다. 반면 박락은 Dice 0.80을 기록하였으나 Boundary F1은 0.28로 나타나 경계 정밀도 측면에서 상대적으로 어려움이 있음을 확인하였다.
이러한 결과는 손상 유형에 따라 형상적 특성과 검출 난이도가 상이함을 보여준다. 본 연구에서는 각 단일 손상 모델을 Teacher 모델로 활용하여
Knowledge Distillation을 수행하고, 이를 통해 학습된 손상별 특징 정보를 Three Multihead Student 모델에 전달하고자
하였다.
Table 1. Training Dataset and Experimental Settings
|
Total number of images
|
Data split ratio
|
Input image size
|
Data augmentation
|
Model architecture
|
Loss function
|
Optimizer
|
Number of epochs
|
·Total 10,500 ·3,500 for Crack ·3,500 for Spalling ·3,500 for Rebar Exposure
|
·70 % for training ·15 % for validation ·15 % for testing
|
512 × 512 pixel
|
·Horizontal flip ·Vertical flip ·Rotation ·Shift, scale, color jitter
|
DeepLabV3+ ResNet50
|
Cross Entropy Loss
|
AdamW
|
150
|
Table 2. Performance Comparison of Single-Damage Segmentation Models
|
Damage Type
|
Optimal Epoch
|
Total number of images
|
Optimal Threshold
|
mIoU
|
Dice
|
Precision
|
Recall
|
F1
|
Boundary F1
|
|
Crack
|
95
|
3,500
|
0.59
|
0.55
|
0.70
|
0.64
|
0.78
|
0.70
|
0.55
|
|
Rebar Exposure
|
111
|
3,500
|
0.86
|
0.70
|
0.82
|
0.76
|
0.90
|
0.82
|
0.48
|
|
Spalling
|
104
|
3,500
|
0.70
|
0.68
|
0.80
|
0.72
|
0.91
|
0.80
|
0.28
|
3.3 Proposed Three-Multihead Student Model
3.3.1 Multihead Architecture
본 연구에서는 균열, 철근노출 및 박락을 하나의 네트워크에서 동시에 분할하기 위하여 Three Multihead 기반 Student 모델을 제안한다.
제안 모델은 하나의 공유 인코더와 세 개의 손상 전용 헤드로 구성된다. 공유 인코더는 입력 영상으로부터 공통 특징을 추출하며, 각 손상 전용 헤드는
해당 손상의 형상적 특성을 독립적으로 학습한다.
균열은 얇고 연속적인 선형 구조를 가지며, 철근노출은 방향성과 질감 특징이 두드러진다. 반면 박락은 비교적 넓은 면적 기반의 불규칙 형상을 나타낸다.
따라서 단일 출력 구조에서는 서로 다른 손상의 특징이 동일한 특징 공간에서 경쟁하게 되지만, Multihead 구조는 손상별 특징 표현을 독립적으로
학습할 수 있어 이러한 문제를 완화할 수 있다. 또한 Knowledge Distillation을 적용하여 단일 손상 Teacher 모델의 정보를 Student
모델에 전달함으로써 손상별 특징 표현을 유지하면서 복합 손상을 동시에 예측할 수 있도록 하였다.
3.3.2 Knowledge Distillation
단일 손상 Teacher 모델이 학습한 손상별 특징 표현 정보를 Multihead Student 모델에 전달하기 위하여 Knowledge Distillation을
적용하였다. Teacher 모델은 각각 균열, 철근노출 및 박락에 대해 독립적으로 학습된 단일 손상 분할 모델이며, Student 모델은 세 손상을
동시에 예측하는 Three Multihead 구조로 구성된다. Knowledge Distillation은 Teacher 모델의 예측 특성을 Student
모델이 학습하도록 함으로써 각 손상에 대한 특징 표현 능력을 효과적으로 유지하면서도 하나의 통합 모델 내에서 복합 손상을 동시에 학습할 수 있도록
한다. 이를 위해 Teacher와 Student의 예측 확률 분포 차이를 최소화하는 Distillation Loss를 적용하였다. Knowledge
Distillation Loss는 다음과 같이 정의된다.
여기서 $z_c^S$ 와 $z_c^T$ 는 각각 Student 모델과 Teacher 모델의 클래스 c에 대한 출력 logit을 나타내며, T는 distillation
temperature를 의미한다. 또한 $\sigma(\cdot)$는 sigmoid 함수이며, $\| \cdot \|_2^2$는 Mean Squared
Error(MSE) 기반 거리 척도를 나타낸다. 본 연구에서는 Teacher와 Student의 temperature-scaled sigmoid 확률맵
간 차이를 최소화함으로써 단일 손상 Teacher 모델이 학습한 손상별 특징 표현 정보를 Student 모델에 전달하고자 하였다. 이를 통해 손상별
특징 표현을 유지하면서 복합 손상 환경에 대한 적응 성능 향상을 유도하였다.
3.3.3 Pairwise Prior
실제 철근콘크리트 구조물에서는 균열, 철근노출 및 박락이 동일 영상 내에서 함께 나타나는 경우가 많다. 이러한 복합 손상 환경에서는 서로 다른 손상
클래스가 동일 영역 또는 인접 영역에서 동시에 활성화되면서 클래스 간 간섭과 과검출이 발생할 수 있다. 그러나 일반적인 다중 클래스 분할 모델은 각
손상 클래스를 독립적으로 학습하기 때문에 손상 간 공간적 관계와 상호작용 정보를 충분히 반영하기 어렵다. 본 연구에서는 복합 손상 환경에서 발생하는
클래스 간 간섭을 완화하고 손상 클래스 간 공간적 상호작용 정보를 학습 과정에 반영하기 위하여 Pairwise Prior를 도입하였다. Pairwise
Prior Loss는 다음과 같이 정의된다.
여기서 Pi와 Pj는 각각 손상 클래스 i와 j의 예측 확률맵을 나타내며, Rij는 손상 클래스 쌍(i, j)에 대한 Pairwise Prior Loss의 상대적 기여도를 조절하는 관계 가중치이다. 또한 $\odot$는 원소별
곱을 의미하며, $\| \cdot \|_1$는 L1 norm을 나타낸다. 본 연구에서는 특정 손상 조합의 공존 가능성을 차등적으로 강제하기보다는 Pairwise
Prior의 기본 효과를 동일한 조건에서 검증하기 위하여 모든 손상 클래스 조합에 동일한 가중치 Rij = 1을 적용하였다. 해당 값은 학습 과정에서 고정하였으며, 모든 비교 실험과 Ablation Study에 동일하게 사용하였다. 따라서 Rij는 손상 조합별 공존 확률을 직접 의미하는 값이 아니라, 클래스 쌍별 정규화 항의 상대적 크기를 조절하는 계수로 해석된다.
본 연구의 Pairwise Prior는 Eq. (7)과 같이 손상 클래스 간 예측 확률맵의 상호작용을 반영하는 정규화 항으로 구성하였다. 실제 구현에서는 철근노출이 박락 영역보다 과도하게 확장되는 경우를
억제하고, 철근노출 주변에서 박락 및 균열이 나타날 수 있는 공간적 관계를 고려하도록 설계하였다. 또한 균열이 철근노출 또는 박락과 무관하게 과도하게
활성화되는 경우를 완화함으로써 복합 손상 환경에서 발생할 수 있는 클래스 간 간섭을 줄이고자 하였다.
따라서 Pairwise Prior는 특정 손상 조합의 공존을 일률적으로 강제하는 항이 아니라, 손상 클래스 간 공간적 상호작용 정보를 학습 과정에
반영하여 예측 결과의 구조적 정합성을 향상시키기 위한 정규화 항으로 사용되었다. 이를 통해 손상별 특징 표현의 일관성을 유지하면서 클래스 간 간섭을
완화하고, 복합 손상 환경에서 보다 안정적인 분할 성능을 유도할 수 있다. 특히 이러한 공간적 관계는 철근콘크리트 구조물에서 균열, 철근노출 및 박락이
독립적으로 발생하기보다는 공간적으로 인접하여 나타나는 경우가 많다는 구조적 특성을 반영한 것으로, 손상 간 공간적 연관성을 고려한 보다 현실적인 복합
손상 예측을 가능하게 한다.
3.3.4 Extra Loss
Pairwise Prior가 손상 클래스 간 공간적 상호작용 정보를 학습 과정에 반영하는 정규화 항이라면, Extra Loss는 동일 픽셀 위치에서
발생하는 서로 다른 손상 클래스의 중복 활성화를 직접 억제하기 위한 손실 항이다. 복합 손상 분할에서는 서로 다른 손상 클래스가 동일 픽셀 위치에서
동시에 높은 확률로 예측되는 경우가 발생할 수 있다. 예를 들어 하나의 픽셀이 균열과 철근노출 또는 박락으로 동시에 활성화될 경우 실제 손상 구조와
일치하지 않는 중복 예측이 발생할 수 있으며, 이는 손상 클래스 간 판별력을 저하시키고 결과 해석의 신뢰도를 감소시킬 수 있다. 본 연구에서는 이러한
문제를 완화하기 위하여 Extra Loss를 도입하였다. Extra Loss는 다음과 같이 정의된다.
여기서 Pi와 Pj는 각각 손상 클래스 i와 j의 예측 확률맵을 의미한다. Eq. (8)은 서로 다른 손상 클래스가 동일 픽셀 위치에서 동시에 높은 확률을 가지는 경우 패널티를 부여함으로써 클래스 간 중복 예측을 감소시키도록 설계되었다.
따라서 Pairwise Prior와 Extra Loss는 서로 다른 목적을 가지며 상호 보완적으로 작용한다. Pairwise Prior는 손상 클래스
간 공간적 상호작용 정보를 학습 과정에 반영하는 정규화 항으로 작용하며, Extra Loss는 모든 손상 클래스 쌍에 대해 동일 픽셀 위치에서 발생하는
중복 활성화를 직접 억제하는 역할을 수행한다. 두 손실 함수는 상호 보완적으로 작용하여 클래스 간 간섭과 중복 예측을 감소시키고 보다 안정적인 복합
손상 분할 결과를 유도한다.
3.3.5 Final Loss Function
제안된 Three-Multihead Student 모델은 기본 분할 손실, Knowledge Distillation Loss, Pairwise Prior
Loss 및 Extra Loss를 통합하여 학습된다. 최종 손실 함수는 다음과 같이 정의된다.
여기서 Lseg는 기본 분할 손실 함수이며, LKD, Lpair, Lextra는 각각 Knowledge Distillation, Pairwise Prior 및 Extra Loss를 의미한다. 또한 $\lambda_{KD}$,
$\lambda_{pair}$, $\lambda_{extra}$는 각 손실 항의 상대적 중요도를 조절하는 가중치이다. 본 연구에서는 KD temperature와
손상별 KD 가중치를 선행연구 및 예비 실험 결과를 바탕으로 설정하였다. 특히 KD temperature는 선행연구에서 일반적으로 사용되는 범위를
참고하여 2.0으로 설정하였으며, 손상별 KD 가중치는 예비 실험을 통해 결정하였다. 최종 손실 함수는 기본 분할 성능을 유지하면서 단일 손상 Teacher
모델의 지식을 활용하고, 손상 클래스 간 공간적 상호작용 정보와 중복 활성화 제약을 동시에 반영하도록 구성되었다. 이를 통해 제안 모델은 복합 손상
환경에서 발생할 수 있는 클래스 간 간섭과 중복 예측을 완화하고 보다 안정적인 다중 손상 분할 성능을 확보하도록 설계되었다.
4. Experimental Results and Analysis
4.1 Baseline Model and Proposed Full Model Comparison
Table 3과 같이 기준 모델은 제안 모델과 동일한 공유 인코더 및 Multihead 구조를 사용하되, Knowledge Distillation, Pairwise
Prior 및 Extra Loss를 적용하지 않은 모델로 정의하였다. 이를 통해 네트워크 구조의 차이가 아닌 학습 전략과 손실 함수 설계가 복합 손상
분할 성능에 미치는 영향을 정량적으로 평가하고자 하였다.
복합 손상 분할에서는 네트워크 구조뿐만 아니라 학습 방식과 손실 함수 구성에 따라서도 성능 차이가 발생할 수 있다. 따라서 공정한 비교를 위하여 기준
모델과 제안 모델은 동일한 네트워크 구조를 사용하였으며, 두 모델 간 차이는 Knowledge Distillation, Pairwise Prior
및 Extra Loss의 적용 여부로 제한하였다.
실험 결과(Table 4), 제안 모델은 모든 손상 유형에서 기준 모델보다 향상된 성능을 나타냈다. 균열의 Dice score는 0.26에서 0.32로 증가하여 약 23.0
%의 상대적 성능 향상을 보였으며, 철근노출은 0.39에서 0.45로 증가하여 약 15.3 %, 박락은 0.46에서 0.49로 증가하여 약 6.5
% 향상되었다. 세 손상의 평균 Dice는 0.37에서 0.42로 향상되어 약 13.5 %의 상대적 성능 향상을 나타냈다. 특히 균열 클래스에서 가장
큰 성능 향상이 관찰되었다. 이는 Knowledge Distillation을 통한 손상별 특징 정보 활용과 Pairwise Prior 및 Extra
Loss에 의한 클래스 간 간섭 완화 효과가 복합적으로 작용한 결과로 판단된다. 이러한 결과는 제안된 Three-Multihead 구조가 서로 다른
형상적 특성을 가지는 손상들을 효과적으로 분리하고 표현할 수 있음을 보여준다.
한편 Table 2의 단일 손상 분할 결과와 비교하면 Table 4의 Dice 값은 전반적으로 낮게 나타났다. 이는 복합 손상 분할이 여러 손상을 동시에 구분해야 하는 보다 어려운 문제이기 때문이다. 따라서 본 결과는
절대적인 성능 수치보다는 복합 손상 환경에서의 상대적 성능 향상 관점에서 해석하는 것이 타당하다.
기준 모델은 여러 손상을 동시에 예측할 수 있으나 손상 간 관계를 고려하지 않기 때문에 배경 영역이나 손상 경계 부근에서 불필요한 클래스 활성화가
발생하는 경향을 보였다. 반면 제안 모델은 Knowledge Distillation을 통해 손상별 특징 표현을 유지하고 Pairwise Prior와
Extra Loss를 통해 클래스 간 간섭 및 중복 활성화를 완화함으로써 보다 안정적이고 집중된 예측 결과를 생성하였다. 이러한 결과는 제안된 학습
전략이 복합 손상 환경에서 다중 손상 분할 성능 향상에 효과적으로 기여함을 보여준다.
Fig. 2의 정성적 비교 결과에서도 제안 모델의 성능 향상 경향을 확인할 수 있다. Fig. 2(a)의 철근노출 사례에서 기준 모델은 실제 철근노출 영역 외에도 주변 배경 영역에서 균열 클래스가 함께 활성화되는 오검출 현상을 보였다. 반면 제안 모델은
철근노출 영역에 보다 집중된 예측 결과를 생성하여 불필요한 클래스 활성화를 효과적으로 감소시켰다.
Table 3. Quantitative Comparison between Baseline and Proposed Full Model
|
Component
|
Shared Encoder
|
Multihead Outputs
|
Knowledge Distillation
|
Pairwise prior
|
Extra Loss
|
|
Baseline Model
|
✔
|
✔
|
✖
|
✖
|
✖
|
|
Proposed Full Model
|
✔
|
✔
|
✔
|
✔
|
✔
|
Table 4. Class-wise Performance Comparison
|
Damage Type
|
Baseline Model Dice
|
Proposed Full Model Dice
|
Improvement
|
Relative Gain (%)
|
|
Crack
|
0.26
|
0.32
|
+0.06
|
+23.0 %
|
|
Rebar
|
0.39
|
0.45
|
+0.06
|
+15.3 %
|
|
Spalling
|
0.46
|
0.49
|
+0.03
|
+6.5 %
|
|
Mean
|
0.37
|
0.42
|
+0.05
|
+13.5 %
|
Fig. 2. Qualitative Comparison of Structural Damage Segmentation Results between the Baseline Model and the Proposed Full Model. (a) Rebar Exposure, (b) Spalling, (c) Crack
Fig. 2(b)의 박락 사례에서는 기준 모델이 실제 박락 영역의 일부만 검출한 반면, 제안 모델은 GT와 유사한 형상과 범위를 보다 안정적으로 복원하였다. 이는
제안 모델이 박락 영역의 공간적 특성을 보다 효과적으로 학습하였음을 시사한다. 또한 Fig. 2(c)의 균열 사례에서는 기준 모델에서 다수의 산발적인 오검출이 관찰되었으나, 제안 모델은 배경 영역의 불필요한 활성화를 감소시키면서 균열의 연속성과 연결성을
보다 안정적으로 유지하는 경향을 나타냈다.
이러한 결과는 제안 모델이 단순히 여러 손상 클래스를 동시에 예측하는 것을 넘어, Knowledge Distillation을 통한 손상별 특징 정보
활용과 Pairwise Prior 및 Extra Loss를 통한 클래스 간 간섭 완화 효과를 바탕으로 보다 안정적인 복합 손상 분할 결과를 생성할
수 있음을 보여준다.
4.2 Comparison between Proposed Full Model and Multi-Damage Representation Model
본 절에서는 제안 모델과 Multi-Damage Representation 모델을 비교하여 복합 손상 환경에서의 분할 성능 차이를 분석하였다. Multi-Damage
Representation 모델은 여러 손상 클래스를 동시에 활성화할 수 있으나, 손상 간 관계를 명시적으로 고려하지 않아 클래스 간 간섭과 중복
활성화가 발생할 수 있다. 반면 제안 모델은 Pairwise Prior와 Extra Loss를 적용하여 손상 간 관계를 반영하고 중복 활성화를 억제하도록
설계되었다.
실험 결과 Multi-Damage Representation 모델의 Dice score 평균은 0.35를 기록한 반면, 제안 모델은 0.42을 기록하여
약 20.0 %의 상대적 성능 향상을 나타냈다. 특히 균열은 0.27에서 0.32로 향상되었으며, 박락은 0.35에서 0.49로 증가하여 가장 큰
성능 향상을 보였다. 반면 철근노출은 두 모델 모두 유사한 성능을 나타냈다.
Fig. 3에서 Multi-Damage Representation 모델은 실제 철근노출 영역을 검출하였으나, Ground Truth(GT)에 존재하지 않는 박락
및 균열 클래스가 함께 활성화되는 현상이 관찰되었다. 특히 철근노출 주변 영역이 넓은 박락 영역으로 예측되면서 클래스 간 중복 활성화가 발생하였다.
이러한 결과는 손상 간 관계를 명시적으로 고려하지 않을 경우 실제 손상과 무관한 클래스가 동시에 활성화될 수 있음을 보여준다. 반면 제안 모델은 철근노출
영역에 집중된 예측 결과를 생성하였으며, GT에 존재하지 않는 박락 및 균열 클래스의 활성화를 효과적으로 억제하였다. 이는 Pairwise Prior와
Extra Loss가 클래스 간 간섭을 감소시키고 중복 예측을 완화하는 데 기여하였음을 보여준다.
Table 5. Class-wise Performance Comparison between the Proposed Full Model and the Multi-Damage Representation Model
|
Model
|
Dice
|
Total Improvement
|
Relative Gain (%)
|
|
Crack
|
Rebar Exposure
|
Spalling
|
Mean
|
|
Multi-damage Representation
|
0.27
|
0.45
|
0.35
|
0.35
|
-
|
-
|
|
Proposed Full
|
0.32
|
0.45
|
0.49
|
0.42
|
+0.07
|
20.0
|
Fig. 3. Qualitative Comparison of Composite-Damage Segmentation Results among Ground Truth, the Proposed Full Model, and the Multi-Damage Representation Model
4.3 Ablation Study
제안 모델을 구성하는 핵심 요소인 Pairwise Prior와 Extra Loss의 효과를 분석하기 위하여 Ablation Study를 수행하였다.
Table 6은 각 구성 요소를 제거한 경우의 성능 변화를 나타낸다.
Table 6에 따르면 제안 모델은 평균 Dice 0.42로 가장 높은 성능을 나타냈다. 반면 Pairwise Prior 또는 Extra Loss를 제거한 경우
평균 Dice는 모두 0.37로 감소하였다. 평균 Dice만으로는 기준 모델과 유사한 수준으로 보일 수 있으나, 클래스별 성능 분석 결과 박락 클래스에서
현저한 성능 저하가 확인되었다. 특히 두 경우 모두 박락의 Dice가 0.49에서 0.39로 크게 감소하여 가장 큰 성능 저하를 보였다. 이는 Pairwise
Prior가 손상 클래스 간 공간적 상호작용 정보를 반영하여 클래스 간 간섭을 완화하고, Extra Loss가 동일 위치에서 발생하는 중복 활성화를
억제함으로써 클래스 간 구분성을 향상시키기 때문으로 해석된다. 따라서 두 손실 항은 상호 보완적으로 작용하며, 복합 손상 환경에서 안정적인 다중 손상
분할 성능 확보에 중요한 역할을 수행하는 것으로 확인되었다.
Table 6. Ablation Study of the Proposed Full Model
|
Model
|
Crack
|
Rebar Exposure
|
Spalling
|
Mean
|
|
Baseline Model
|
0.26
|
0.39
|
0.46
|
0.37
|
|
Without Extra Loss
|
0.29
|
0.44
|
0.39
|
0.37
|
|
Without Pairwise prior
|
0.30
|
0.43
|
0.39
|
0.37
|
|
Proposed Full Model
|
0.32
|
0.45
|
0.49
|
0.42
|
4.4 Initial Evaluation on Real Composite-Damage Images
기존 실험은 단일 손상 데이터를 기반으로 수행되었다. 그러나 실제 철근콘크리트 구조물에서는 균열, 철근노출 및 박락이 동시에 존재하는 경우가 많으므로
실제 복합 손상 환경에서의 일반화 성능 검증이 필요하다. 이를 위하여 실제 구조물 영상을 대상으로 복합 손상 데이터셋을 구축하였다. 데이터셋은 균열
+ 철근노출, 균열 + 박락, 철근노출 + 박락 및 균열 + 철근노출 + 박락의 네 가지 복합 손상 조합으로 구성하였으며, 총 44장의 이미지와 균열
81개, 철근노출 49개, 박락 65개의 손상 라벨을 포함한다. Fig. 4는 구축된 복합 손상 데이터셋의 대표 사례를 나타낸다.
제안된 Three-Multihead 모델을 추가 학습 없이 실제 복합 손상 데이터셋에 적용하여 일반화 성능을 평가하였다. 평가 결과는 Table 7 및 Table 8과 같다.
실험 결과(Table 8), 손상 유형별로는 박락(0.58)과 철근노출(0.47)이 비교적 안정적인 성능을 보인 반면, 균열은 Dice 0.02로 매우 낮은 성능을 나타냈다.
이는 단일 손상 데이터로 학습된 모델이 실제 복합 손상 환경에서 다양한 손상 조합을 충분히 반영하지 못했기 때문으로 판단된다. 특히 균열은 인접 손상
및 배경 패턴의 영향을 크게 받아 일반화 성능이 현저히 저하되는 것으로 나타났다.
Fig. 4. Examples of Composite Damage Images and Corresponding Ground-truth Masks. (a) Rebar Exposure + Spalling, (b) Rebar Exposure + Spalling + Crack
Table 7. Generalization Performance on Real Composite-Damage Images
|
Damage Combination
|
Dice
|
Damage Combination
|
Dice
|
|
Crack + Rebar
|
0.27
|
Crack + Rebar + Spalling
|
0.32
|
|
Crack + Spalling
|
0.31
|
Rebar + Spalling
|
0.53
|
Table 8. Class-wise Evaluation Results on the Composite-Damage Dataset
|
Damage Type
|
Dice
|
IoU
|
Precision
|
Recall
|
|
Crack
|
0.02
|
0.01
|
0.01
|
0.07
|
|
Rebar Exposure
|
0.47
|
0.33
|
0.52
|
0.47
|
|
Spalling
|
0.58
|
0.43
|
0.48
|
0.76
|
4.5 Fine-Tuning and Threshold Optimization
앞 절의 결과에서 확인한 바와 같이, 제안된 Three-Multihead 모델은 추가 학습 없이 실제 복합 손상 데이터셋에 적용하였을 때 철근노출
및 박락에 대해서는 일정 수준의 일반화 성능을 유지하였으나, 균열의 경우 매우 낮은 검출 성능을 나타냈다. 이는 단일 손상 데이터 기반으로 학습된
특징 표현이 실제 복합 손상 환경에서 나타나는 다양한 손상 조합과 시각적 간섭을 충분히 반영하지 못했기 때문으로 판단된다. 이에 본 연구에서는 구축한
복합 손상 데이터셋을 이용하여 제안 모델에 대한 추가 Fine-Tuning을 수행하였다. Fine-Tuning은 제안된 Full Model의 학습
가중치를 초기값으로 사용하였으며, 복합 손상 환경에 대한 적응 능력 향상을 목적으로 수행되었다. Table 9는 Fine-Tuning 전후의 전체 성능 변화를 나타낸다.
Fine-Tuning 결과 전체 평균 Dice는 0.35에서 0.57로 향상되었으며, 약 62.8 %의 상대적 성능 향상을 나타냈다. 이는 제한된
수의 복합 손상 데이터만으로도 실제 환경에 대한 적응 성능이 크게 향상될 수 있음을 보여준다. 추가적으로 Fine-Tuned 모델의 출력 확률맵에
대해 클래스별 Threshold Optimization을 수행하였다. 각 손상 클래스별로 threshold sweep을 수행한 후 검증 데이터셋에서
Dice score가 최대가 되는 값을 최적 threshold로 선정하였다.
Threshold Optimization 이후 전체 평균 Dice는 0.58로 나타나 Fine-Tuning 직후의 0.57과 유사한 수준을 유지하였다.
따라서 클래스별 임계값 조정에 따른 전체 평균 성능의 추가 향상 폭은 제한적이었다. 다만 균열과 철근노출처럼 출력 확률 분포와 기본 임계값에 민감한
클래스에서는 Precision과 Recall의 균형을 조정하는 보정 효과가 확인되었다. 이에 본 연구에서는 Threshold Optimization을
전체 성능을 크게 향상시키는 독립적 학습 기법이라기보다, Fine-Tuned 모델의 클래스별 출력 특성을 조정하는 후처리 기반 calibration
단계로 해석하였다.
Fig. 5는 Fine-Tuning 및 클래스별 Threshold Optimization 이후의 대표적인 정성적 결과를 나타낸다. 철근노출과 박락이 동시에 존재하는
경우 두 손상 영역이 비교적 명확하게 분리되었으며, 균열이 포함된 복합 손상 사례에서도 실제 손상 구조와의 정합성이 개선되는 경향을 확인하였다. 다만
Threshold Optimization에 따른 전체 평균 성능 향상 폭은 제한적이므로, 본 결과는 클래스별 예측 균형을 조정한 보정 효과의 관점에서
해석하였다. 마지막으로 Table 11은 복합 손상 조합별 성능 평가 결과를 나타낸다.
Table 9. Comparison of Mean Dice before and after Fine-Tuning
|
Metric
|
Before Fine-Tuning
|
After Fine-Tuning
|
Improvement
|
|
Mean Dice
|
0.35
|
0.57
|
+0.22
|
Table 10. Best Threshold and Class-Wise Performance after Threshold Sweep
|
Class
|
Optimal Threshold
|
Dice
|
IoU
|
Precision
|
Recall
|
|
Crack
|
0.40
|
0.36 (0.02)
|
0.23
|
0.30
|
0.50
|
|
Rebar Exposure
|
0.25
|
0.60 (0.47)
|
0.46
|
0.61
|
0.77
|
|
Spalling
|
0.55
|
0.79 (0.58)
|
0.67
|
0.77
|
0.83
|
|
Mean
|
0.40
|
0.58
|
0.45
|
0.56
|
0.70
|
Note: Values in parentheses indicate Dice scores before fine-tuning and class-specific
threshold optimization.
Fig. 5. Representative Segmentation Results after Fine-tuning and Class-specific Threshold Optimization on the Composite-damage Dataset. (a) Rebar Exposure + Spalling (Composite-Damage Dice = 0.80), (b) Rebar Exposure + Spalling (Composite-Damage Dice = 0.72), (c) Crack + Rebar Exposure + Spalling (Composite-Damage Dice = 0.65)
Table 11에 따르면 복합 손상 조합별 성능은 평균 Dice 0.43~0.67 범위로 나타났으며, Crack + Spalling 조합에서 가장 높은 성능(0.67)을
기록하였다. 반면 Crack + Rebar 조합은 0.43으로 가장 낮은 성능을 나타냈다. 이는 균열과 철근노출이 함께 존재할 경우 두 손상의 선형적
특징과 주변 음영이 서로 간섭하여 예측 난이도가 증가하기 때문으로 판단된다.
또한 Ablation Study 결과 Pairwise Prior와 Extra Loss가 성능 향상에 가장 크게 기여하는 것으로 확인되었으며, 이는
복합 손상 환경에서 손상 클래스 간 상호작용 정보와 중복 활성화 억제가 중요한 역할을 수행함을 보여준다. 추가적으로, 제안 모델은 복합 손상 데이터
기반 Fine-Tuning을 통해 평균 Dice를 0.35에서 0.58까지 향상시켰다. 이러한 결과는 복합 손상 데이터의 규모와 다양성이 확대될 경우
추가적인 성능 향상이 가능함을 시사한다. 따라서 실제 구조물 점검 환경에 적용하기 위해서는 다양한 복합 손상 사례를 포함한 데이터셋 구축이 중요하며,
향후 대규모 복합 손상 데이터 기반 학습을 통해 보다 높은 복합 손상 분할 성능 확보가 가능할 것으로 기대된다.
Table 11. Case-wise Performance after Applying Class-Specific Thresholds
|
Damage Combination
|
Mean Dice
|
Mean IoU
|
|
Crack + Rebar
|
0.43
|
0.31
|
|
Crack + Rebar + Spalling
|
0.64
|
0.50
|
|
Crack + Spalling
|
0.67
|
0.55
|
|
Rebar + Spalling
|
0.62
|
0.50
|
|
Overall Mean
|
0.58
|
0.45
|
4.6 Comparison between Single-Damage and Composite-Damage Performance
Table 12에 따르면 복합 손상 환경에서는 모든 손상 유형에서 단일 손상 환경 대비 성능 저하가 관찰되었다. 특히 균열은 Dice가 0.70에서 0.36으로
크게 감소하여 가장 큰 성능 저하를 나타냈다. 이는 균열이 가늘고 선형적인 구조를 가지며, 실제 복합 손상 환경에서는 철근노출 및 박락과 인접하여
나타나는 경우가 많아 클래스 간 간섭과 시각적 혼동의 영향을 크게 받기 때문으로 판단된다. 반면 박락은 Dice가 0.80에서 0.79로 거의 동일한
수준을 유지하여 복합 손상 환경에서도 비교적 안정적인 분할 성능을 나타냈다. 이러한 결과는 복합 손상 분할이 단일 손상 검출보다 높은 난이도를 가지는
문제임을 보여준다. 그럼에도 불구하고 제안 모델은 복합 손상 데이터 기반 Fine-Tuning과 클래스별 Threshold Optimization을
통해 실제 복합 손상 환경에 대한 적응 능력을 향상시켰으며, 특히 박락과 철근노출에서는 비교적 안정적인 성능을 유지할 수 있음을 확인하였다.
Table 12. Comparison between Single-Damage and Composite-Damage Performance
|
Damage Type
|
Single-Damage Dice
|
Composite-Damage Dice (Fine-tuning + Threshold)
|
Difference (%)
|
|
Crack
|
0.70
|
0.36
|
-48.6
|
|
Rebar Exposure
|
0.82
|
0.60
|
-26.8
|
|
Spalling
|
0.80
|
0.79
|
-1.30
|
5. Conclusion
본 연구에서는 철근콘크리트 구조물의 대표적인 표면 손상인 균열, 철근노출 및 박락을 동시에 분할하기 위한 Three-Multihead 기반 의미론적
분할 프레임워크를 제안하였다. 제안 모델은 공유 인코더와 손상별 전용 헤드로 구성되며, 단일 손상 Teacher 모델의 지식을 활용하기 위한 Knowledge
Distillation, 손상 클래스 간 공간적 상호작용 정보를 반영하기 위한 Pairwise Prior, 그리고 중복 활성화를 억제하기 위한 Extra
Loss를 통합적으로 적용하였다.
실험 결과, 제안 모델은 Baseline 모델 대비 평균 Dice score를 0.37에서 0.42로 향상시켜 약 13.5 %의 상대적 성능 향상을
나타냈다. 또한 Multi-Damage Representation 모델과 비교하여 평균 Dice 기준 약 20.0 %의 상대적 성능 향상을 기록하였으며,
정성적 비교 결과에서도 실제 손상과 무관한 클래스 활성화가 감소하고 보다 안정적인 분할 결과를 생성함을 확인하였다.
Ablation Study 결과 Pairwise Prior와 Extra Loss를 제거할 경우 평균 Dice가 모두 0.37 수준으로 감소하였으며,
특히 박락 클래스에서 가장 큰 성능 저하가 나타났다. 이는 손상 클래스 간 공간적 상호작용 정보의 반영과 중복 활성화 억제가 복합 손상 분할 성능
향상에 중요한 역할을 수행함을 보여준다.
또한 실제 구조물에서 수집한 44장의 복합 손상 이미지를 이용하여 실제 복합 손상 환경에서의 성능을 평가하였다. 추가 학습 없이 적용한 경우 평균
Dice는 0.35를 기록하였으며, 복합 손상 데이터 기반 Fine-Tuning 이후 0.57로 향상되었다. 이후 클래스별 Threshold Optimization을
적용한 결과 평균 Dice는 0.58을 기록하였다. Threshold Optimization에 따른 전체 평균 성능의 추가 향상 폭은 제한적이었으나,
클래스별 출력 확률의 차이를 보정하고 Precision과 Recall의 균형을 조정하는 효과가 확인되었다. 특히 균열 클래스에서는 Fine-Tuning을
통해 가장 큰 성능 개선이 나타나 복합 손상 데이터 기반 학습의 효과를 확인할 수 있었다.
단일 손상 환경과 복합 손상 환경을 비교한 결과, 복합 손상 분할은 손상 간 시각적 간섭과 공간적 인접성으로 인해 여전히 높은 난이도를 가지는 것으로
나타났다. 그럼에도 불구하고 제안 모델은 실제 복합 손상 데이터셋을 이용한 Fine-Tuning을 통해 성능 향상 가능성을 확인할 수 있었으며, 복합
손상 데이터 기반 학습의 중요성을 확인하였다.
향후 연구에서는 보다 다양한 복합 손상 사례를 포함하는 대규모 데이터셋을 구축하고, 복합 손상 환경에 특화된 학습 전략을 적용함으로써 실제 복합 손상
환경에 대한 적응 성능을 더욱 향상시킬 필요가 있다. 또한 복합 손상 데이터가 충분히 확보될 경우 복합 손상 분할 성능과 단일 손상 분할 성능 간의
격차를 줄일 수 있을 것으로 기대된다. 본 연구 결과는 복합 손상 환경에서 손상 클래스 간 공간적 상호작용 정보의 반영과 중복 활성화 억제가 중요한
설계 요소임을 시사한다.