2.1 의사결정나무 및 랜덤포레스트

이 연구에서는 2021년 상반기 기준 전국교량표준데이터^{(MOLIT, 2021b)}와 시설물통합정보관리시스템^{(FMS, 2021)}의 교량 정보를 사용하여 일반국도상 교량 8,850개를 대상으로 머신러닝의 결정나무 기반 분류 모델을 구축하였다. 여기서 머신러닝이란 인공지능의 한 분야로 컴퓨터가 데이터를 스스로 학습하여 해결책을 제안하는 기법이다^{(Géron, 2019)}. 전국교량표준데이터에는 특정한 범주로 나누어지는 범주형 데이터와 수치로 표현된 연속형 데이터가 모두 포함되어 있기 때문에 연속형과 범주형 데이터를 모두 사용할 수 있는 머신러닝 기법이 필요하다. 또한, 예측하고자 하는 목표인 안전등급은 A, B, C, D, E등급으로 나누어지므로 이진 분류 기법은 적절치 않으며 다중 분류가 가능해야 한다. 분류 알고리즘에는 연속형과 범주형 데이터 사용이 가능하며 이진 분류가 가능한 SVM(Support Vector Machine), 범주형 데이터의 사용만 가능하고 이진 분류를 할 수 있는 로지스틱 회귀, 연속형과 범주형 데이터 모두 사용 가능하며 다중 분류가 가능한 결정나무 기반 알고리즘 등이 있다^{(Scikit-learn developers, 2007-2022)}. 이 연구에서는 전국교량표준데이터에 가장 적합하다고 판단되는 결정나무 기반 알고리즘을 사용하였다.

결정나무 기반 알고리즘에도 몇 가지 종류가 있지만 이 연구에서는 가장 대표적인 의사결정나무(Decision Tree)와 랜덤포레스트(Random Forest)를 사용하였다. 두 알고리즘 모두 결정나무를 기반으로 일종의 규칙을 만들어 불순도가 낮아지는 방향으로 대상을 좁혀나가면서 분류한다. 이는 변수에 따른 분리 기준을 통해 불순도를 감소시키는 정도를 계산하여 분류 및 예측 작업에 효과적인 중요한 변수를 확인할 수 있어 유용하다^{(Kazemitabar et al., 2017)}. 결정나무의 구조는 Fig. 3과 같으며, 루트 노드(Root node)에서 분류가 시작되고 중간 노드(Intermediate node)에서 변수에 따른 분류가 진행된 후 마지막에 리프 노드(Leaf node)에서 최종적으로 분류 결과가 도출된다.

그러나 의사결정나무의 경우 단일 결정나무를 사용하므로 나무 깊이가 깊어지면 과적합(Overfitting)이 발생하여 예측력이 저하될 수 있다. 여기서 과적합이란 모델 생성 시 훈련 데이터(Training data)를 과도하게 학습하여 새로운 데이터를 예측하는 능력이 저하되는 현상을 의미한다. 이러한 의사결정나무의 단점을 보완한 랜덤포레스트는 앙상블 기법을 적용하여 다수의 결정나무를 생성함으로써 다양성을 확보하여 과적합을 방지한다. 일반적으로 앙상블 기법 중 배깅(Bagging: Bootstrap aggregating)을 사용하는데, 배깅은 데이터를 무작위로 선정하여 결정나무를 다양하게 생성하는 기법을 의미한다. 따라서 랜덤포레스트는 Fig. 4와 같이 배깅을 이용하여 다수의 결정나무를 무작위로 생성하고 다수결 또는 평균에 따라 분류하는 알고리즘으로서 과적합을 방지할 수 있어 대체로 의사결정나무보다는 성능이 우수하다. 그러나 데이터 수가 많아지면 분석 소요 시간이 길어지는 단점이 있다^{(Géron, 2019)}.

이때 의사결정나무와 랜덤포레스트 모두 데이터를 불순도가 최대한 감소하는 방향으로 분리하도록 학습을 진행하는데, 그 기준으로 엔트로피(Entropy)와 지니계수(Gini)를 사용한다. 엔트로피는 불순도를 수치화한 지표이며 확률 변수의 불확실성을 수치로 나타낸 것으로 식 (1)로 산정하며, 엔트로피의 수치가 1에 가까울수록 불순도가 높다. 지니계수는 확률분포가 어느 범주에 치우쳐 있는 정도를 계산하는 것으로 식 (2)로 도출할 수 있다. 엔트로피와 마찬가지로 지니계수가 1에 가까울수록 불순도가 높다.

여기서, $A$는 범주 전체, $m$은 분류할 범주의 수, $p_{k}$는 데이터가 $k$ 범주에 속할 확률이다. 엔트로피와 지니계수는 큰 차이가 없으나, 지니계수는 계산 시 log를 사용하지 않아 속도가 빠르다. 또한 지니계수는 결정나무에서 가장 빈번한 범주로 분리하는 경향이 있지만, 엔트로피의 경우에는 조금 더 균형이 잡힌 결정나무를 생성하도록 하여 성능이 더 좋은 경우가 많다^{(Provost and Fawcett, 2013)}. 일반적으로 빠른 분석을 위해 지니계수를 많이 사용하기는 하지만, 이 연구에서는 교량의 안전등급을 좀 더 정확히 예측하기 위해 Scikit-learn의 파이선 라이브러리 중 매개변수들의 조합을 비교하는 GridSearchCV를 이용한 검증을 통하여 엔트로피와 지니계수의 두 알고리즘 중에서 더 뛰어난 성능을 보유한 것을 불순도 계산 기준으로 사용하였다^{(Scikit-learn developers, 2007-2022)}.

Fig. 3. Structure of Decision Tree-based Algorithm

Fig. 4. Structure of Random Forest Algorithm

2.2 데이터 전처리

정제되지 않은 데이터에는 결측값이나 이상값이 존재할 수 있고, 불균형한 데이터 분포로 인하여 모델 개발 시 성능이 저하될 수도 있다. 따라서 분류 모델의 성능을 향상시키기 위해서는 결측값 제거, 변수 제거, 변수 축소 및 추가, 불균형 데이터의 샘플링과 같은 데이터 전처리 과정이 필요하다.

2.2.1 변수 추가, 제거, 축소 및 다중공선성

전국교량표준데이터에서 안전등급과 무관한 변수(관리기관명, 관리기관전화번호, 데이터기준일자) 및 결측값이 많은 변수(교량보수보강내역, 교량보수보강비용, 하부통과제한높이)는 제거하였다. 의미가 중복되는 변수들은 한 개의 변수로 대표하였는데, 차량통행하중 및 설계활하중은 설계활하중으로, 시설물종별등급구분 및 점검유형은 시설물종별등급으로 통일하였다. 또한, 변수 중 준공연도와 점검일자는 두 변수의 차이를 계산하여 공용기간이라는 하나의 변수로 축소하였다.

한편, 고윳값이 한 개인 변수들은 모델 학습에 영향을 미치지 않으므로 제거하고, 고윳값이 과다하게 많은 변수들은 모델의 학습 능력을 저하시키기 때문에 제거하거나 축소해야 한다. 먼저, 고윳값이 한 개인 변수에 해당하는 내진설계적용여부와 내진성능확보여부는 모든 교량들이 해당 없음으로 데이터상에 표기되어 있어서 제거하였다. 최근 시공된 일부 교량들에는 내진설계가 적용되었을 것으로 예상되나 표기가 누락된 것으로 추측된다. 또한, 고윳값이 많은 변수(소재지도로명, 소재지지번, 시군구명, 시도명, 교량시작점경도, 교량시작점위도, 교량종료점경도, 교량종료점위도, 상부구조형식) 중에서 나머지 변수들은 제거하되, 상부구조형식은 고윳값 축소가 가능하여 유지하였다. ^{Hur et al.(2010)}은 안전등급 결정요인 중 교량 형식을 사용 재료에 따라 구분하여 평가하였는데, 이를 참고하여 상부구조형식의 고윳값을 RC(Reinforced Concrete)교, PSC(PreStressed Concrete)교, 강교, 기타로 축소하였다.

추가적으로 기존 자료에는 존재하지 않지만 교량 등급에 큰 영향을 미칠 것으로 예상되는 데이터인 교량별 평균일교통량(ADT: Average Daily Traffic)과 교량 위치 정보 데이터를 수집하여 변수에 추가하였다. 피로로 인한 교량의 손상은 교통하중 특성의 영향을 받기 때문에^{(Lee et al., 2010)} 이와 연관된 교량별 평균일교통량을 도로 교량 및 터널 현황조서^{(MOLIT, 2021d)}를 참고하여 확보하였다. 그리고, 탄산화 및 염해는 콘크리트와 강재의 내구성 저하현상을 가속화할 가능성이 있기 때문에 교량 위치를 도심지의 탄산화 및 해안가의 염해, 그리고 기타 지역으로 구분하여 변수에 반영하였다. 해안가의 염해의 경우 콘크리트표준시방서 해설^{(KCI, 2009)}을 참고하여 서해안과 남해안의 해안선으로부터 250 m, 동해안의 해안선으로부터 1,000 m 거리 내에 존재하는 지역을 염해의 영향권으로 판단하였다. 또한, 탄산화는 행정구역 중 인구 규모가 큰 시 또는 자치구, 공업단지와 산업단지를 탄산화의 영향권으로 간주하였다.

한편, 전국표준교량데이터상의 보수보강내역 자료는 결측값이 많지만, 시설물통합정보관리시스템^{(FMS, 2021)}의 보수보강내역은 비교적 결측값이 적기 때문에 이를 참고하여 보수보강과 관련된 변수를 추가하였다. 공용기간 동안 실시한 보수보강 활동의 종류가 온전하게 기록되지 않은 교량들이 많아 보수보강 횟수와 2년 이내 보수보강 내역 여부를 확인하여 변수로 추가하였다. 이때 비록 긴급하지는 않지만 결함의 존재로 인해 보수나 보강을 실시해야 하는 B와 C등급 교량의 정밀안전점검 주기가 2년이기 때문에 이 기간을 보수보강 여부의 기준으로 삼았다.

변수들은 상관관계가 거의 없는 독립변수를 사용해야 하며, 변수들 간 상관성이 높은 다중공선성이 발생하는 모델은 성능이 저하될 수 있어 바람직하지 않다^{(Dormann et al., 2013)}. 따라서 식 (3)과 같은 피어슨 상관계수(Pearson correlation coefficient)를 구하여 연속형 변수들의 상관관계를 산출하고, 높은 상관성을 가지는 변수들은 제거하였다.

(3)

$\rho_{X,\: Y}=\dfrac{Cov(X,\: Y)}{\sigma_{X}\sigma_{Y}}=\dfrac{E[(X-\mu_{X})(Y-\mu_{Y})]}{\sigma_{X}\sigma_{Y}} \\ =\dfrac{\sum_{i=1}^{N}(X_{i}-\mu_{X})(Y_{i}-\mu_{Y})}{\sigma_{X}\sigma_{Y}N}$

여기서, $\rho_{X,\: Y}$는 변수 간 피어슨 상관계수, $X$, $Y$는 각 변수의 값, $Cov(X,\: Y)$는 각 변수 간 공분산, $\sigma_{X}$, $\sigma_{Y}$는 각 변수의 표준편차, $\mu_{X}$, $\mu_{Y}$는 각 변수의 평균, $N$은 변수의 개수이다. 변수 간 피어슨 상관계수를 시각화하면 Fig. 5와 같다. 통상적으로 피어슨 상관계수의 절댓값이 0.3 이상이면 변수 간에 뚜렷한 상관관계가 있다고 간주한다^{(Ratner, 2009)}. 따라서 피어슨 상관계수의 절댓값이 0.3 이상인 변수들은 교량폭, 교량연장과 공용기간으로 대표된다고 보고, 이 3가지 변수들을 제외하고는 제거하였다.

이상과 같은 절차를 거쳐 모델 구축에 사용하는 변수는 시설물종별등급구분, 교량연장, 교량폭, 상하행선분리여부, 상부구조형식, 공용기간, 교량별 평균일교통량, 교량위치와 2년 이내 보수보강 내역 여부와 같이 총 9개가 도출되었다. 따라서 모델의 구축 시 모델에서 예측하고자 하는 목표인 안전등급을 포함하면 총 10개의 데이터 종류를 사용하였다.

Fig. 5. Pearson Correlation Coefficient of Features

2.2.2 데이터 샘플링

머신러닝 모델의 개발을 위해서는 데이터를 훈련 데이터와 테스트 데이터(Test data)로 나눈 후 알고리즘이 훈련 데이터를 학습하여 모델을 구축하고, 테스트 데이터로 모델의 성능을 평가하는 절차를 따른다. 이때, 훈련 데이터와 테스트 데이터는 Fig. 2와 같이 7:3 비율 정도로 분할하는 것이 일반적이며, 이 연구에서도 이러한 비율을 취하였다.

일반국도상 교량 8,850개의 안전등급 분포는 Table 2와 같다. 일반국도 교량의 경우 E등급 교량은 없으며, C와 D등급 교량은 A와 B등급 교량에 비해 그 수가 현저히 적은데, 특히 D등급 교량의 수가 현저히 적다. 해당 데이터는 각 집단의 분포가 균등하지 않은 불균형 데이터이므로 이를 그대로 학습한다면 A와 B등급만 주로 학습하고, C와 D등급은 거의 학습하지 않는 문제가 발생하여 모델의 예측 성능이 저하될 수 있다. 특히 C와 D등급은 유지관리 측면에서 주의를 요하는 교량이므로 C와 D등급 교량을 올바로 예측할 수 있는 모델을 생성하도록 데이터를 학습시키는 것이 바람직하다. 따라서 이러한 불균형 문제를 개선하기 위해 C와 D등급을 한 집단으로 묶은 후 샘플링 기법을 통해 각 집단(A, B, C+D)의 분포를 균등하게 만들어 등급별 예측 성능을 높이고자 하였다.

이때 샘플링 기법에는 Fig. 6과 같이 언더 샘플링(Under- sampling), 오버 샘플링(Over-sampling) 및 복합 샘플링(Combined sampling)이 있다. 언더 샘플링이란 다수 집단의 데이터를 임의로 선택하여 소수 집단의 수에 맞도록 데이터 비중을 조절하여 모델링에 활용하는 방법이며, 유의미한 데이터로 축약시킬 수 있지만 중요 정보가 유실될 우려가 있다. 오버 샘플링은 언더 샘플링과는 반대로 소수 집단의 데이터를 다수 집단에 맞추어 증폭시키는 방법으로, 정보의 유실을 방지할 수 있지만 반복되거나 유사한 데이터의 증가로 과적합 현상이 일어나 모델의 성능을 저하시킬 우려가 있다. 한편, 언더 샘플링과 오버 샘플링의 단점을 보완하고자 두 가지 샘플링 기법을 결합한 복합 샘플링 기법도 있다^{(Lee et al., 2019b)}. 따라서 이 연구에서는 모델링에 언더 샘플링, 오버 샘플링 및 복합 샘플링 기법을 모두 적용하여 그 결과를 비교해 보았다. 언더 및 오버 샘플링 기법에도 몇 가지 방법이 있는데, 그 중 다수 집단 데이터를 소수 집단 데이터의 수만큼 무작위로 감소시키는 랜덤 언더 샌플링을, 소수 집단 데이터를 다수 집단 데이터의 수만큼 무작위로 증가시키는 랜덤 오버 샘플링을 사용하였다. 복합 샘플링의 경우 언더 샘플링의 TomekLinks 샘플링과 오버 샘플링의 SMOTE 샘플링을 결합한 SMOTETomek 샘플링을 사용하였다. 이는 소수 집단과 다수 집단에 속한 데이터 사이의 거리가 근접한 것을 한 집단으로 보고 이를 노이즈로 간주하여 제거한 후, 소수 집단에 해당하는 데이터를 가상으로 합성하고 증가시켜 데이터 불균형 문제를 해결하는 기법이다.

Fig. 6. Data Sampling Technique to Improve Imbalanced Data: (a) Random Under-sampling, (b) Random Over-sampling, (c) SMOTETomek Sampling

Table 2. Distribution of Safety Grade of Bridges Located in National Roads

Safety grade	Number of bridges	Percentage of bridges(%)
A	2,252	25.4
B	5,775	65.3
C	696	7.9
D	8	0.1
E	0	0
None (No inspection or examination)	119	1.3
Sum	8,850	100

2.3 최적의 매개변수 적용 모델

의사결정나무 및 랜덤포레스트의 라이브러리를 그대로 사용하면 데이터에 적합한 매개변수가 지정되어 있지 않아 모델의 성능이 낮아진다. 이때 매개변수(Parameter)란 모델의 설정값을 의미하며 사용자가 직접 조절 가능한데, 예측 성능을 향상시키기 위해서는 최적의 매개변수를 선정해야 한다^{(Provost and Fawcett, 2013; Truică and Leordeanu, 2017)}. 엄밀히 말해 이처럼 사용자가 직접 값을 설정해 줄 수 있는 매개변수는 초매개변수(Hyper parameter, 하이퍼파라미터)로서 일반적인 매개변수와는 구별되어야 하지만, 여기에서는 기존 연구에서 통상적으로 그러하듯 매개변수로 지칭하였다.

이 연구에서는 Scikit-learn의 GridSearchCV를 이용하여 최적의 매개변수를 선정하였다. GridSearchCV는 분류에 사용하는 매개변수들의 순차적인 입력을 통해 지정한 매개변수 범위에서 모든 경우의 조합을 만들어 평가한다. 또한, 학습과 검증을 반복하여 과적합을 방지하고 일반화 성능을 높이는 교차검증을 동시에 진행하기 때문에 지정한 범위에서 가장 우수한 예측 성능을 가지는 매개변수값을 확인할 수 있다^{(Scikit-learn developers, 2007- 2022)}. 의사결정나무와 랜덤포레스트에서 조정할 매개변수들을 Table 3에 나타내었으며, 여기서 max_depth, min_samples_split과 min_samples_leaf는 의사결정나무가 깊게 생성되는 것을 방지함으로써 과적합의 영향을 낮추어 모델의 성능을 확보하는 매개변수이므로 필수적으로 조정해야 한다. 각 샘플링별로 이 연구에서 도출된 의사결정나무 및 랜덤포레스트 알고리즘의 최적 매개변수는 각각 Table 4 및 5와 같다.

3.1 혼동행렬

혼동행렬은 실제값과 예측값의 일치 여부를 보여주며, 이는 교량 등급 분류 모델의 예측 성능을 평가하는 기본 지표가 된다. Fig. 7에서 대상의 실제값과 예측값이 분류하고자 하는 특정 범주로 일치하면 TP(True Positive)이고, 실제값과 예측값이 모두 해당 범주가 아니면 TN(True Negative)이다. 또한 분류하고자 하는 범주에서 실제값은 특정 범주이나 예측값은 그 외 범주이면 FN(False Negative), 실제값은 특정 범주가 아니지만 예측값은 그러한 특정 범주이면 FP(False Positive)를 의미한다. 즉, TP와 TN은 예측이 실제와 일치하는 정답이고, FP와 FN은 예측이 실제와 다른 오답이다. 특히, 실제로 C, D등급인 교량을 A와 B등급으로 상향하여 예측하는 경우인 FN은 교량의 유지관리가 비교적 시급한 C, D등급을 추출하지 못하여 구조 안전성에 큰 문제를 야기할 우려가 있으므로 그 개수를 최소화시키는 것이 바람직하다.

의사결정나무와 랜덤포레스트의 혼동행렬을 살펴보면 Fig. 8과 같이 정답인 TP와 TN의 개수는 모든 등급의 예측에 있어 랜덤포레스트가 의사결정나무보다 더 많은 것을 확인하였다. 또한, 샘플링 기법 중 랜덤 언더 샘플링을 적용한 모델이 의사결정나무와 랜덤포레스트 모두에서 실제 C, D등급인 교량을 A등급 또는 B등급으로 상향하여 예측하는 경우인 FN의 개수가 가장 적었다. 유지관리 측면에서는 C, D등급 교량의 예측 성능이 가장 중요하므로 의사결정나무와 랜덤포레스트 모두 랜덤 언더 샘플링 기법이 효과적이라고 판단된다. 추가적으로 C, D등급 교량의 예측에서 랜덤 오버 샘플링과 SMOTETomek 샘플링은 의사결정나무의 경우 TP보다 FN이 더 많아서 부적합했지만, 랜덤포레스트에서는 비록 랜덤 언더 샘플링의 수준에는 못 미쳤지만 FN보다 TP가 더 많은 것으로 나타났다. 한편, A등급의 예측력은 샘플링 기법에 관계없이 랜덤포레스트가 대체로 우수했고, B등급의 예측력은 분류 모델이나 샘플링 기법에 따라 차이가 있어 일률적으로 언급하기 어려웠다.

이처럼 혼동행렬을 통하여 의사결정나무와 랜덤포레스트 중 성능이 뛰어난 알고리즘을 판별할 수 있으나, 샘플링별 모델의 성능을 수치로 표현된 정량적인 기준으로 비교하기는 어렵다. 따라서 모델 예측 성능을 좀 더 명확하게 정량적으로 판단하기 위해 3.2절에서는 수치나 그래프로 표현될 수 있는 추가적인 지표들을 이용하여 분석하였다.

Fig. 7. Confusion Matrix

Fig. 8. Results of Confusion Matrix: (a) Decision Tree, (b) Random Forest

3.2 정확도, C, D등급 재현율, ROC 곡선 및 AUC

일반적인 정확도는 전체에서 정답의 비율을 식 (4)로 구하며, 테스트 데이터의 범주별 분포가 균등하지 않으면 예측력을 과대 또는 과소평가할 우려가 있다. 따라서 이러한 정확도는 이 연구에서와 같이 테스트 데이터가 불균형한 경우에는 평가 지표로서 적절치 않다. 불균형한 테스트 데이터의 경우 식 (5)와 같이 재현율과 특이도의 산술평균으로 계산되는 균형 정확도를 평가 지표로 사용하는 것이 바람직하다. 이는 각 범주의 개수 차이의 영향을 줄임으로써 개수가 작은 범주의 예측 성능이 왜곡되지 않도록 하는 장점이 있다.

정밀도(Precision)는 식 (6)과 같이 특정 범주로 예측한 것 중에서 실제로 특정 범주에 존재하는 비율을 나타낸 것이며, 식 (7)과 같은 재현율은 실제 특정 범주에 속하는 것 중 예측이 맞는 비율을 의미한다^{(He and Garcia, 2009)}. 한편 F1-score는 식 (8)과 같이 정밀도와 재현율의 조화평균으로서 다중 분류 모델의 대표적인 평가 지표 중 하나이다^{(Grandini et al., 2020)}. 보통 재현율과 정밀도는 상대적인 관계를 가지고 있어 모든 범주의 예측 성능이 뛰어나지 않은 이상 재현율이 감소하면 정밀도가 상승하고, 정밀도가 감소하면 재현율이 상승하는 경향이 있다. F1-score는 조화평균의 특성상 재현율과 정밀도 중 하나가 저하되면 낮은 수치를 산출하게 된다. 따라서 모델의 목적에 따라 정밀도, 재현율과 F1-score 중 더 중요시되는 평가 지표를 선정해야 한다. 안전등급 예측 시 C, D등급 교량이 유지관리의 중점이 되므로 이를 올바로 예측하는 것이 무엇보다 중요하다. 따라서 정밀도, 재현율, F1-score 중 C, D등급의 재현율을 주로 고려하여 예측 성능을 평가하였다.

한편, ROC 곡선은 분류에서 비용에 해당되는 FPR(False Positive Rate)과 이득에 해당되는 TPR(True Positive Rate)의 비율을 시각적으로 나타내어 모델의 예측 성능을 쉽게 판단할 수 있도록 한 것이다. FPR은 실제 특정 범주에 존재하지 않는 값을 특정 범주에 존재한다고 예측하는 비율로 비용에 해당하며, TPR은 실제 특정 범주에 존재하는 값을 올바로 예측하는 비율로 이득에 해당한다. ROC 곡선은 (0, 1)에 가까울수록 이득이 많이 발생해도 손실 발생이 적다는 것을 의미하므로 분류가 완벽에 가까움을 나타낸다^{(He and Garcia, 2009)}. AUC는 ROC 곡선의 아래쪽 면적을 나타낸 값으로 ROC 곡선의 성능을 수치로 비교할 때 유용하다. AUC는 1에 가까울수록 성능이 좋다는 것을 의미하고, 통상적으로 0.8 이상이면 성능이 뛰어난 분류기, 0.7 이상이면 성능이 준수한 분류기로 간주하며, 0.5 이하이면 분류의 의미가 없다는 것을 의미한다^{(Hosmer and Lemeshow, 2000)}. ROC 곡선 및 AUC는 분류 모델의 대표적인 평가 지표이며, 개별 범주에 따른 비용 및 손실을 계산하기 때문에 다른 범주의 영향을 적게 받으므로 불균형 데이터의 분석에 적합하다고 판단하여 평가 지표로 사용하였다.

분석 결과 의사결정나무와 랜덤포레스트 모델의 균형 정확도, C, D등급 재현율, AUC를 Table 6 및 7에 나타내었고, ROC 곡선은 Fig. 9와 같다. 여기서 균형 정확도 및 AUC는 모든 등급에 대한 평균값이다. 의사결정나무의 경우 랜덤 언더 샘플링이 모든 측면에서 랜덤 오버 샘플링 및 SMOTETomek 샘플링보다 성능이 우수하였다. 특히, 랜덤 언더 샘플링은 AUC가 0.7 이상으로 성능이 준수하였고, 무엇보다 C, D등급의 재현율이 78.7%로 다른 두 가지 샘플링 기법보다 월등히 우수하였다. 랜덤포레스트의 경우 모든 샘플링에서 균형 정확도가 64~67% 수준으로 의사결정나무보다 좋은 성능을 보유하였으며, AUC 또한 0.8 이상으로 성능이 뛰어난 분류기로 판단할 수 있었다. 다만 C, D등급의 재현율은 랜덤 언더 샘플링이 83.4%로 다른 두 샘플링보다 우수하였다. 이는 교량의 안전등급 판정과 관련된 기존의 이진 분류 모델 연구^{(Chung et al., 2016)}에서 C, D등급의 재현율이 67.3%였던 것과 비교할 때 재현율을 16.1%p 향상시킨 것으로서, 이 연구에서 적용한 분류 기법의 우수성을 보여주고 있다.

ROC 곡선의 경우 의사결정나무의 랜덤 언더 샘플링에서는 A등급 및 C, D등급의 예측 성능이 B등급보다 상대적으로 우수하게 나타났다. 하지만, 랜덤 오버 샘플링 및 SMOTETomek 샘플링은 등급에 관계 없이 곡선이 (0, 1)에서 비교적 멀리 떨어진 형상이기 때문에 성능이 낮았으며, 이러한 경향은 Table 6의 상대적으로 작은 AUC값에도 반영되어 있다. 반면 랜덤포레스트에서는 모든 샘플링 기법에서 ROC 곡선의 형태가 의사결정나무보다 우수한 것으로 나타났으며, 이는 Table 7의 AUC값에서도 확인할 수 있다. 다만 B등급의 예측 성능이 A등급 및 C, D등급보다 떨어지는 경향은 의사결정나무의 랜덤 언더 샘플링과 유사하게 나타났다.

이러한 결과들을 바탕으로 의사결정나무와 랜덤포레스트의 성능을 전반적으로 비교하자면 균형 정확도, C, D등급 재현율, AUC, ROC 곡선 모두 랜덤포레스트가 더 우수한 것으로 나타났다. 특히, 랜덤포레스트의 샘플링 기법 중 C, D등급의 재현율이 월등히 뛰어난 랜덤 언더 샘플링이 부각되었다. 이상과 같이 교량의 안전등급 예측에 두 가지 분류 모델을 적용하여 분석한 결과 랜덤포레스트 모델의 랜덤 언더 샘플링이 C, D등급을 추출하는 예측력이 우수하여 권장될 수 있다.

Fig. 9. Comparison of ROC Curves: (a) Decision Tree, (b) Random Forest

3.3 활용 방안

이상과 같이 일반국도상 교량 8,850개에 대해서는 Table 4 및 5의 매개변수를 가지고 랜덤포레스트 모델의 랜덤 언더 샘플링 기법을 적용하는 것이 효과적인 것으로 나타났다. 데이터의 분포나 성질에 따라 최적의 분류 모델이나 샘플링 기법은 달라질 수 있으나, 일반국도 외에 고속국도나 지방도상의 교량들도 유사한 데이터 분포 및 성질을 가지고 있다고 가정한다면 동일한 기법을 적용하여 분석 가능하다.

제안된 기법을 활용하여 점검이 실시되지 못했거나 점검 시기가 초과된 교량의 성능을 예측할 때는 각종 데이터와 더불어 안전등급을 확인하고자 하는 연도를 입력하면 예상되는 교량 안전등급을 산출하게 된다. 특히, 제안 기법은 노후도가 큰 C, D등급 교량의 예측력이 우수하므로 교량의 적정 보수보강 시기 추정 및 유지관리 예산 산출에 유용하게 활용될 수 있을 것으로 기대된다.