2.1 데이터 수집 및 전처리

본 연구는 건설업에서 가장 빈번히 일어나 집중적인 관리가 필요한 주요 안전사고 유형인(^{Kim et al., 2017}) 6개의 재해유형(떨어짐, 넘어짐, 물체에 맞음, 끼임, 절단 및 베임, 부딪힘)을 대상으로 2019년부터 2021년까지 최근 3년간 발생한 재해사례 데이터 6,826건을 수집하여 활용하였다. 데이터는 Python의 BeautifulSoup 패키지(^{Beautiful Soup, 2020})를 사용한 웹 크롤링(Web crawling)을 통해 수집되었으며, 수집된 데이터는 6개의 재해유형에 대한 46개라는 다양한 변수로 구성되어 있었다. 다만, 기계학습에 사용될 데이터의 변수가 다양하거나 예측 목적과 관련이 적은 변수를 사용할 경우, 예측 모델의 성능이 매우 낮아질 수 있다(^{Woo et al., 2019}). 따라서, 본 연구에서는 데이터 표본이 매우 적거나 사전에 파악 불가능한 변수를 제거하였고, 변수의 중요성을 평가할 수 있는 Permutation feature importance (^{Fisher et al., 2019}) 기법을 적용하여 관련성이 높은 변수들을 선정하였다. 본 연구에서 최종적으로 고려한 입력변수는 14개의 정형데이터와 1개의 비정형데이터로 구성되어있다. 또한, 출력변수는 떨어짐(Fall, 2035개(29.8 %)), 넘어짐(Wipeout, 1630개(23.8 %)), 물체에 맞음(Hit, 1301개(19.1 %)), 끼임(Narrowness, 891개(13.1 %)), 절단 및 베임(Cut, 481개(8.5 %)), 부딪힘(Crash, 387개(5.7 %))으로 구성된 6가지 건설재해 유형(Type of accident)으로 구성하였으며, Table 1과 같다.

Fig. 1. Research Process to Develop Prediciton Model

본 연구에서 사용된 정형 및 비정형데이터는 각각 기계학습 모델과 BERT 모델에 적용하기 위한 전처리 작업이 수행되었다. 수치형 정형데이터의 경우, 모델의 학습 속도를 개선하는 효과가 있는 정규화(Normalization) 작업을 수행하였다(^{Shanker et al., 1996}). 또한, 범주형 정형데이터의 경우, 기계학습 모델이 이해할 수 있는 데이터형식으로 변경해주는 원핫 인코딩(One-hot encoding)을 수행하였다. 반면, 비정형 텍스트 데이터인 사고경위(Details of the accident)의 경우엔 특수문자와 같은 문장에 불필요한 요인을 제거하는 데이터 정제(Data cleaning) 작업과 접미사와 같이 무의미하거나 분석에 큰 의미를 갖지 않는 단어를 제거하는 불용어 처리(Stop-words removal) 작업을 수행하였다.

2.2 기계학습 기반 건설재해 예측 모델

기계학습 기반의 예측 모델의 경우, 사용된 데이터와 예측하고자 하는 목적에 따라서 어떠한 기계학습 알고리즘이 최적의 성능을 발휘하는지 사전에 파악하기 힘든 한계가 있다(^{Ha and Ahn, 2019}). 따라서, 본 연구에서는 다중클래스 분류에 우수한 5가지의 기계학습 알고리즘(LOGIT, ANN, SVM, NB, DF)을 적용하고 예측 모델을 개발하고 정량적 성능 평가를 통해 건설재해 예측을 위한 최적의 모델을 도출하였다.

그 중, LOGIT은 데이터가 어떤 범주에 속할 확률을 예측하고 그 확률에 따라 범주를 분류해주는 알고리즘이다(^{Sperandei, 2014}). ANN은 생물의 신경망에서 영감을 얻은 통계학적 학습 알고리즘으로 입력과 출력 사이의 복잡한 학습에 유리하다(^{Hoskins and Himmelblau, 1992}). SVM은 데이터 집합을 바탕으로 예측하고자 하는 데이터가 어느 범주에 속하는지 분류해주는 비확률적 이진클래스 분류(Two-class classification) 알고리즘이다(^{Cortes and Vapnik, 1995}). NB는 간단한 디자인과 가정에도 불구하고, 복잡한 실제 상황에서 높은 성능을 보이는 알고리즘이다(^{Zhang, 2004}). 마지막으로 DF는 분류, 회귀 등을 포함한 다양한 학습 작업에서 높은 성능을 보이는 의사결정 트리(Decision tree)를 반복하여 훈련하고 예측결과를 결합하여 의사결정 트리의 성능을 더욱 고도화한 알고리즘이다(^{Rokach, 2016}).

하지만, 본 연구에서 사용되는 기계학습 알고리즘 중 SVM을 포함한 몇몇 알고리즘은 두 가지 유형(class)만 분류할 수 있는 이진클래스 분류 모델이기에, 6개의 유형으로 구성된 건설재해를 예측할 수 없다. 따라서, 2가지 이상의 유형을 분류할 수 있도록 만들어주는 OVA (One-vs-All) 접근 방식을 적용하여 다중클래스 분류를 위한 지도학습을 수행하였다.

또한, 기계학습 기반 예측 모델의 성능은 편향(bias)과 분산(variance) 사이의 균형을 맞출 때 사용되는 하이퍼파라미터(Hyper–parameter)를 적절하게 설정하여 최적화하는 것이 중요한 요소로 작용한다(^{Raschka, 2018}). 따라서, 본 연구에서는 기계학습 기반의 예측 모델의 성능을 최적화하기 위해 k-겹 교차 검증(k-fold cross- validation) 방식을 사용하여 최적의 하이퍼파라미터를 설정하였다.

마지막으로, 5가지 기계학습 알고리즘을 적용하여 개발된 건설재해 예측 모델에 검증용 데이터를 사용하여 Overall accuracy와 Macro F1-score를 척도로 정량적 평가를 진행하였고, 최고의 예측성능을 보이는 모델을 분석하였다. 이때, 평가하고자 하는 모델의 클래스 수가 l개일 때, Eq. (1)은 정밀도(Macro-precision), Eq. (2)는 재현율(Macro-recall) 그리고 Eq. (3)은 Macro F1-score를 보여주며(^{Sokolova and Lapalme, 2009}), Overall accuracy는 전체 데이터에 대한 예측률을 의미한다.

2.3 BERT 기반 건설재해 예측 모델

본 연구에서 비정형 텍스트 데이터를 활용한 건설재해 예측 모델을 개발하기 위해 우수한 텍스트 분류 성능을 보이는 BERT를 사용하였다. BERT는 attention 기법을 활용하는 기계 번역 모델인 Transformer (^{Vaswani et al., 2017}) 기반의 언어모델로 사전학습(Pre-training)과 파인튜닝(Fine-Tuning) 과정을 통해 자연어처리에 우수한 성능을 보이는 모델이며(^{Devlin et al., 2019}), 그 절차는 Fig. 2와 같다. 사전학습은 개발하고자 하는 모델의 성능을 높이기 위해 레이블이 없는 대량의 텍스트 데이터를 사전에 학습하는 과정이며, 학습할 문장의 일부분을 마스킹(Masking)하여 모델이 마스킹한 부분을 예측하도록 하는 Masked Language Model (MLM) 방식과 문장별 관계를 학습하는 Next Sentence Predicion (NSP) 방식이 적용되었다. 파인튜닝은 사전에 학습된 BERT 모델을 다른 예측 모델로 활용하기 위해 새로운 데이터를 학습하고 하이퍼파라미터를 조정하는 과정이다. 따라서, 사전학습된 모델에 파인튜닝을 통해 개발된 BERT 기반의 예측 모델은 적은 양의 텍스트 데이터만으로도 우수한 성능을 보여 최근 많은 연구에서 활용되고 있다(^{Lee et al., 2020}).

Fig. 2. Overall Pre-Training and Fine-Tuning Procedures for BERT

본 연구에서는 SK T-Brain에서 개발한 대량의 한국어 텍스트로 사전학습된 한국어 BERT 모델을 사용하였으며, 건설재해 예측 모델 개발을 위해 사고경위 데이터를 추가로 학습시키고 최적의 하이퍼파라미터를 설정하는 파인튜닝 과정을 수행하였다. 특히, 최적화된 모델을 개발하기 위한 파인튜닝 과정은 성능 개선을 위해 Epoch 수를 조정하거나, Batch size, Learning rate, Maximum sequence length 값을 조정하는 하이퍼파라미터 튜닝 과정이 여러 연구에서 대표적인 방법으로 사용된다(^{Lee et al., 2020}). 본 연구에서도 사전학습된 한국어 BERT 모델을 통한 최적의 건설재해 예측 모델을 개발하기 위해 하이퍼파라미터 튜닝 과정을 수행하였다. 하이퍼파라미터의 미세 조정을 통해 약 30 Case의 조합을 실험하고 검증용 데이터를 사용하여 Overall accuracy와 Macro F1-socre를 척도로 정량적 평가를 진행하였고, 건설재해 예측을 위한 최적의 BERT 모델을 개발하였다.

3.1 예측 모델의 성능 분석

Table 2에 나타낸 것과 같이, 정형데이터만을 고려한 기계학습(LOGIT, ANN, SVM, NB, DF) 기반의 건설재해 예측 모델은 Overall accuracy가 69.19~79.98 %, Macro F1-score가 0.6247~ 0.7401의 분포로 비교적 낮은 예측성능을 보였다. 그 중, DF 알고리즘을 적용한 기계학습 기반의 건설재해 예측 모델이 가장 높은 Overall accuracy (79.98 %)와 Macro F1-score (0.7401)를 보이는 것으로 분석되었다.

Table 3에 나타낸 것과 같이, 비정형데이터만을 고려한 BERT 기반의 건설재해 예측 모델은 5가지의 하이퍼파라미터 설정에 따라, Overall accuracy가 88.45~89.35 %, Macro F1-score가 0.8183~0.8312의 분포로 정형데이터만을 고려했을 때보다 높은 예측성능을 보였다. 그 중, 학습을 위한 Optimizer는 AdamW를 사용하고 Batch size는 32, Learning rate는 0.00005, Maximum sequence length는 64, Epoch는 8로 설정한 BERT 기반의 건설재해 예측 모델이 가장 높은 Overall accuracy (89.35 %)와 Macro F1-score (0.8312)를 보이는 것으로 분석되었다.

마지막으로, 본 연구에서 최종적으로 제안하는 정형 및 비정형데이터를 동시에 고려한 기계학습 기반의 건설재해 예측 모델은 앞서 개발한 BERT 모델에 비정형 입력변수를 사용하여 건설재해를 예측하고 14개의 정형 입력변수에 추가하여 총 15개의 입력변수를 사용하여 개발되었다.

Table 4에 나타낸 것과 같이, 정형 및 비정형데이터를 모두 고려한 기계학습(LOGIT, ANN, SVM, NB, DF) 기반의 건설재해 예측 모델은 Overall accuracy가 91.63~95.41 %, Macro F1-score가 0.8436~0.8912의 분포로 우수한 예측성능을 보였다. 그 중, DF (+BERT) 알고리즘을 적용한 기계학습 기반의 건설재해 예측 모델이 가장 높은 Overall accuracy (95.41 %)와 Macro F1-score (0.8912)를 보이는 것으로 분석되었다.

3.2 예측 모델의 성능 평가

Table 5에 나타낸 것과 같이, 본 연구에서 데이터형식에 따라서 개발한 3가지 유형의 예측 모델 가운데, 정형 및 비정형데이터를 동시에 고려한 DF (+BERT) 기반의 예측 모델이 가장 높은 예측성능을 보이는 것으로 평가되었다. 특히, 정형데이터만을 활용한 예측 모델의 Overall accuracy (79.98 %)와 Macro F1-score (0.7401) 보다 약 20 %의 예측성능이 향상된 Overall accuracy (95.41 %)와 Macro F1-score (0.8912)를 보여, 비정형데이터를 함께 고려함으로써 효과적인 성능 향상을 보이는 것으로 평가되었다.

따라서, 본 연구에서는 정형 및 비정형데이터를 동시에 고려한 DF (+BERT) 기반의 예측 모델을 건설재해 예측을 위한 최적의 모델로 제안하였다. 마지막으로, 본 연구에서 제안한 예측 모델의 출력변수로 사용된 6종류의 재해유형별 예측정확도를 평가하기 위해 혼동 행렬(Confusion Matrix)을 도출하였으며, Fig. 3과 같다.

재해유형의 분포는 떨어짐(29.8 %), 넘어짐(23.8 %), 물체에 맞음(19.1 %), 끼임(13.1 %), 절단 및 베임(8.5 %), 부딪힘(5.7 %) 순이며, 데이터가 부족한 부딪힘에 대한 예측은 비교적 낮은 81.3 %의 예측정확도를 보이는 것으로 평가되었다. 반면, 나머지 재해유형에 대해선 90 % 이상의 높은 예측정확도를 보이며, 데이터 수가 많은 상위 3개의 재해유형(떨어짐, 넘어짐, 물체에 맞음)은 제안모델의 Overall accuracy인 95.41 %보다 높은 예측정확도를 보이는 것으로 평가되었다.

Fig. 3. Confusion Matrix of Proposed Model