2.1 데이터셋

본 연구는 문자 임베딩 기반의 BIM 입찰 요구사항 분류 모델을 생성하기 위해 ^{Kim et al.(2023)}이 구축한 BIM 요구사항 난이도 데이터셋을 사용하였다. ^{Kim et al.(2023)}은 다수 국내 건설사업의 입찰안내서, 제안요청서, BIM 수행계획서 등 입찰문서를 수집하고 이로부터 BIM 요구사항 및 일반 입찰사항 관련된 800개 문장을 선별해 BIM 실무자를 대상으로 설문조사를 수행하였다. 각 입찰 문장마다 포함된 BIM 요구사항을 10명의 실무 전문가가 검토하고 해당 요구사항에 따른 BIM 관련 수행 업무에 대한 부담 수준, 소요 투입 자원 등의 난이도를 실무경험에 근거해 정량 점수를 부여하도록 하였다. 문장별로 정량 점수에 대한 평균 점수를 산출하고, 기준 점수보다 평균 점수가 높으면 BIM 요구사항에 대한 실제 업무 수행 난이도가 높다고 간주해 BIM 요구사항에 대한 난이도 데이터를 구축하였다(Table 1). 또한 적은 분량의 난이도 데이터를 보완하고, 난이도의 높음/낮음 데이터 비율이 1:1에 근사하도록 BIM 요구사항과 무관한 800개의 입찰 문장을 추가하여 전체 1,600개 문장으로 구성된 데이터셋을 확보하였다. 여기서 추가된 일반 입찰 문장은 BIM 요구사항 난이도가 낮다고 고려된다.

학습, 검증, 시험 목적으로 데이터를 각각 1,120, 320, 160 문장으로 구분하였다. 또한 단어 임베딩 대비 문자 임베딩의 장점을 확인할 수 있도록 입찰 문장에 대한 문장 부호 및 기호에 대한 정제 처리는 수행하지 않았으며, 표현 방법이 다른 용어 및 영문자 대소문자를 통합해 표기하는 정규화 처리도 수행하지 않았다.

2.2 문자 임베딩

본 연구의 문자 임베딩은 음절을 기본 단위로 하며 공백, 문장 부호 및 기호 모두 임베딩 대상에 포함한다. 입력 텍스트에 대한 정제, 정규화 등에 대한 별도의 처리를 수행하지 않고 문장 단위 텍스트로부터 음절 단위로 인코딩(Integer encoding)을 수행하였다. 2.1절에 설명한 입찰 문장을 대상으로 709개 음절 단위 문자 목록 사전을 생성하였고, 이를 이용해 각 문장에 대한 정수 배열이 생성되도록 하였다. 이때 인코딩된 문장은 딥러닝 모델의 입력 데이터로 활용되도록 ‘PAD’ 토큰을 추가해 동일한 길이가 되도록 하였다.

문자 임베딩은 깊은 신경망 모델의 연산을 위해 입력된 문자 배열의 각 문자를 벡터 데이터로 표현하는 방법을 의미하며, 희소 특징 벡터(Sparse/Coarse feature vector) 또는 분산 특징 벡터(Dense/Distributed feature vector)를 사용해 문자 조합을 나타낼 수 있다. 본 연구는 임베딩 벡터가 입력 문장을 구성하는 단어와 이를 구성하는 문자 간 분포 관계를 함축할 수 있도록 분산형 특징 벡터를 문자 임베딩으로 사용하였으며, Table 2와 같이 서로 다른 문자 임베딩 방법을 고안하였다.

Table 2에서 Model A의 문자 임베딩 모듈은 문자에 대한 정수 배열 조합으로 나타낸 입력 문장을 특징 벡터로 변환하기 위해 Tensorflow의 Embedding과 Flatten 층을 사용한다. Embedding 층은 Word2Vec과 달리 모델의 학습 과정에서 가중치 행렬을 갱신함으로써 문자별로 입력 텍스트 및 전체 모델의 예측 결과를 반영한 특징 벡터를 생성한다. Flatten 층은 Embedding 층에서 얻어진 문자별 특징 벡터를 연결해, 분류 모듈에 전달하기 위한 문자 조합을 나타내는 1차원 특징 벡터로 변환한다. 여기서 Embedding 층은 문장 전체에 대한 문자 조합을 수치적으로 표현하나, 문자와 문자 간 동시 출현에 대한 통계적 정보만 반영해 문맥 정보를 담기에 한계가 있다.

문자 임베딩 결과가 문맥 정보를 포함하기 위해서는 문자의 출현 순서 정보를 포함하거나, 텍스트의 유의미성을 갖도록 단어 수준으로 문자 정보를 함축하는 것이 유리할 것으로 기대된다. 이러한 이유로 Model B와 같이 순환 신경망 중 하나인 Bi-LSTM 신경망을 Embedding 층과 함께 사용함으로써 입력 문장의 문자 조합뿐만 아니라 순서 정보까지 함께 포함하도록 하였다. 또한 Model C와 같이 Embedding과 함께 1차원 합성곱 신경망(Conv1D) 및 Max pooling 층을 결합해 전체 문자 배열에 대한 정보뿐만 아니라 단어 및 구절 단위로 특징 벡터에 입력 문장의 정보를 함축할 수 있도록 하였다.

2.3 분류 모델

BIM 요구사항에 대한 난이도 분류 모델은 Fig. 2에 나타낸 바와 같이 문자 임베딩 모듈과 난이도 판별 모듈로 구분된다. 모델로 입력되는 데이터는 입찰 문장과 해당 문장에 대한 이진화된 BIM 요구사항 난이도 정보이며, 여기서 입찰 문장은 별도의 전처리 과정을 수반하지 않는다. 입찰문장은 음절 단위로 구분된 후 개별 음절에 해당하는 정수 인덱스 배열로 변환해 A, B, C 중 하나의 문자 임베딩 모듈을 통해 분산 방식의 특징 벡터로 표현된다. 특징 벡터는 분류 모듈로 전달되며, 해당 모듈은 모델에 의한 BIM 요구사항에 대한 난이도를 높음과 낮음으로 이진 분류하므로 Sigmoid 활성화 함수를 갖는 완전 결합(Fully connected: FC) 층으로 분류 모듈을 구성하였다. 모델의 학습 수준을 평가하기 위한 손실함수는 Binary cross-entropy를 사용하였으며, 모델의 훈련 변수의 갱신에 사용되는 최적화 함수는 Adam을 사용하였다. 모델의 최대 학습 횟수(Epoch)는 100으로 설정하였으나, Keras의 EarlyStopping 기능을 사용해 검증데이터에 대한 손실함수 값 개선이 이뤄지지 않으면 학습을 조기 종료하도록 하였다. Fig. 2의 전체 모델의 구현 및 학습을 위해 Tensorflow 2.7.13을 사용하였다.

입찰 문장 데이터셋의 정수 배열 길이를 검토하여 Embedding 층에 입력되는 배열의 길이를 420으로 설정하였고, 이외 모델 학습 및 문자 임베딩 모듈과 관련된 주요 매개변수는 Table 2에 나열된 값을 조합하여 학습을 진행하였다. 모델의 학습 결과는 학습 변수의 초깃값 및 GPU 가속기 사용 등에 영향을 받는다. 본 논문은 일정한 모델 성능평가 지표를 재현할 수 있도록 Embedding, Convolution, Bi-LSTM의 학습 변수의 임의 초깃값 생성에 고정 시드를 사용하였고, GPU 가속과 Tensorflow 관련된 환경변수를 고정하였다.

Fig. 2. Classification Models of BIM Requirement Difficulty Level in Bidding Sentences

3.1 모델별 성능 비교

Table 3에 나타낸 매개변수를 조합하여 Model A, B, C에 대한 학습을 수행하였고, 검증데이터에 대한 모델 성능 지표를 비교하였다. 여기서 배치 크기 및 임베딩 층의 출력 크기, Bi-LSTM 층의 은닉층 유닛수는 딥러닝 관련 연구문헌 및 Kaggle, Dacon 등 머신러닝 경진대회 플랫폼에서 통상 제시되는 범위의 값을 사용하였고, 1D 합성곱 층의 필터 수 및 크기는 ^Kim(2014)를 참고해 결정하였다. 모델별 매개변수 조합에 따른 학습 조건은 각각 16, 48, 144개 경우이며, 학습을 수행해 검증데이터에 대한 F1 분포를 Fig. 3에 나타냈다. 여기서 사용된 모든 모델은 최대 Epoch에 도달하기 전 학습이 종료된 것으로 학습데이터에 대해 과소 훈련 및 과적합되지 않았다.

Fig. 3. F1 Distribution of Models for Validation Data. (a) Histogram of F1, (b) Scatter Plots of F1 with the Same Batch Size, (c) Scatter Plots of F1 with the Same Embedding Output Dimension

먼저 Fig. 3(a)는 매개변수 조건과 관계없이 모든 모델의 F1을 0.05 단위로 구분한 도수분포도이다. Fig. 3(a)에서 확인할 수 있듯이 Model A와 B의 F1이 0.90~0.95에 집중되어 있어, Model A와 B가 매개변수인 Embedding 층의 출력 크기 및 배치 크기에 대해 민감하지 않음을 알 수 있다. 이러한 사실은 Embedding 출력 크기와 배치 크기를 기준으로 F1 구분한 Figs. 3(b) and 3(c)에서도 확인할 수 있다. Figs. 3(b) and 3(c)에서도 F1은 0.90~0.95 사이에 존재하고 있으며, Embedding 출력 크기나 배치 크기의 증감에 따른 일관된 경향이 나타난다고 보기 어려웠다. Model B는 Bi-LSTM의 은닉층의 유닛 수를 추가로 매개변수로 포함하고 있음에도 Model A 대비 두드러진 F1의 개선은 확인되지 않았으며, 매개변수를 구분하여 나타낸 경우에도 Model B의 F1이 0.9~0.95에 밀집한 경향을 보이므로 Bi-LSTM 은닉층 유닛 수에 따른 성능 변화 또한 미미함을 알 수 있다. 한편 Model C는 Fig. 3 전체에서 0.6과 1.0 사이에 넓게 분포하고 있어 모델 매개변수(합성곱의 필터 수 및 크기)의 영향을 민감하게 받고 있음을 알 수 있다. 또한 배치 크기별로 구분한 Fig. 3(b)와 Embedding 출력 크기별로 구분한 Fig. 3(c)의 F1 모두 분산되어 있으므로 Model C의 경우 배치 크기와 Embedding 출력 크기에 영향을 받는 것을 알 수 있다. 각 모델의 매개변수 영향을 구분해 3.2~3.5에서 분석하였다.

3.2 Model A의 문자 임베딩 모듈 매개변수 영향 분석

모델 전체에 대한 F1 분포뿐만 아니라 모델별 동일 매개변수 조건에 대해 비교해도 Model A와 B의 매개변수 민감성은 낮은 것으로 확인된다. 먼저 Fig. 4는 Model A에 대해 배치 크기별로 Embedding 출력 크기 증가에 따른 F1 추이를 보여주며, Table 2의 매개변수 조합에 대해 Model A의 F1이 0.915~0.934를 나타내 모델의 최적화는 이뤄진 것으로 판단되나 배치 크기 및 Embedding 출력 크기에 따른 F1의 일관된 경향성을 확인하기 어렵고 크기 변화도 미미하였다. 이러한 결과는 Model A의 임베딩 모듈의 구조 특성상 모델의 복잡성이 높지 않고 데이터셋 규모도 크지 않아, Model A가 가질 수 있는 최적 상태에 도달해 매개변수의 영향이 작았던 것으로 추정된다.

Fig. 4. F1 Distribution of Model a for Validation Data

3.3 Model B의 문자 임베딩 모듈 매개변수 영향 조사

Fig. 5는 Model B의 배치 크기별 Embedding 출력 크기와 Bi-LSTM의 은닉층 유닛 수에 따른 F1에 대한 등치선도(간격: 0.025)를 보여준다. 매개변수 변화에 따라 F1의 범위가 0.916~0.940 나타나 Model A 대비 지표는 상승했으나 증가 크기가 미미하였고, Fig. 5에서 확인할 수 있듯이 매개변수 변화에 따른 F1의 변동도 0.025~0.050 이내였다.

Model B가 Bi-LSTM층을 추가함으로써 문장을 구성하는 순서 정보까지 반영해 모델의 복잡성이 증가하였음에도 Model A 대비 성능 개선 및 매개변수의 영향이 미미하였다. 이는 Bi-LSTM 층을 추가함으로써 학습 중 갱신 변수(Trainable variable)가 Model A 대비 최대 3배 수준까지 증가하는 등 모델은 커졌으나, 모델 규모 대비 적은 데이터셋이 그대로 사용되어 추가적인 성능 개선이 이뤄지지 않았다고 판단되며 이에 대한 근거는 3.5에 자세히 기술하였다.

Fig. 5. F1 Distribution of Model B for Validation Data. (a) Batch Size: 1,024, (b) Batch Size: 512, (c) Batch Size: 128, (d) Batch Size: 64

3.4 Model C의 문자 임베딩 모듈 매개변수 영향 조사

Model C는 매개변수 조건에 따라 Model A와 B 대비 성능이 개선된 모델이 다수 확인되었다. Fig. 6은 Model C의 합성곱 필터 수 및 크기 매개변수에 대한 영향을 확인하기 위해 배치 크기 64로 학습한 모델의 Embedding 출력 크기별로 필터 수 및 크기 조건에 따른 F1 변화를 나타낸 것으로, 등치선 간격은 0.025이다. Fig. 6에서 필터 수 및 필터 크기가 증가함에 따라 F1 등치선 값도 증가하는 경향이 있음을 명확히 확인할 수 있다. 등치선 또한 전반적으로 필터 수 및 필터 크기가 작을수록 급격한 값의 변화를 보였고, 필터 수가 4에 가까울수록 등치선의 방향이 급한 우하향 기울기를 가지므로 필터 수가 필터 크기보다 F1 변화에 더 지배적인 영향인자임을 알 수 있다. 그러나 필터 수가 8 이상으로 증가하면서부터 등치선도의 색 변화가 감소하고 필터 수가 4일 때보다 등치선이 점차 넓게 배치되므로, 필터 수 및 필터 크기의 증가에 의한 F1의 증가 효과도 점차 작아짐을 알 수 있다. 필터 수 8 및 필터 크기 5 이상부터 F1이 0.93 이상으로 높은 값을 보이고 있고 해당 매개변수 변화에도 값의 변화가 없거나 미미하므로, 모델 성능이 사용된 데이터셋에 대해 포화 상태에 다다른 것으로 판단할 수 있다.

추가로 Model C는 Embedding 출력 크기 32와 64인 경우에 필터 매개변수에 따른 지표 변화가 두드러진 반면 16 및 128 조건은 필터 매개변수에 따른 유의미한 F1 변화를 확인되나 32와 64 조건에 비해 변동 범위가 0.1로 작았다. 나머지 배치 크기 조건 1024, 512, 128에서도 64와 유사한 결과를 확인할 수 있었다. 배치 크기에 무관하게 Fig. 5와 유사한 F1 분포가 확인되고 있으므로, Embedding 출력 크기가 Model C의 성능에 영향을 주는 것을 확인하였으나, Embedding 출력 크기 증감에 비례한 일관된 경향성은 확인하지 못하였다.

Model C는 Embedding 층에 추가해 합성곱 층을 추가함으로써 모델의 복잡성이 높아졌으나 Model B와 달리 매개변수의 영향이 명확히 확인된다. 이는 합성곱 추가로 인한 모델의 규모 증가가 Model B에 비해 크지 않고, Model C의 단어 또는 구문 단위의 정보 추출 방식이 BIM 요구사항 난이도 판별에 더 효과적임을 보여준다. 상세 내용은 3.5절에서 다룬다.

Fig. 6. F1 Distribution of Model B for Validation Data: Batch Size 64. (a) Embedding Output Dimension: 16, (b) Embedding Output Dimension: 32, (a) Embedding Output Dimension: 64, (b) Embedding Output Dimension: 128

3.5 문자 임베딩 모듈 매개변수 영향 비교 분석

Table 4는 모델별 일부 매개변수 변화에 따른 모델 내 학습 변수 양을 정리한 것이다. 먼저 Model A는 분류 모듈에 전달할 수 있도록 임베딩 벡터의 생성을 위해 Embedding 층에 Flatten 층을 추가하는 과정에서 학습 변수가 늘어난다. 가령 Embedding 출력 크기를 64에서 128로 증가시킴에 따라 학습 변수도 2배로 늘어난다. 그러나 입찰 문장에 대한 문자 조합 외 추가적인 정보를 반영하지 못하고 데이터셋의 규모는 변화가 없으므로, 모델의 복잡성만 높아져 별다른 성능 개선 및 매개변수 영향을 확인할 수 없다. 한편 Model B는 Bi-LSTM 층을 추가함으로써 문자 순서 및 구성 정보를 전달할 수 있지만 Bi-LSTM 층의 은닉층 유닛 수에 따라 Model A 대비 학습 변수가 유사하거나 증가하게 되고 그 결과 모델의 성능 개선을 위해 Model A 대비 더 많은 데이터를 필요하게 된다. 반면 Model C는 합성곱 및 Maxpooling 층을 통해 단어 및 구문 정보를 축약해 분류 모듈로 더 작은 규모로 임베딩 벡터를 전달할 수 있고, 이를 통해 동일 Embedding 출력 크기 조건의 타 모델 대비 적은 학습 변수만 필요로 하게 된다. 또한 필터 관련 매개변수 증가로 인한 학습 변수 증가량도 Model B의 은닉층 유닛 수 증감에 따른 변화량에 비해 작다. 따라서 Model C는 모델 규모와 학습에 필요한 데이터 규모 균형을 이뤘고, 필터 매개변수가 일정 크기 이상인 조건에서 타 모델 대비 BIM 입찰 요구사항 분류 성능이 전반적으로 높을 수 있었다고 판단된다.

또한 일정 이상의 합성곱 필터 매개변수를 사용한 Model C의 성능 지표가 다른 모델에 비해 높으므로, Model C가 BIM 요구사항에 대한 중요 정보의 추출 관점에서도 다른 모델 대비 장점이 있을 것으로 판단할 수 있다. 입찰문서 내 BIM 요구사항은 상세히 기술하기에 제약이 있으므로 의도한 바와 관련 설명을 풀어쓰기보다는 특정 BIM 관련 용어를 통해 간단한 문장으로 표현하는 경우가 대부분이다. 또한 BIM 요구사항에 대한 난이도 데이터셋의 구축 과정에서 실무자들 또한 특정 BIM 관련 용어를 통해 연상되는 업무 및 후속 절차에 바탕해 난이도 점수를 부여했을 가능성이 높다. 따라서 입력 문장 전체 정보 및 입력 문장 내 단어 간 선후관계 특징(Model B)보다는 특정 단어의 포함 유무가 난이도 판단에 더 중요한 정보로써 활용되고, 이에 따라 특정 BIM 과업 및 사용 기술을 지칭하는 단어 및 구절의 등장과 해당 내용의 의무사항 여부가 입찰 문장의 난이도 결정에 주요한 인자로 작용했다고 추정해 볼 수 있다. 이 경우 단어 및 구절 단위 정보를 함축할 수 있는 Model C가 정보 추출능력 측면에서 다른 모델보다 더 우수할 수 있고, 결과적으로 더 우수한 예측 성능을 보인 것으로 판단할 수 있다.

추가로 3.4의 결과에서 필터 수가 필터 크기에 대비해 모델 성능에 지배적인 영향을 보여준 것을 다음과 같이 설명할 수 있다. 모델의 필터 수는 텍스트 내 특정한 유형을 추출하는 능력에 영향을 미치고, 필터 크기는 필터가 감지할 수 있는 문자 배열 길이와 관련된다. 임의 입찰문장에 대해 동일한 내용도 여러 표현이 가능하고, 단어의 표기도 띄어쓰기에 따라 달라질 수 있는데(BIM, 건설정보모델, 건설 정보 모델, 비아이엠), 다수의 필터의 사용이 다양한 표기를 포착하는데 기여한 것으로 추정된다. 또한 길이가 긴 필터는 길고 복잡한 구문이나 복합 단어를 학습하는데 기여할 수 있지만, 입력된 텍스트가 짧거나 간단한 구조로 되어 있는 경우도 존재해 필터 크기가 일정 값 이상이 됨에 따라 지표 변화에 별다른 기여를 하지 못하고 있다. 이는 BIM 요구사항의 난이도 판별 시, 난이도가 특정 길이를 갖는 단어 및 복합 단어의 존재로만 결정되는 것이 아니라, 맥락적 의미까지 포함해야 함을 알 수 있다. 예를 들어, Table 1의 문장 1에서 As-Built Model은 종종 설계 모델과 현장데이터 간의 불일치, 세부사항의 모델링 및 정보 반영, 그리고 여러 시공주체 간의 의사소통 불일치 및 정보 공유 제한 등이 발생할 수 있어 해당 단어는 입찰문장의 체감 난이도를 높이는 요소로 작용할 수 있다. 특히 발주자의 유지관리 목적까지 고려한 광범위한 각종 정보의 상세한 입력을 강제한다는 점에서 난이도가 높게 평가될 수 있다. 그러나 문장 1의 종결부가 ‘해야한다’가 아니라 ‘협의해 결정한다’로 변경된다면 문장의 난이도는 낮게 평가될 수 있으므로, 단순히 특정 단어의 존재뿐만 아니라 요구 강도 및 의무사항 여부를 맥락적으로 파악해야 난이도를 적절히 평가할 수 있다. 따라서 단어 및 문구 추출에 영향을 미치는 필터 크기보다는 다양한 유형 추출 능력과 관련된 필터 수 변화가 모델 성능 지표에 더 민감하게 영향을 미쳤을 것으로 판단된다.