2.1 변형률계 데이터를 활용한 매개변수 구성

명지대학교 하이브리드 구조실험센터에서 수행한 거더의 정적 성능 시험 데이터를 활용하여 인공지능 모델을 구성하고 처짐 예측 성능을 평가하였다. Table 1은 11개 거더의 형식에 따른 종류(G)와 압축강도, 강성 등 실험체 제원을 나타낸다. 실험은 프리스트레스 콘크리트 9개, 강합성 소재 2개로 총 11개의 거더에 유압 가력 재하장비로 거더 중앙에 정적하중 재하를 통해 이루어졌다(Fig. 3). 구조 거동 특성 파악을 위해 전기저항식 변형률계, 변위계, 경사계 등 다수의 측정 센서와 구조물의 최대전단력을 계산하기 위한 로젯 변형률계가 활용되었다. Fig. 4는 J-거더의 정적하중(F) 증가 및 거더의 상하부 변형률(T1, T2, C1, C2)과 변위(D)의 변화를 도식하였다. 이를 통해 하중-변위 관계는 쌍선형에 가까우며, 변형률-변위는 선형에 가까우나 비선형성이 포함되어 있음을 확인할 수 있다. 입력변수와 변위와의 상관도를 그림에 도식하여 변형률(T1, T2, C1, C2)은 변위와 연관성이 가장 높은 것으로 나타났으며, 변형률과 하중의 상관관계는 상대적으로 낮게 나타났다. 이는 하중 증가에 따른 비선형적인 거동의 원인인 것으로 판단되며 인공지능 모델의 성능은 응답의 비선형성을 포착하여 이를 예측 결과에 반영함에 있다.

Fig. 3. Static Load Test (J-Girder)

Fig. 4. Displacement History Data Versus Force and Strain(J Girder)

이 연구에서는 응력 변화량에 높은 신뢰성을 가진 데이터만을 활용하여 인공지능 모델 구축하는 것을 목표로 하였으며, 이를 위해 모든 거더 성능평가에 공통으로 포함되어 있는 전기저항식 변형률계 데이터를 입력 정보로 구성하였다. 거더의 물성치 입력 변수로는 거더의 종류, 재하 하중이 포함되었으며, 거더 중앙의 처짐 이력을 출력변수로 구성하였다. 실험별로 상이한 입출력 이력을 동일하게 하기 위해 선형 보간법을 사용하여 데이터의 길이를 통일하였다.

테스트용으로 활용한 거더 1개소의 응답을 제외하고, 나머지 거더의 응답을 인공지능 모델에 학습시키기 위해 80(A-H 거더):20(I, J 거더)의 비율로 훈련 및 검증 데이터로 무작위 분류하였다. 이후 상관계수를 알아보고 인공지능 모델에 학습을 진행하여 하이퍼파라미터를 구성한 후 결정계수와 평균 제곱근 오차 값을 비교하여 정합성을 평가하였고, 최상위 모델을 선정하였다.

2.2 양방향 LSTM (Bi-derectional Long-Short Term Memory) 네트워크

본 연구에서 제안한 양방향 LSTM 기반 변위 추정 알고리즘은 Fig. 7과 같이 구성하였다. LSTM 모델의 입력은 샘플 수, 시간 단계, 그리고 각 시간 단계에서 관측된 재하 시간 이력의 단일 변수를 포함하는 3차원 배열로 구성하여, 시간적 패턴을 효과적으로 학습할 수 있도록 하였다. 이후, 데이터의 일관성을 유지하고 모델 훈련의 효율성을 높이기 위해 데이터 길이를 정규화하고 스케일링하는 전처리 과정을 수행하였다. 시퀀스 데이터의 패턴을 학습하도록 윈도우 사이즈와 배치 사이즈를 설정하고, 케라스 함수형 API를 활용하여 최적의 레이어를 정의하고 입력 시퀀스 레이어를 연결하였다. 양방향 LSTM의 학습 속도 개선을 위해, GPU를 활용한 연산 최적화가 필요하다. 이를 위해 NVIDIA에서 제공하는 CuDNN 라이브러리에 기반한 알고리즘을 구성하였다^{(Chetlur et al., 2014)} 손실 함수와 활성화 함수를 정의하고, 전체 데이터 중 무작위로 선정한 20 %의 검증 데이터의 예측 손실값을 Epoch 증가에 따라 비교하여 성능을 검토하였다. 최종적으로 테스트 데이터에 대한 예측 성능 평가를 수행함으로써 제안한 기법을 적용성을 평가하였다.

Fig. 5. Correlation between Input Variables and Displacement

Fig. 6. Cross Section of the Experimental Girders and the Location of the Strain Gauges

Fig. 7. Flowchart of the Proposed Algorithm

3.1 하이퍼파라미터 최적화

딥러닝 네트워크의 하이퍼파라미터는 모델의 성능과 학습 효율성에 중대한 영향을 미치는 요소이며 윈도우 사이즈, 배치 사이즈, 필터 수, 커널 크기, LSTM 유닛 수, 드롭아웃 비율, 학습률, 감쇠율 등 모델이 학습 데이터를 처리하는 과정에서 최적화된 성능이 되도록 평가한다. 활용되는 주요 변수 가운데, 모델의 성능에 영향을 미치는 인자를 분류하였고, 활성화 함수와 손실 함수의 중요성이 반복학습을 통해 부각되었다. 이 연구에서 하이퍼파라미터 선정을 위해 활용한 활성화 함수는 ELU, GELU, LeakyReLU로, 각각 입력값의 비선형성을 효과적으로 처리하여 모델의 학습 성능을 향상시키기 위한 방법이며, 아래의 수식으로 이루어져 있다. ELU 함수는 식 (7)과 같이 입력 값 $x$가 양수일 때 그대로 반환하고, 음수일 때 $\alpha$는 음수 입력에 적용되는 정도를 조절하여 지수 함수를 사용한다. GELU는 식 (8)과 같이 입력 값 𝑥를 표준 정규 분포의 누적 분포 함수 $\Phi(x)$와 곱하여 반환한다. 실제 계산에서 $\Phi(x)$는 복잡하기 때문에, 이를 tanh 함수 등을 이용한 근사식으로 활용한다. LeakyReLU는 기존 ReLU가 음수인 경우 0으로 고려하여 죽은 뉴런(Dying ReLU)이 발생하는 단점을 식 (9)와 같이 작은 기울기 $\alpha$를 곱하면서 이를 보완한 함수이다. 손실 함수는 평균절대오차(MAE), 평균제곱오차(MSE), 평균제곱근오차(RMSE), 그리고 평균절대오차와 평균제곱오차의 가중치를 고려하여 식 (13)와 같이 결합한 혼합손실함수(Hybrid Loss)를 사용하였으며, 아래의 수식으로 이루어져 있다.

여기서 평균절대오차는 예측 값($\hat{y}_{i}$)과 실제 값($y_{i}$) 사이의 오차에 대한 절대 평균으로 모든 오차를 동일시하여 이상치에 덜 민감하다. 평균제곱오차는 예측 값($\hat{y}_{i}$)과 실제 값($y_{i}$) 사이의 오차의 제곱 평균으로 큰 오차에 더 큰 패널티가 부여되기 때문에 이상치에 민감하다. 평균제곱근오차는 평균제곱오차에 제곱근을 취한 값으로 해석을 쉽게 하여 직관적인 해석이 가능하다. 혼합손실함수는 평균절대오차와 평균제곱오차에 대한 $\alpha$와 $\beta$는 가중치 기반 혼합 손실함수이며, 원하는 손실 함수의 특성을 조정하여 각 단일 함수의 단점을 보완하고 특정 문제에 대한 적절한 구성을 통해 성능 개선이 가능하다.

이외의 변수, 윈도우 사이즈 “14”, 배치 사이즈 “64”, 합성곱 레이어 필터 “200”, 커널의 크기 “2”, 양방향 LSTM 유닛 수 “100”, 드롭아웃 “0.2”, 초기학습률 “0.0001”, 감쇠율 “0.0005”로 고정하여 성능 분석을 수행하였다. 11개소 거더 데이터 중 1개소 테스트 데이터를 제외하고, 20 %를 검증 데이터로 활용하여 Fig. 8과 같이 전체 알고리즘을 에포크 5000번까지 학습한 결과, loss 값은 0~0.02로 수렴하는 양상을 보여 과적합 문제가 점진적으로 완화되는 것으로 확인할 수 있다. 활성화 함수는 Fig. 9(a)와 같이 ELU 함수에서 높은 정합성을 보여주었으며 손실함수는 Fig. 9(b)와 같이 평균절대오차 함수에서 우수한 성능으로 나타났다. 이를 기반으로 최적화된 하이퍼파라미터를 활용한 검증 데이터에 대한 성능을 평가하였다.

Fig. 8. Hybrid Loss Variation for Epoch 5000 of Training and Validation Data

Fig. 9. Effect of Activation Functions and Loss Functions for the Prediction of Test Data. (a) Activation Functions, (b) Loss Functions

3.2 모델 알고리즘 성능 평가

본 연구에서는 최적화된 하이퍼파라미터를 기반으로 입출력값 사이의 비선형 관계로부터 거더 중앙의 처짐을 추정하고, 정합성을 평가하였다. 제안한 기법의 성능 비교를 위해 이전 연구에서 활용되었던 Catboost, XGBoost, LightGBM에 기반한 처짐 추정 결과를 활용하였다. 이 기법들은 모두 그라디언트 부스팅을 기반으로 CatBoost는 범주형 데이터를 처리하는 데 특화되어 있으며, XGBoost는 병렬화 및 나무 가지치기를 통해 데이터를 효율적으로 성능 최적화한다. LightGBM은 GOSS 기법을 사용하여 불필요한 데이터 샘플을 필터링함으로써 메모리 사용을 줄이고 학습 속도를 향상시키는 기법이다^{(Shyam et al., 2020)}. 검증데이터를 활용한 각 기법의 알고리즘에 대한 정합성을 평가 결과는 검증데이터에 대한 각 기법의 정합성 평가 결과 분석을 위해, 하중-변위 곡선을 활용하였다. Fig. 10(a)과 같이 검증으로 활용한 I거더 처짐 추정 결과, 모든 인공지능 모델 결정계수는 0.9 이상, 평균제곱근오차는 10 mm 미만으로 나타났으며(Table 2), Fig. 10(b)의 J거더 처짐의 경우에도 모든 인공지능 모델들의 결정계수는 0.9 이상, 평균제곱근오차는 5 mm 미만으로 나타났다(Table 3). 두 결과는 모델이 실제 변위 응답과 유사한 결과를 가지는 것으로 나타나지만, 검증 데이터는 전체 훈련 데이터에서 무작위 추출된 일부에 불과하므로, 과적합 및 모델의 일반화 능력을 평가하는 데는 한계가 있다. 이에 따라 학습에 관여하지 않은 테스트 데이터의 성능 평가 결과, Fig. 11과 같이 양방향 LSTM 모델만이 결정계수는 0.9 이상, 평균제곱근오차는 9.55 mm로 활용된 기법 중 가장 우수한 성능을 보였다. 이는 시계열 데이터의 양방향 정보를 모두 활용함으로써 과거와 미래의 정보를 동시에 학습하여 복잡한 시계열 패턴을 더 정확하게 예측할 수 있는 것으로 판단되며 과적합 문제가 완화된 것으로 보여진다. 반면, 단방향 LSTM 모델과 다른 그라디언트 부스팅 기반 모델들은 결정계수 0.9 이하, 평균제곱근오차 27~45 mm의 범위에 분포하며 상대적으로 성능이 저하되었다(Table 4). 이는 단방향 LSTM이 오직 순방향 시계열 정보만을 사용하여 누적된 변위 이력의 학습이 저하되기 때문으로 판단된다. XGBoost, LightGBM, CatBoost와 같은 모델들은 각 변수 간의 관계를 학습하는 데 중점을 두고 시간에 따른 데이터의 흐름과 연속성을 충분히 반영하지 못해 새로운 테스트 데이터에서 성능이 다소 낮아진 것으로 판단된다.

Fig. 10. Force-Displacement Curves from Experiment and Prediction. (a) I Girder Validation Data, (b) J Girder Validation Data

Fig. 11. Comparison of Displacement Prediciton for Various Methods

이 연구에서 제안한 LSTM 모델이 가장 좋은 결과를 보여주었으며 이에 대한 학습 수준에 따른 성능 분석을 위해 훈련 데이터의 양에 따른 예측 정확도와 소요 시간을 분석하였다. 훈련 데이터의 양에 따른 예측 정확도와 소요 시간을 분석하였다. Fig. 12에 나타난 바와 같이 전체 이력에 대한 예측값은 실험군이 8개 미만에서 점진적으로 감소한다. 무작위로 추출한 훈련 데이터 수가 7개인 경우, 결정계수 0.8, 평균제곱근오차 38 mm로 나타났고, 5개인 경우 결정계수는 0.3 이하, 평균제곱근오차는 70 mm 이상 오차가 발생한 것으로 나타났다. ‘time 라이브러리’를 활용하여 인공지능 모델의 학습에 소요되는 시간은 분석한 결과, 훈련 데이터가 8개일 때 결정계수가 0.99, 평균제곱근오차는 9.55 mm로 매우 높은 정확도를 보였지만, 데이터 수가 감소할수록 성능이 급격히 저하되며 5000 에포크까지 누적된 학습 시간은 학습데이터 수에 선형 비례하는 것으로 나타났다(Table 5). 이를 통해, 95 % 이상의 정합성을 가지는 변위 이력 예측을 위해 최소 거더 실험 데이터는 8개임을 확인할 수 있으며, 추가 데이터를 통한 학습은 정합성 개선 효과는 낮고 비용의 증가를 야기할 것으로 평가할 수 있다.

Fig. 12. Effect of the Number of Training Datasets for Displacement Prediction Using Bi-LSTM