4.3 모델 평가 방법
분류의 평가지표는 주로 2가지 방법을 사용한다. 첫째는 각 행 데이터가 양성인지 음성인지를 예측값으로 삼아 평가하고, 다른 하나는 각 행 데이터가
양성일 확률을 예측값으로 삼는다. 전자는 정확도, 오차율, 정밀도, 재현율 등에 해당되고, 후자는 AUC (Area Under the Curve)와
ROC (Receiver Operating Characteristics)가 있다. 정확도, 정밀도, 재현율은 Eq. (6)과 같다. 여기서, TP (True Positive)는 모델이 양성이라 예측하고, 실제로 양성인 경우이고, TN (True Negative)는 모델이
음성이라고 예측하고, 실제로 음성인 경우이다. FP (False Positive)는 모델이 양성이라고 예측하고, 실제로 음성인 경우이고, FN (False
Negative)는 모델이 음성이라 예측하고 실제로 양성인 경우이다. 이 산출 값들을 Eq. (6)을 이용하여 정확도, 정밀도, 재형율을 도출할 수 있다. AUC와 ROC는 여러 절단값의 변화를 보면서 모델의 성능 변화를 시각적으로 확인할 수 있는
방법으로, ROC는 그래프 안에 도시되는 선으로 그래프 좌측 상단에 가까울수록 좋은 성능을 나타내며, AUC는 ROC 곡선 아래의 영역을 의미하고
1에 가까울수록 예측력이 우수한 분류기로 평가된다(Fig. 3).
4.4 연구결과
개인형 이동장치 사고원인 분석 및 예측 모델 분석을 위해서 본 연구에서는 샘플 수를 고려하여 훈련 및 시험 모델을 9:1, 8:2, 7:3, 6:4,
5:5의 비율로 구성하였고, 각각 로지스틱 회귀 모델과 XGBoost 모델로 분석하였다. 9:1 비율의 경우 훈련모델의 샘플 수는 422개, 시험모델은
47개, 8:2의 경우 훈련모델 375개, 시험모델 94개, 7:3의 경우 훈련모델 382개, 시험모델 141개, 6:4의 경우 훈련모델 281개,
시험모델 188개, 5:5의 경우 훈련모델 234개, 시험모델 235개로 구성되었다. 각 라이브러리의 초매개변수는 매뉴얼 방식을 이용하였고, 모델의
성능은 AUC, 정확도, 정밀도, 재현율을 산정하였다. 또한, 예측 모델의 훈련 및 시험모델에 할당된 샘플 수 그리고 출력 변수 불균형을 고려하여
Micro 방식을 이용하여 AUC, 정밀도, 재현율을 산정하였고, 모든 예측성능을 비교할 수 있게 성능은 백분율이 아닌 비율로 산정하였다. 그 결과
AUC, 정확도, 정밀도, 재현율은 Fig. 4, Table 3과 같고, Micro-AUC, 정밀도, 재현율은 Fig. 5, Table 4와 같다.
로지스틱 회귀 모델의 경우 정밀도는 훈련모델에서 0.233~ 0.402의 성능 분포를 보였고, 시험모델에서는 0.234~0.568의 분포를 보였고,
특히 7:3과 6:4 데이터 구성에서 가장 높은 예측 성능을 나타냈지만, 과적합 현상이 높게 나타났다. 재현율은 훈련 및 시험모델 구성에 따른 대부분
모델에서 약 0.33의 일정한 성능을 나타냈다. AUC의 경우 훈련모델은 0.607~0.627, 시험모델은 0.541~0.608의 성능 분포를 보였고,
5:5의 훈련 및 시험 구성에서 가장 높은 성능을 나타냈다. 정확도는 훈련모델에서 0.698~0.701, 시험모델에서 0.702~0.707의 분포를
보였고, LR의 예측 성능 중 정확도가 가장 높게 나타났다.
XGBoost 모델의 경우 정밀도는 훈련모델에서 0.280~0.878의 성능 분포를 보였고, 시험모델에서는 0.232~0.568의 분포를 나타냈다.
5:5 데이터 구성에서 가장 낮은 성능을 보였고, 7:3에서 가장 높은 성능을 나타냈다. 재현율의 경우 훈련모델의 경우 0.466~0.608의 분포를
나타냈고, 시험모델의 경우 0.323~0.356의 분포를 나타냈다. XG의 예측 성능 중 가장 낮은 성능 분포를 나타냈다. AUC의 경우 훈련은 0.891~0.941의
분포를 시험모델에서는 0.538~0.562의 분포를 나타냈다. AUC의 경우 8:2 훈련모델과 7:3 시험모델에서 가장 높은 AUC 성능을 나타냈다.
또한 LR과 달리 4개의 성능 지표 중 AUC가 가장 높은 성능을 나타냈다. 정확도의 경우 훈련모델에서는 0.758~0.813, 시험모델에서는 0.649~0.691의
성능을 나타냈다.
Fig. 4. The Results of Prediction Performance for LR and XG according to Ratio about
Train and Test Model
Table 3. The Results of Prediction Performance for Logistic Regression and XGBoost
|
|
Precision
|
Recall
|
Accuracy
|
ACU
|
|
train
|
test
|
train
|
test
|
train
|
test
|
train
|
test
|
|
LR 9:1
|
0.234
|
0.275
|
0.333
|
0.333
|
0.701
|
0.702
|
0.607
|
0.608
|
|
LR 8:2
|
0.234
|
0.402
|
0.332
|
0.356
|
0.699
|
0.702
|
0.619
|
0.555
|
|
LR 7:3
|
0.402
|
0.402
|
0.340
|
0.348
|
0.701
|
0.702
|
0.627
|
0.541
|
|
LR 6:4
|
0.233
|
0.568
|
0.332
|
0.347
|
0.698
|
0.707
|
0.623
|
0.561
|
|
LR 5:5
|
0.234
|
0.234
|
0.333
|
0.333
|
0.701
|
0.702
|
0.627
|
0.572
|
|
XG 9:1
|
0.868
|
0.232
|
0.466
|
0.323
|
0.758
|
0.681
|
0.915
|
0.538
|
|
XG 8:2
|
0.859
|
0.447
|
0.608
|
0.362
|
0.813
|
0.649
|
0.941
|
0.540
|
|
XG 7:3
|
0.878
|
0.433
|
0.572
|
0.356
|
0.805
|
0.695
|
0.934
|
0.562
|
|
XG 6:4
|
0.796
|
0.568
|
0.486
|
0.344
|
0.758
|
0.691
|
0.891
|
0.552
|
|
XG 5:5
|
0.280
|
0.280
|
0.507
|
0.346
|
0.778
|
0.672
|
0.915
|
0.554
|
사용한 샘플 수와 출력변수의 클래스 불균형을 고려하여 Micro-정밀도, Micro-재현율, Micro-AUC를 산정하였다. 그 결과 로지스틱 회귀
모델의 Micro-정밀도는 훈련모델 0.698~0.701, 시험모델 0.701~0.702로 과적합 현상이 동일하게 나타났고, XGBoost 모델의
경우 훈련모델 0.672~0.813, 시험모델 0.649~0.695로 나타났다. 로지스틱 회귀 모델의 Micro-재현율은 훈련모델 0.698~0.701,
시험모델 0.702~0.707로 나타났다. XGBoost 모델의 경우 훈련모델 0.758~0.813, 시험모델 0.649~0.695로 나타났다. 로지스틱
회귀 모델의 Micro-AUC는 훈련모델 0.816~0.823, 시험모델 0.791~0.814로 나타났다. XGBoost 모델의 경우 훈련모델 0.21~0.949,
시험 모델에서는 0.783~0.944로 나타났다. 전체적으로 예측 성능은 AUC가 다른 분류 지표들보다 높은 성능을 나타냈고, 로지스틱 회귀 모델보다
XGBoost 모델이 더 우수한 성능을 나타냈다.
Fig. 5. The Prediction Performance of Micro AUC, Recall, Precision of Train and Test
Model
Table 4. The Prediction Performance of Micro AUC, Recall, Precision of Train and Test
Model
|
|
Precision
|
Recall
|
ACU
|
ACU
|
|
train
|
test
|
train
|
test
|
train
|
test
|
train
|
test
|
|
LR 9:1
|
0.701
|
0.701
|
0.701
|
0.702
|
0.816
|
0.814
|
0.607
|
0.608
|
|
LR 8:2
|
0.699
|
0.702
|
0.699
|
0.702
|
0.820
|
0.798
|
0.619
|
0.555
|
|
LR 7:3
|
0.701
|
0.702
|
0.701
|
0.702
|
0.823
|
0.791
|
0.627
|
0.541
|
|
LR 6:4
|
0.698
|
0.707
|
0.698
|
0.707
|
0.822
|
0.799
|
0.623
|
0.561
|
|
LR 5:5
|
0.701
|
0.702
|
0.701
|
0.702
|
0.821
|
0.801
|
0.627
|
0.572
|
|
XG 9:1
|
0.758
|
0.681
|
0.758
|
0.681
|
0.931
|
0.784
|
0.915
|
0.538
|
|
XG 8:2
|
0.813
|
0.649
|
0.813
|
0.649
|
0.949
|
0.783
|
0.941
|
0.540
|
|
XG 7:3
|
0.805
|
0.695
|
0.805
|
0.695
|
0.944
|
0.944
|
0.934
|
0.562
|
|
XG 6:4
|
0.758
|
0.691
|
0.758
|
0.691
|
0.921
|
0.795
|
0.891
|
0.552
|
|
XG 5:5
|
0.672
|
0.672
|
0.778
|
0.672
|
0.935
|
0.794
|
0.915
|
0.554
|
분류모델은 예측 모델이 답을 찾아갈 때 어떤 변수가 결과에 더 큰 영향을 미치는지, 얼마나 자주 사용되었는지를 분석하여 변수 중요도를 추정한다. 로지스틱
회귀 모델의 경우 각 독립변수가 종속변수에 미치는 영향력의 정도를 측정하는 가중치를 이용하고, XGBoost 모델의 경우에는 전체 모델에서 분기할
때 사용된 횟수, 분기할 때 얻는 정보 이득, 영향을 받은 샘플 등을 이용하여 변수 중요도를 산정한다. 본 연구에서는 로지스틱 회귀 모델의 경우 각
출력변수의 클래스(부상, 경상, 중상)에 따른 가중치를 산정하였고, XGBoost 모델의 경우 다중분류시 분기할 때 사용된 횟수를 이용하여 변수 중요도를
산정하였고 그 결과는 Table 5와 같다. 여기서, class 0은 부상, class 1은 경상, class 2는 중상을 의미한다. 로지스틱 회귀 모델 9:1 예측모델의 경우 부상과
경상의 변수 가중치는 사고유형이 가장 높고, 중상은 위반법규내용이 가장 높게 나타났다. 로지스틱 회귀 모델 8:2 예측모델 역시 부상과 경상의 경우
사고유형이 가장 높은 변수 가중치를 나타냈고, 중상의 경우 위반법규내용이 가장 높게 나타났다. 로지스틱 회귀 모델 7:3 예측모델은 모든 class에서
동일하게 사고유형이 가장 높은 변수 가중치를 나타냈다. 로지스틱 회귀 모델 6:4와 5:5 모델의 경우 부상과 경상은 사고유형이 가장 높은 가중치를
나타냈고, 중상의 경우 성별이 가장 높게 나타났다. XGBoost 모델를 이용한 모든 예측모델에서는 사고당시연령 변수가 가장 높은 변수중요도를 나타냈다.
이를 종합한 결과 사고 정도에 따른 차이는 있지만, 사고유형, 위반법규내용, 사고당시연령 등의 변수가 개인형 이동장치 사고의 요인 변수로 평가된다.
Table 5. The Feature Importance and Weights about Prediction Model
|
Prediction model/
output class
|
Time
|
Age
|
Time zone
|
Accident type
|
Road
condition
|
Road type
|
Sex
|
Traffic violation
|
|
LR 9:1
|
class 0
|
0.0046
|
-0.0004
|
0.0414
|
-0.4069
|
-0.1414
|
-0.0090
|
0.1671
|
0.0102
|
|
class 1
|
-0.0533
|
0.0003
|
0.0641
|
0.5015
|
0.0698
|
-0.1442
|
-0.3367
|
0.1470
|
|
class 2
|
0.0261
|
-0.0001
|
-0.1287
|
0.0626
|
0.0962
|
0.0818
|
-0.1641
|
-0.1760
|
|
LR 8:2
|
class 0
|
0.0029
|
-0.0006
|
0.0284
|
-0.3770
|
-0.1455
|
0.0167
|
0.1391
|
0.0109
|
|
class 1
|
-0.0646
|
0.0004
|
0.0904
|
0.5628
|
0.0602
|
-0.1615
|
-0.4344
|
0.1801
|
|
class 2
|
0.0361
|
0.0000
|
-0.1272
|
-0.0332
|
0.1034
|
0.0478
|
-0.0595
|
-0.2003
|
|
LR 7:3
|
class 0
|
-0.0092
|
-0.0011
|
0.0242
|
-0.5247
|
-0.1970
|
0.0267
|
0.1815
|
0.0299
|
|
class 1
|
-0.0501
|
0.0005
|
0.1042
|
0.4640
|
0.0630
|
-0.1105
|
-0.5872
|
0.1237
|
|
class 2
|
0.0399
|
0.0005
|
-0.1430
|
0.2330
|
0.1615
|
-0.0117
|
-0.0264
|
-0.1764
|
|
LR 6:4
|
class 0
|
-0.0088
|
-0.0007
|
0.0394
|
-0.4871
|
-0.1536
|
0.0421
|
0.2687
|
0.0329
|
|
class 1
|
-0.0481
|
0.0000
|
0.1153
|
0.4919
|
0.1853
|
-0.1430
|
-0.4983
|
0.0542
|
|
class 2
|
0.0380
|
0.0004
|
-0.1821
|
0.1623
|
-0.0099
|
-0.0046
|
-0.2274
|
-0.1389
|
|
LR 5:5
|
class 0
|
0.0024
|
-0.0003
|
0.0442
|
-0.6229
|
-0.0714
|
-0.0434
|
0.2965
|
0.0968
|
|
class 1
|
-0.0501
|
-0.0001
|
0.0616
|
0.4647
|
0.1374
|
-0.0357
|
-0.3485
|
-0.0898
|
|
class 2
|
0.0263
|
-0.0001
|
-0.1439
|
0.3395
|
-0.0549
|
0.0132
|
-0.4042
|
-0.1055
|
|
XG 9:1
|
|
0.5344
|
0.6133
|
0.5015
|
0.5140
|
0.5875
|
0.4561
|
0.3877
|
0.5218
|
|
XG 8:2
|
|
0.4850
|
0.5462
|
0.4241
|
0.4728
|
0.3978
|
0.4072
|
0.3436
|
0.4212
|
|
XG 7:3
|
|
0.4922
|
0.5313
|
0.4153
|
0.5006
|
0.4321
|
0.4055
|
0.3501
|
0.4685
|
|
XG 6:4
|
|
0.5888
|
0.6295
|
0.5471
|
0.5922
|
0.5239
|
0.4503
|
0.3845
|
0.5442
|
|
XG 5:5
|
|
0.5386
|
0.5398
|
0.4228
|
0.5293
|
0.3338
|
0.3386
|
0.3010
|
0.3992
|