1. 서 론

건설현장에서는 수많은 중장비와 작업자가 다양한 작업을 제한된 공간에서 동시다발적으로 수행하기 때문에 복잡하고 위험한 상황과 이로 인한 안전사고가 빈번하게 발생한다. 특히, 복잡한 환경에서 중장비가 단독으로 작업할 경우 운전자의 시야제한, 판단오류 등으로 작업자와의 충돌, 협착과 같은 치명적인 사고가 발생할 수 있다. 실제로 2011년 한국산업안전공단에서 발행한 건설업 공종별 위험성 평가 보고서(^{KOSHA, 2011})를 살펴보면, 중장비의 단독작업으로 인한 안전사고는 전체 건설사고 중 약 11.7 %를 차지했으며, 작업자와 충돌/협착사고 발생 시 작업자의 사망률은 74.2 %에 달하는 것으로 나타났다(^{COSMIS, 2015}). 이 같은 안전사고를 예방하기 위해서 중장비 운전자는 현장에 투입된 신호수와의 상호작용(수신호를 주고받는 행동)을 통해 장애물 위치, 다른 작업자와의 거리 등 주변 환경에 대한 정보를 수집하면서 작업을 수행해야 한다.

중장비 단독작업의 위험성 때문에 기존에는 안전관리자가 현장에 직접 방문하여 중장비와 신호수가 상호작용을 하면서 작업을 수행하는지 감독하였다. 하지만 사람이 대규모 현장에 투입된 다수의 중장비를 모두 관찰하다 보니 시간/비용적 문제가 발생하였고 중장비의 단독작업을 지속적으로 파악하기 어렵다는 한계가 발생하였다. 이를 해결하기 위해 많은 연구자들이 다양한 IT (Information Technology) 기술을 활용하여 중장비의 단독작업을 자동으로 인식하는 기술을 개발했다. 실제로 GPS (Global Positioning Systems), IMU (Inertial Measurement Unit) 등의 IoT (Internet-of-Things) 센서를 중장비, 작업자에게 부착하고 위치, 이동 경로, 속도 등의 운동 데이터를 수집하는 시스템이 도입되었다(^{Li et al., 2016}). 하지만 운동 데이터만으로는 중장비의 단독작업 여부를 판단하기 어렵다는 문제가 있어, 최근에는 CCTV (Closed Circuit Television) 카메라를 현장에 설치하고 수집되는 영상 데이터를 분석하는 시스템을 적용하고 있다(^{Memarzadeh et al., 2013}; ^{Zhu et al., 2016}). 영상 모니터링 기술은 카메라 한 대로 다수의 중장비와 작업자를 동시에 파악할 수 있으며, 2016년부터 안전관리 목적으로 CCTV 설치가 법제화됨에 따라 건설현장 영상 모니터링에 대한 관심이 높아지고 있다(^{Korea Construction Technology Promotion Act, 2016}).

언급한 장점들로 인해 많은 연구자들이 안전관리를 위한 영상 모니터링 기술을 개발하였으며 건설현장에서의 적용 가능성을 보여주었다. 하지만 기존의 연구들은 영상에 나타난 중장비와 작업자의 개별적인 행동(이동, 대기 등)을 인식하는 데 초점을 맞추었기 때문에 중장비의 단독작업 파악에 중요한 중장비-신호수 간 상호작용을 분석하는 데 한계가 있었다. 이러한 한계를 보완하기 위해 본 연구는 중장비-신호수 간 상호작용을 고려한 컴퓨터비전 기반 중장비의 단독작업 인식 모델을 제안한다.

2. 문헌고찰

건설현장을 자동으로 모니터링하기 위해서 많은 컴퓨터비전 기반 기술들이 개발되었다. 예를 들어, ^{Chi et al.(2009)}은 공간적 모델링과 이미지 매칭 기법을 활용하여 건설자원들을 인식하는 방법을 제안하였고, ^{Azar and McCabe(2012a}; ^2012b)는 HOG (Histogram-Of-Gradients) 특징으로 SVM (Support Vector Machine) 분류기를 학습하여, 토공 굴삭기와 덤프트럭을 인식하는 알고리즘을 개발하였다. ^{Chi and Caldas(2011)}의 연구에서는 베이즈 분류기(Bayes Classifier)와 다중 신경망 분류기를 활용하여 건설현장 이미지에 나타난 작업자, 지게차, 굴삭기의 유형을 자동으로 분류하고 위치를 파악하였다. ^{Park and Brilakis(2012)}는 작업자 탐지를 위해서 이미지 배경 추출 방법을 사용하였으며, ^{Memarzadeh et al.(2013)}의 연구에서도 SVM을 학습하여 작업자, 굴삭기, 덤프트럭을 인식하는 방법론을 제안하였다. ^{Zhu et al.(2016)}은 입자 필터(Particle Filtering) 기법을 활용해 영상 데이터로부터 작업자와 중장비를 추적하였으며, ^{Kim and Chi(2017)}의 연구에서는 인식-추적의 상호보완과 온라인 학습 기술을 이용하여 중장비를 지속적으로 추적하는 방법을 제안하였다. ^{Arabi et al.(2019)}의 연구는 심층신경망 알고리즘을 개발하여 기존 건설물체 인식의 성능을 향상하였다.

이 같은 결과를 토대로 연구자들은 건설작업의 생산성과 안전성을 자동 분석하는 기술도 개발하였다. ^{Kim et al.(2018)}은 영상에 나타난 중장비들을 인식하고 중장비 간의 상호작용을 분석해 작업상태를 판단하는 기술을 제안하였다. ^{Cai et al.(2019)}은 건설장비와 작업자의 위치, 방향, 자세 등을 LSTM (Long Short Term Memory) 모델에 학습함으로써 작업유형을 판단하는 프레임워크를 제안하였다. 안전성 분석의 경우, ^{Chi and Caldas(2012)}는 영상 데이터 내 중장비의 공간정보를 분석하여 위험구역 접근, 중장비의 충돌, 전도 가능성 등을 평가하는 시스템을 개발하였고, ^{Kim et al.(2016)}은 이동하는 건설자원들을 인식하여 작업구역의 혼잡도를 추정하고 이를 퍼지 추론(Fuzzy Inference) 모델에 입력하여 작업자가 위험상황을 빠르고 쉽게 이해할 수 있는 기술을 개발하였다. ^{Yu et al.(2017)}은 이미지에 나타난 작업자의 신체구조와 불안전한 행동을 자동 파악하는 프레임워크를 제안하였으며, ^{Fang et al.(2018)}에서 설계한 딥러닝 알고리즘은 안전모를 착용하지 않은 작업자를 자동으로 인식하였다.

이처럼 많은 컴퓨터비전 기술들이 개발되었으나 기존 연구는 주로 중장비와 작업자의 개별 행동을 인식하는 데 초점을 맞추었으며, 중장비-신호수 간 상호작용을 고려하지 않아 중장비의 단독작업을 파악하는 데 한계가 있었다. 따라서 본 연구는 중장비-신호수 간 상호작용을 고려한 중장비의 단독작업 인식 모델을 제안한다.

3. 컴퓨터비전 기반 중장비 단독작업 인식 모델

중장비 단독작업 인식 모델은 (1) 사람-중장비 인식, (2) 일반 작업자-신호수 분류, (3) 중장비-신호수 상호작용 분석, 3단계로 구성되며(Fig. 1), 단계별 세부내용은 다음과 같다.

3.1 사람-중장비 인식

본 단계의 목적은 건설현장 영상에 나타난 사람(작업자, 신호수)과 중장비를 인식하는 모델을 개발하는 것이다. 이때 수많은 작업자가 중장비와 함께 작업하는 골조공사 단계의 영상을 활용하였으며, 특히 사람과 밀접하게 작업하는 중장비인 지게차에 대해서 인식 모델을 구축하였다. 이를 위해 물체 인식에 뛰어난 성능을 보이는 Faster R-CNN (Faster Region-based Convolutional Neural Network) 딥러닝 모델을 건설현장에 맞춤 설계하였다. 해당 모델을 학습하기 위해서 Google에서 제공하는 딥러닝 알고리즘 관련 오픈소스 라이브러리인 텐서플로(Tensorflow)를 활용하였으며, 확률적 경사 하강법(Stochastic Gradient Descent) 최적화 알고리즘을 이용하여 총 50,000번의 학습을 진행하였다. 또한, 학습 모델의 하이퍼파라미터(Hyperparameter)는 배치 크기(Batch size)의 경우 1로 조정하여 사용하였으며, 학습률(Learning rate)은 텐서플로에서 제공하는 값인 초기값 0.00002, 최종값 0.000002를 활용하였다.

3.2 일반 작업자-신호수 분류

본 단계는 영상에서 인식된 사람을 일반 작업자와 신호수로 분류한다. 최근 많은 건설현장에서 일반 작업자와 신호수가 다른 색상의 개인보호구를 착용한다는 점을 고려하여(^{SMGCS, 2018}), 색상 정보를 이용하여 두 물체를 분류할 수 있다. 예를 들어, 현재 시공 중인 A 건설현장에서 일반 작업자는 흰색 안전모와 남색, 형광색, 회색의 안전조끼를 착용하고 있었으며, 신호수의 경우 노란색 계열로 통일된 개인보호구를 착용하고 있었다. Fig. 2는 일반 작업자와 신호수 간 RGB (Red-Green-Blue) 색상 분포의 차이를 히스토그램으로 나타낸 것이며, 두 물체 간의 색상 차이를 쉽게 확인할 수 있다.

구체적으로 RGB 색상분포를 이용하여 일반 작업자와 신호수를 구분하는 SVM 모델을 개발하였다. SVM 모델은 $n$개의 데이터 쌍 $x_i, y_i$에서 $x_i(i=1, ..., n, x_i\in R^d)$ 변수를 이용해 주어진 $y_i\in \left(0, 1, ..., n\right)$의 클래스를 분류하는 최적의 초평면(Hyperplane) $w^{T}x+b=0$을 찾는 지도 학습(Supervised Learning) 방법이다. 본 연구에서 $x_i$의 변수는 RGB의 히스토그램, $y_i$의 클래스는 작업자, 신호수에 해당하는 값이다. 이때 최적의 초평면은 기하학적 마진(Margin) $\gamma$를 최대로 하는 초평면의 방향 $w$를 찾는 것이며 두 값의 관계는 다음과 같이 표현된다(Eq. (1)).

이때 마진을 최대화하는 초평면을 찾기 위한 식은 다음과 같이 표현할 수 있다.

특히, 건설현장에서 수집된 영상의 경우 노이즈(Noise)와 물체 간 중첩(Occlusion)으로 인해 SVM 분류기가 이상치(Outlier) 데이터를 잘못 학습할 수 있다. 이 효과를 최소화하기 위해 본 연구는 여유변수(Slack variable) ${\xi }_i$를 Eq. (2)의 최적화 식에 도입하였다.

RGB 색상 히스토그램을 추출하기 위해, 사람으로 인식된 영역을 원본 이미지에서 추출한 뒤 50x80 픽셀 사이즈로 표준화하였다. 해당 2차원 이미지를 1차원 벡터로 변환하고 총 12,000개의 값을 변수 $x_i$로 활용하여 SVM 분류기를 학습하였다. 총 10번의 교차검증을 통하여 SVM을 학습하였으며, 이를 위해 MATLAB(2019)에서 제공하는 이진 분류를 위한 SVM 분류기를 기본 모델로 활용하였다.

3.3 중장비-신호수 상호작용 인식

이 단계는 중장비(지게차)와 신호수의 상호작용을 인식하여 중장비의 단독작업을 모니터링하는 것이다. 중장비의 단독작업은 “신호수와의 상호작용이 없는 상황”으로 정의할 수 있으며, 구체적으로는 신호수가 존재하지 않거나 중장비와 신호수가 일정 거리 이상 떨어져 있을 경우 상호작용이 없는 것으로 판단할 수 있다. 신호수가 존재하지 않는 경우는 기존 일반 작업자-신호수 분류 결과를 활용하여 판단할 수 있다(Fig. 3). 예를 들어, 건설현장 영상에서 신호수가 인식되지 않으면 신호수가 부재한 상황으로 판단할 수 있다. 이때 신호수와 중장비 사이의 거리는 상호작용이 있는 데이터를 모델에 직접 입력하여 표준이 될 수 있는 결과값을 얻어 정의하였으며, Fig. 4와 같이 두 물체의 위치, 높이, 너비 정보를 활용해서 학습을 진행하였다. 결론적으로 위치, 높이, 너비 총 3개의 변수를 활용하여 중장비와 신호수가 상호작용을 수행하는지 판단하는 SVM 모델을 개발하였으며, “일반 작업자-신호수 분류” 단계와 마찬가지로 MATLAB에서 제공하는 이진 분류를 위한 SVM 분류기를 기본 모델로 활용하였다.

4. 실험 결과 및 분석

개발 모델을 검증하기 위해 건설현장에 CCTV 카메라 네트워크를 직접 구축하고 영상 데이터를 수집하여 실험을 수행하였다. Fig. 5와 같이 서로 다른 위치에 설치된 두 대의 카메라에서 총 4,000 이미지 프레임을 수집하였다. 수집된 데이터에는 사람(작업자, 신호수)과 중장비(지게차)가 모두 포함되었으며, 다크라벨 소프트웨어(^{DarkLabel 1.3, 2018})를 이용하여 개별 이미지 프레임에 물체들의 유형, 위치, 중장비-신호수 간 상호작용을 기록하는 라벨링 작업을 수행하였다. 구축된 데이터셋의 2,800 프레임(70 %)을 학습 데이터, 1,200 프레임(30 %)을 평가 데이터로 활용하였다.

Fig. 6에서 볼 수 있듯이 개발된 모델은 영상에 나타난 중장비, 신호수, 일반 작업자를 정확히 탐지하고, 중장비-신호수 간 상호작용을 성공적으로 인식하였다. 인식 결과는 컴퓨터 비전 분야에서 보편적으로 사용되는 평균 정확도(Mean Average Precision)로 표현하였으며, 사람-중장비 인식은 83.4 %, 작업자-신호수 분류는 84.2 %, 상호작용 분석은 95.1 %로 나타났다. 보다 구체적으로, 본 연구모델은 작업자의 일부만 영상 데이터에 나타난 경우에도 인식을 효과적으로 진행하였으며, 작업자와 신호수 또는 작업자와 장비가 일부 중첩되더라도 서로 잘 구분하여 인식하는 것을 볼 수 있다. 또한, 상호작용 인식에 이미지상 거리뿐 아닌 물체의 너비와 높이 또한 고려했기 때문에 중장비와 신호수간 실제 거리에 따른 상호작용 여부를 잘 분류하는 것을 볼 수 있다.

5. 결 론

본 연구는 중장비-신호수 간 상호작용을 고려한 컴퓨터비전 기반 중장비의 단독작업 인식 모델을 개발하였다. 개발 모델의 성능을 평가하기 위해서 실제 건설현장에 CCTV 카메라 네트워크를 구축하고 사람(작업자, 신호수)과 중장비(지게차)에 대해 총 4,000 이미지 프레임의 데이터를 수집하여 실험을 수행하였다. 최종 결과는 중장비와 사람을 83.4 %, 일반 작업자와 신호수를 84.2 %, 중장비-신호수 간 상호작용을 95.1 %의 평균 정확도로 인식하는 것을 확인할 수 있었다. 특히, 기존의 모델들과 비슷한 수준으로 개별 행동을 인식하였으며, 나아가 일반 작업자와 신호수 분류, 상호작용 인식까지 높은 성능을 가지는 영상분석모델을 개발할 수 있었다. 이 같은 연구결과를 활용하여 건설현장에서 위험상황을 유발할 수 있는 중장비의 단독작업을 실시간으로 모니터링하고 안전사고를 예방할 수 있으며, 결과적으로 안전관리에 요구되는 시간과 비용을 절감하여 안전한 건설현장 구현에 기여할 수 있다. 향후 연구로는 본 연구에서 활용한 지게차뿐 아니라 굴삭기, 불도저 등 다양한 유형의 중장비와 신호수 간의 상호작용을 분석해볼 수 있다. 또한, 본 연구에서는 상호작용을 위해 거리만을 활용하였으나 이는 복합적인 상황을 고려하지 못한 것이다. 예를 들어, 거리는 가깝지만 신호수와 중장비가 서로 바라보고 있지 않아 상호작용을 하지 않을 수도 있으며, 멀리 떨어져 있지만 서로를 바라보고 명확한 신호를 주고받을 수도 있다. 따라서 추후에 본 연구에서 고려하지 못한 방향 정보 및 중장비 근처 작업자 존재 여부 등을 추가로 학습하여 보다 구체적인 상호작용 상황을 학습시킨 모델을 구축할 수 있을 것이다.