Surveying and Geo-Spatial Informati

KSCE JOURNAL OF CIVIL AND ENVIRONMENTAL ENGINEERING RESEARCH. June 2021. 317-325
https://doi.org/10.12652/Ksce.2021.41.3.0317

ABSTRACT


MAIN

  • 1. 서 론

  • 2. 기존연구고찰

  • 3. 항공영상촬영을 통한 정사영상 생성

  •   3.1 연구 대상지 선정

  •   3.2 영상데이터 획득 및 정사영상 제작

  • 4. 딥러닝 기반의 객체 인식과 판별

  •   4.1 SegNet과 YOLO 기반 딥러닝 알고리즘

  •   4.2 학습 데이터 구성과 파라메타 설정

  •   4.3 분석 결과

  • 5. 결 론

1. 서 론

우리나라의 소나무는 과거부터 쓸모가 많고 성장환경이 적합하여 정책적으로 보호하고 무분별한 벌채를 금지하는 등의 관리를 하고 있다. 하지만, 이런 노력에도 불구하고 최근까지 산림의 많은 부분을 차지하던 소나무가 급격하게 줄어들고 있다. 이러한 현상의 가장 큰 원인은 소나무재선충병의 전염 때문이며, 한번 감염되면 뿌리로부터 공급되는 수분과 양분의 이동을 방해하여 잎이 처지고 갈변하여 감염 후 20일 정도가 지나게 되면 결국에는 100 % 고사하는 심각한 병이다.

소나무재선충병은 초기 방제의 미흡으로 경상남·북도를 시작해 전국적으로 피해가 급증하게 되었고 사태의 심각성을 느낀 정부에서 2005년 「소나무재선충병 방제특별법」을 시행하여 소나무재선충병으로부터 피해를 받는 산림을 보호하고, 산림자원으로써의 기능을 확보하기 위한 피해 방지 대책을 강구하고 있다. 이러한 노력에도 불구하고 가뭄, 고온현상 등의 기후적 요인과 고사목의 방치, 감염목의 무단이동 등으로 피해 규모는 점차 증가하고 있다. 소나무재선충병 피해와 확산을 막기 위한 방법으로 인력에 의한 현지조사를 실시하고 조기발견을 위해 산림지역에 예찰원을 배치하여 발생지역의 감염목을 신속하게 제거할 수 있도록 하며 반출금지구역을 설정하는 등의 관리에 힘쓰고 있으나, 훈증 처리로 이루어지는 사후대응형 방식의 한계를 보이고 있다(Kim et al., 2016).

특히, 인력 기반의 지상예찰 방법은 소나무재선충병의 동시다발적이고 급진적인 발생 패턴과 사람이 접근하기 어려운 고산지, 급경사지, 절벽 같은 곳에도 피해 발생 초기에는 점상으로 발생하여 관측이 어렵다는 점 등을 감안하면 신속한 피해 지역 위치 파악과 정확한 예측에 한계가 있다.

최근 4차 산업혁명의 핵심기술 가운데 무인항공기(Unmanned Aerial Vehicle, UAV)의 항공촬영 기술은 사람이 접근하기 힘든 지역을 실시간으로 모니터링할 수 있으며 저렴한 비용으로 데이터 확보가 가능해 다양한 분야에서 효율적으로 활용되고 있다. 특히 이와 관련한 융합 기술로 영상 데이터를 활용한 공간정보분석 기술은 산림, 방재, 환경 분야에서도 적극적으로 도입되고 있다.

본 연구에서는 기존의 소나무재선충병 감염의심목 탐지 방법의 한계를 개선하기 위해 무인항공기를 이용한 영상 자료를 기반으로 딥러닝(Deep Learning) 알고리즘을 이용하여 자동 인식하는 방법론을 제시하고 실제 현장에서의 활용 가능성을 확인하는 것을 목적으로 한다.

2. 기존연구고찰

소나무재선충병 감염의심목을 확인하는 방법은 기존의 인력 기반 현장조사 이외에 헬기를 타고 항공예찰을 실시하거나, 위성영상을 이용한 피해 상황 파악과 같은 연구가 진행되었다. Son et al.(2006)은 위성영상을 활용하여 소나무재선충병 피해 지역을 추출하는 기초적인 연구를 진행하였고, Kim et al.(2001)은 위성영상을 바탕으로 GIS 프로그램에서 소나무재선충병 피해 지역을 추출하는 방법을 제시한 바 있다.

그러나 위성영상의 경우는 고해상도의 데이터를 확보하기 위해 수반되는 비용 문제 이외에도 기상 조건에 따른 분석 가능 여부와 즉각적인 대처를 위한 분석에 한계가 있었다. 이보다 빠른 대응을 위해서 Kim et al.(2010)은 헬기를 타고서 항공정밀예찰을 실시하였으며, GIS 프로그램을 활용하여 정밀 분석을 진행하였으나, 헬기의 1회 비행에 소비되는 비용과 조사 방법의 특성상 육안으로 관측한 정보를 직접 야장에 기입하기 때문에 피해목 위치를 나타내는 정확한 좌표를 얻기에는 어려움이 있어서 현황 파악 수준의 자료수집이라는 한계가 있었다.

4차 산업혁명의 핵심기술인 무인항공기의 항공촬영 기술은 다양한 곳을 실시간으로 모니터링 가능하며 손쉽게 데이터 확보가 가능해 매우 효율적으로 사용하고 있다. 특히, 이와 관련한 융합 기술로 영상 데이터를 활용한 공간정보분석 기술은 산림 분야에도 널리 도입되고 있다(Han, 2019).

산림피해를 확인하기 위해 Kim and Kim(2008)은 무인항공기를 이용한 촬영방법, 정사영상(orthomosaic) 제작, 영상분류 및 필터링, 현장조사를 통한 예찰 방법론을 제시하였다. 특히, 분석을 위한 객체 위치나 좌표를 획득하기 위해서는 항공촬영 데이터를 활용한 항공삼각측량(aerotriangulation)과 정사영상 제작 과정이 필수로 진행되어야 함을 강조하였다.

정도 높은 분석을 위해서는 항공촬영 시 기록되는 위치정보(Global Positioning System, GPS) 외에 지상표본거리(Ground Sampling Distance, GSD)를 측정하고 분석에 포함할 경우 기존의 결과 보다 값의 정도가 향상되며, 얻고자 하는 위치정보의 실제 값에 가까운 정보를 획득할 수 있음을 밝히기도 하였다(Do et al., 2018; Kim et al., 2014).

Nagai et al.(2009)은 무인헬기에 카메라를 장착하여 해안 산림에 대한 지리적 위치를 분석한 결과로 10~30 cm 정도의 오차 범위에서 가능함을 밝혔다. Rokhmana(2015)는 무인항공기를 활용하여 산림과 농지를 촬영한 영상 데이터의 정확도를 평가한 결과로 수평으로 2픽셀, 수직으로 5픽셀의 오차가 나타났으며 3D 공간분석으로 수목의 높이도 측정할 수 있음을 확인하였다.

Kim et al.(2017)은 무인항공기를 활용하여 세종시 주변의 소나무재선충병 피해지를 분석하고 피해목의 분포 특성을 분석하였으며, Lee(2017)는 소나무재선충병 피해목을 무인항공기 영상으로 촬영하여 GIS 프로그램에서 RGB 값 기준으로 피해목의 위치를 화소 단위로 추정하는 방법론을 제시하였다.

한편 무인항공기에 다양한 카메라 혹은 센서를 장착하여 데이터를 분석하는 연구가 많이 진행되었다. Lee et al.(2014)은 초분광 영상 촬영을 활용하여 소나무재선충병에 의한 감염목 탐지와 감염목이 나타내는 분광 특성을 분석하여 시듦 현상이 육안으로 관측되는 시점이 감염 후 2개월 후에 관찰 가능함을 보였다. 또한, Kim et al.(2015)은 초분광 영상 촬영을 시기별로 진행하고 소나무재선충병 피해목의 식생지수를 시계열 별로 추적하여 피해목의 위치와 범위를 분석하였으며, 소나무를 대상으로 제초제를 사용하여 시듦 현상에 따라서 식생지수의 모델이 어떻게 나타나는지 분석하였다(Dash et al., 2017).

Xu et al.(2018)은 다중분광 카메라를 무인항공기에 탑재하여 토지피복도를 제작한 결과 오차가 매우 작은 RGB 영상과 다중분광영상을 제작할 수 있었으며, 촬영 시기별로 정확도를 분석한 결과 매우 높은 정확도가 나타나 다중분광 카메라의 활용성을 확인하였다.

Smigaj et al.(2019)은 병에 걸린 소나무에 열화상 카메라와 라이다(Light Detection and Ranging, LiDAR) 센서를 이용하여 수목의 온도 변화를 확인하였고, 나무가 아닌 밀이나 무와 같은 농작물에도 식생지수 변화가 있음을 밝혔다(Dash et al., 2017; Im et al., 2018).

최근에는 인공지능의 발달과 다양한 정보에 대한 데이터가 축적되면서 이를 자동으로 빠르게 처리하기 위한 기술들이 개발되고 있다. Badrinarayanan et al.(2017)은 기존 영상 분석 방식에 벗어나 새롭고 실용적인 방식으로 픽셀 하나에 의미를 부여하는 이미지 분할방식인 SegNet 구조를 연구하고 영상분석에 대한 정확도를 평가하였다. 이와는 조금 다른 접근방식으로 Redmon et al.(2016)은 객체 탐지의 새로운 구조로 YOLO를 활용하여 기존의 모델보다 성능이 우수한 탐지 방안을 제시하기도 하였다. 그러나 탐지 성능 평가 중 재현율이 떨어지는 문제가 나타나자 이후 Redmon and Farhadi(2017)은 속도와 정확도가 높으면서 동시에 다양한 종류의 객체를 실시간으로 탐지할 수 있는 YOLOv2를 활용한 연구를 제시하였다(Giuffrida et al., 2019).

일반적으로 딥러닝 기술은 정확도가 높으면 효율성이 뛰어나다고 해석하지만, 실제로 데이터 특성에 따라서 분석된 내용이 적합한지를 의사결정하기 위해서는 객체 집합 간의 차이를 확인하고, 불균형한 데이터의 문제를 해결하기 위해 다양한 성능 평가 방법이 필요하다(Derczynski, 2016; Kotsiantis et al., 2006).

특히, 광범위한 지역을 대상으로 하는 산림정보를 분석하기 위한 연구로 최근에는 딥러닝 기법을 활용하여 산림 데이터를 자동으로 분류해 주는 연구가 활발하게 진행 중에 있다. Dyson et al.(2019)은 NDVI와 고해상도 DSM 데이터를 학습시켜 합성곱 신경망(Convolutional Neural Network, CNN) 기반의 알고리즘을 활용하여 토양과 농작물에 대해 분할이 가능함을 밝혔고, Lee et al.(2019)은 소나무재선충병 피해목을 머신러닝 기반의 인공신경망을 활용하여 탐지할 수 있음을 밝혔다.

3. 항공영상촬영을 통한 정사영상 생성

본 절에서는 기존의 현장에 투입되는 인력을 통한 소나무재선충병 감염의심목 예찰 방법의 문제점을 개선하기 위해 무인항공기를 활용한 산림지역의 영상 자료 취득과 딥러닝 기반의 객체 인식 탐지 기법의 방법론을 제시하기로 한다.

3.1 연구 대상지 선정

먼저, 소나무재선충병 감염의심목의 분석과 검증을 위해 대상지를 선정하였다. 연구를 위한 대상지는 경상북도 포항시 북구 기계면 봉강재를 기준으로 북동쪽 산지와 지리상 남쪽에 위치하는 마봉산으로 두 산의 최대 높이 209.3 m로 비교적 낮은 산세이며 등산 코스와 사람이 다닐 수 있는 임도가 있어 소나무재선충병 감염 여부를 직접 확인할 수 있는 지역이기에 선정하였다(Fig. 1).

/media/sites/ksce/2021-041-03/N0110410314/images/Figure_KSCE_41_03_14_F1.jpg
Fig. 1.

Study Site Location

항공촬영에 앞서 현장조사가 가능한 지역을 선별하고 무인항공기를 이용한 항공촬영을 위한 허가 등 사전 준비 작업이 필요하다. 즉, 대상지의 높이나 면적을 고려하여 무인항공기의 종류를 선택하여야 하며, 이와 동시에 비행계획을 수립하였다. 이는 항공촬영 장비 선택에 있어서도 목적에 따라서 다양한 센서를 활용할 수 있고 영상 데이터의 특성에 따라서 피해목의 식별 방법이 달라질 수 있기 때문이다.

데이터 분석을 위해서는 사진측량 프로그램과 GIS프로그램을 활용한 육안관측, 현장조사 결과, 학습데이터 구성 순으로 진행되었으며, 피해목의 자동 탐지를 위해서 사용한 딥러닝 알고리즘은 이미지 분할방법(SegNet)과 이미지 검출방법(YOLOv2)의 두 가지 방법을 활용하여 소나무재선충병 감염의심목 자동탐지에 적합한 알고리즘의 성능을 비교해보았다.

3.2 영상데이터 획득 및 정사영상 제작

무인항공기를 활용하여 항공촬영을 진행하기 위해서는 사전에 촬영 장소 확인과 장비의 성능을 파악해야 한다. 특히, 분석에 가장 중요한 영상 해상도는 정확도에 큰 영향을 미치며, 이를 설정하기 위해서는 지상표본거리 또는 지상해상력을 뜻하는 GSD (Ground Sampling Distance) 계산을 위해서 촬영고도, 중복도, 카메라 해상도를 충분히 사전에 검토해야 한다(Do et al., 2018).

연구에 활용한 항공촬영 장비로는 무인항공기와 카메라가 있다. 먼저, 산림지역과 같이 넓은 지역의 촬영과 매핑을 위해서는 고정익 무인항공기가 필요하였으며, 그중 KD-2는 40~60 km/h의 속도로 넓은 지역을 비행할 수 있으며, 비행시간은 최대 50~60분까지 가능한 기종이다. 데이터 취득을 위하여 사용한 카메라로 Sony 사의 RX1R2이며 해상도가 4,240만 화소로 고성능의 DSLR 카메라를 이용하였다(Table 1).

Table 1.

Aerial Photography Equipment Specifications

/media/sites/ksce/2021-041-03/N0110410314/images/Figure_KSCE_41_03_14_T1-1.jpg
(a) KD-2
/media/sites/ksce/2021-041-03/N0110410314/images/Figure_KSCE_41_03_14_T1-2.jpg
(b) Sony RX1R2
Length 180 × 110 cm Weight 480 g
Weight 2.9 kg Sensor 35 mm F2.0 Zeiss Sonnar T lens with macro capability
Mounting weight 550 g Pixels 42.4 MP
Flight time 50–60 min ISO sensitivity ISO 100-25600
Flight speed 40–60 km/h Focal length f=35 mm / F2
Altitude 1000 m Focus range 24 cm-∞ (Normal mode), 14–29 cm (Macro mode)

항공촬영은 2019년 4월에 주변 지형과 대상지의 높이, 기상상태, 배터리 성능 등을 고려하여 이륙 지점으로부터 비행고도 350 m, 종‧횡중복률 80 %로 설정하여 이루어졌으며, 특히 비행경로는 촬영지역보다 길게 주어서 고정익 무인항공기의 비행 특성에 맞게 충분한 회전반경을 설정하였다.

촬영한 영상 데이터만으로 분석 대상 지역의 위치나 좌표와 같은 정보를 획득하기에는 어려움이 있기 때문에 여러 장의 사진을 지도로 제작하는 과정인 사진정합 과정이 필요하다. 또한, 항공사진 촬영에서 발생하는 기하학적 왜곡과 경사왜곡을 보정하기 위해서는 영상 데이터의 위도, 경도, 고도를 포함한 3차원 GPS정보가 있어야 한다. 정보가 포함되어 있지 않은 경우에는 Geo-tagging 작업을 통해 무인항공기에 장착되어 있는 GPS 수신기에 기록된 비행로그 정보를 이용하여 영상 데이터에 입력해 주어야 한다.

정사영상 제작을 위해 사용한 소프트웨어는 Pix4D Mapper로 원하는 대상을 3차원 모델로 표현할 수 있게 데이터 입력 시 다양한 포맷의 사진을 활용할 수 있으며, 촬영에 사용한 카메라가 가지고 있는 초점 길이와 센서 크기, 내부 파라미터 값, 렌즈 왜곡 등의 정보를 최적화하여 객체 생성에 반영할 수 있는 장점이 있다. 특히, 분석을 위하여 객체의 반사도 또는 식생지수 등의 인덱스 계산을 통하여 표현되는 정사영상을 각 형식의 맞는 결과물로 출력해 주는 등 다양한 활용이 가능하다.

사진 정합에 활용한 데이터의 수는 226장으로 Pix4D Mapper S/W를 활용하여 정사영상을 제작하는 과정은 다음과 같다. 먼저, Geo-tagging 하여 GPS 좌표를 가지고 있는 영상 데이터를 WGS84 (World Geodetic System 1984) 좌표계로 입력하게 되면 사진의 위치, 촬영 방향 등이 나타나게 된다. 또한, 데이터에 기초하여 만들어지는 출력물의 GPS 좌표계는 촬영지역을 기준으로 하기 때문에 한국 기준의 Korea 2000 동부 원점으로 설정하여 분석을 진행하였다.

초기 처리 과정에서는 여러 장의 이미지를 매칭하기 위하여 키포인트 이미지 수를 설정하고 카메라 내부 파라미터 값을 최적화하여 기초 분석 작업을 진행하게 되며 데이터 분석 결과를 점검할 수 있도록 품질 보고서가 생성된다.

두 번째 과정에서는 대상을 3D 공간으로 나타내주는 포인트 클라우드(point cloud)를 생성하게 되어 전체적인 정사영상 이전의 객체 형태가 나타나고 각 포인트에서 GPS 정보를 확인할 수 있다. 추가 기능으로 각 포인트를 이어 면을 생성하는 작업인 삼각매쉬 기능을 통해서 대상의 형태를 좀 더 구체화할 수 있다. 마지막 과정으로 영상 데이터가 가지고 있는 인덱스 값을 입력하면 다양한 형태의 분석 영상을 얻을 수 있다.

4. 딥러닝 기반의 객체 인식과 판별

본 절에서는 소나무재선충병 감염의심목의 인식과 판별의 효율성을 고려하여 학습 데이터의 양이 적은 경우 상대적으로 우수한 성능을 보이는 딥러닝 기반의 객체 인식 방법론을 제시하고자 한다.

4.1 SegNet과 YOLO 기반 딥러닝 알고리즘

영상 이미지 데이터를 이용하여 객체를 학습시키고 탐지하는 기술은 크게 이미지 분할방법(Image Segmentation)과 이미지 검출방법(Image Detection)이 있다. 이미지 분할방법 가운데 대표적인 기술로써 자율주행 연구 분야에 많이 활용되는 SegNet 알고리즘은 픽셀(Pixel) 단위로 객체를 인식하고 해당 위치의 픽셀이 어떤 물체를 의미하는지를 예측하는 Semantic Segmentation 개념에 기초하고 있다. Fig. 2에서 보는 바와 같이 이 방법은 학습의 속도를 높이고, 위치정보 손실을 줄이기 위해 네트워크 구조상 convolution과 maxpooling을 통해 압축하고, 다시 upsampling 하는 구조를 가지고 있다(Badrinarayanan et al., 2017).

/media/sites/ksce/2021-041-03/N0110410314/images/Figure_KSCE_41_03_14_F2.jpg
Fig. 2.

SegNet Architecture (Badrinarayanan et al., 2017)

이미지 검출방법(Image Detection)의 대표적인 기술로는 실시간 검출 방법인 YOLOv2 알고리즘을 활용하였다. YOLO 알고리즘은 기존 알고리즘에서의 느린 속도와 낮은 정확도 문제를 개선하기 위해서 CNN (Convolutional Neural Network) 구조를 가지고 한 장의 이미지에 대하여 경계 박스의 위치와 클래스의 분류가 동시에 이루어지는 장점이 있다(Redmon et al., 2016). 나아가 속도 개선을 위하여 네트워크 구조에서 2개의 FC (Fully Connected) layer를 제거하였고, 앵커 박스를 사용하면서 성능 부분에서 크게 향상되어 이미지 사이즈에 따라 검출 속도와 정확도를 컨트롤할 수 있는 것이 YOLOv2의 큰 특징이다(Fig. 3).

/media/sites/ksce/2021-041-03/N0110410314/images/Figure_KSCE_41_03_14_F3.jpg
Fig. 3.

YOLO Architecture (Giuffrida et al., 2019)

본 연구에서는 소나무재선충병 감염의심목 객체 이미지 데이터를 빠르고 정확하게 검출하기 위하여 이미지 분할방식의 대표적인 알고리즘인 SegNet과 이미지 검출방식의 대표적인 알고리즘인 YOLOv2의 성능을 비교해보았다.

4.2 학습 데이터 구성과 파라메타 설정

본 연구에서는 무인항공기에서 촬영한 영상기반의 소나무재선충병 감염의심목 판별 과정과 별도로 소나무재선충병 감염목의 참값을 확보하기 위한 현장조사에 대해 설명하기로 한다.

먼저, 앞 절에서 제작된 정사영상에서 ArcGIS S/W를 활용하여 GPS 위치정보를 획득하였다. 이 좌표 정보는 소나무재선충병 피해목의 특징점 추출과 라벨링(labeling) 과정을 통해 학습 데이터 구성에 중요한 역할을 한다. 정사영상에서 소나무재선충병 의심목으로 추정되는 이미지 데이터를 모으기 위해 주변 건강한 나무들과 다르게 잎이 변색이 되거나 떨어져 가지만 남은 나무를 선별하고 좌표 정보를 매칭하는 과정을 수행하여, 198개의 샘플을 얻었다.

Fig. 4는 198개의 감염의심목의 위치를 나타내는 것으로 실제 소나무재선충병에 감염된 것을 확인하기 위한 기초 정보이다. 정사영상에서 추정한 감염의심목이 실제 소나무재선충병에 감염된 것인지를 확인하기 위해 현장조사를 실시하였다(Fig. 5). 이 과정은 기존 연구와의 차별성으로 소나무재선충병 피해목의 특징점 추출을 통한 학습 데이터 구축과 정사영상에서 추정한 피해목 예측 결과를 실제로 검증하기 위해 꼭 필요한 과정이다.

/media/sites/ksce/2021-041-03/N0110410314/images/Figure_KSCE_41_03_14_F4.jpg
Fig. 4.

Observation Results of Pine Wilt Disease Based on Image

/media/sites/ksce/2021-041-03/N0110410314/images/Figure_KSCE_41_03_14_F5.jpg
Fig. 5.

Field Survey

알고리즘의 성능 평가를 목적으로 한 현장조사에서 실제 감염목의 위치(좌표) 확인을 영상 자료로 추정한 198개의 정보와 일대일로 확인하였다. 분석 대상지는 해당 지자체에서 이미 감염된 소나무들을 붉은색으로 마킹하고 라벨지를 붙여 표시해 놓은 지역으로 이를 기준으로 GPS 장비와 야장으로 기존 감염목과 새로 발생한 감염목의 위치를 파악하였다.

현장조사는 2019년 4월에 오전 10시부터 해가 질 무렵까지 2명씩 3개 조로 2회 실시하였으며, 최대한 많은 소나무재선충병 감염목의 위치와 특징점을 획득하기 위해 접근이 불가능한 급경사지나 절벽과 같은 위험한 지형 이외에 전수조사를 실시한 결과, 관측한 198개 중에 84개의 소나무재선충병 감염목의 참값을 획득하였다.

현장조사를 통해 얻은 소나무재선충병 감염목의 위치정보를 이용하여 무인항공기 영상 자료에서 얻은 항공영상의 관측점들과 매칭할 수 있었으며, 딥러닝 학습을 위한 소나무재선충병 감염목의 이미지를 추출하였다. 이때 Fig. 6에서 보는 바와 같이 정사영상을 50 m × 50 m 크기의 그리드로 나누고 각 구역에 대해서 동일한 픽셀의 크기로 이미지를 추출하였다. 또한, 충분한 학습 데이터를 확보하기 위해 하나의 이미지에 대하여 90°, 180°, 270°만큼 회전시켜 총 1,425장의 데이터를 확보하였다.

/media/sites/ksce/2021-041-03/N0110410314/images/Figure_KSCE_41_03_14_F6.jpg
Fig. 6.

Learning Data Set

구축한 데이터 가운데 소나무재선충병 감염목을 중심으로 학습 데이터를 구성하였으며, 각 알고리즘에 해당하는 방법으로 라벨링 작업을 진행하였다. 먼저, SegNet은 이미지에 소나무재선충병 피해목이 있는 곳을 검은색, 그 외 부분을 흰색으로 라벨링 하였고, YOLOv2는 Bounding box 형태의 라벨링으로 소나무재선충병 피해목과 아닌 것으로 구분하여 작업을 진행하였다. 여기서 딥러닝 학습에 오류로 나타나는 이미지의 공백 부분과 그림자 등의 데이터는 학습 데이터에서 제외하였다.

Table 2에서 보는 바와 같이 데이터 구성 결과, SegNet과 YOLOv2 각각 475장, 488장으로 학습 데이터 양은 크게 차이가 없었으며, 70 %를 학습용 데이터로 사용하고 나머지 30 %를 검증용 데이터로 구분하였다.

Table 2.

Configuration Results of Deep Learning Data (Unit: number)

Data for labeling Data for learning Data for verification
SegNet YOLOv2 SegNet YOLOv2 SegNet YOLOv2
475 488 335 342 140 146

소나무재선충병 감염 여부에 따른 라벨링 작업을 거쳐 딥러닝을 위한 학습 데이터를 분석하기 위해서는 알고리즘의 파라미터 값을 설정해야 하며, 기존 두 모델의 레이어를 활용하되 마지막 객체를 인식하거나 의미론적으로 분할하는 곳을 변경하였다(Fig. 7).

/media/sites/ksce/2021-041-03/N0110410314/images/Figure_KSCE_41_03_14_F7.jpg
Fig. 7.

Learning Data Labeling

SegNet 기반의 학습을 위하여 활성화 함수는 Sigmoid를 활용하고 트레이너는 Adam을 활용하여 총 2,000 Epoch의 학습을 진행하였다. 소나무재선충병 감염목의 자동 객체 인식과 판별 과정을 실행한 결과, 하나의 데이터 결과에 대하여 원본, 라벨링, 결과 이미지가 추출되었으며, 각각의 이미지를 비교하면 차이를 판별할 수 있다.

YOLOv2의 학습을 위한 활성화 함수, 트레이너, Epoch의 값은 모두 동일하며, 소나무재선충병 감염목을 하나의 클래스로 변경하면서 output layer의 값을 줄였고, input의 크기를 준비한 데이터에 맞추어 전체 layer를 수정하였다. 객체의 자동 인식은 하나의 이미지 안에 Bounding box로 라벨링 한 데이터와 검출된 데이터로 나타나게 되며, 이때 참값으로 제시한 Bounding box가 딥러닝 학습결과로 나타난 Bounding box와 일정 영역 중첩되어야 참값으로 판정되며, 이를 IoU (Intersection over union)라고 한다. 이 과정에서 같은 객체에 대해 많은 Bounding box가 생성되고 이 가운데 신뢰성이 가장 높고 IoU가 일정 값 이상인 Bounding box만을 남기고 나머지는 제거된다.

또한, YOLOv2의 분석에서 파라미터 값인 threshold의 조절이 가능하다. 이는 기존 학습으로 새로운 데이터를 분석할 경우 threshold 값에 따라 주어진 임계값을 기준으로 해당 객체를 출력하게 된다. 따라서 적절한 threshold 값을 도출하기 위해서 0.1에서 0.9까지 조절하여 비교 분석을 수행하였다.

4.3 분석 결과

본 연구에서는 딥러닝 알고리즘의 성능을 판별하기 위해 주로 활용하는 두 가지 지표인 정밀도(Precision)와 재현율(Recall)을 이용하였다. 정밀도와 재현율을 산정하기 위해서는 피해목을 올바르게 검출한 결과(TP: True positive)와 피해목이 아닌 것을 피해목으로 잘못 검출한 결과(FP: False positive) 그리로 피해목이 아닌 것을 아닌 것으로 올바르게 검출한 결과(FN: False negative)의 값을 활용하여 계산할 수 있다(Kotsiantis et al., 2006).

(1)
Precision=TPTP+FP=TPalldetections
(2)
Recall=TPTP+FN=TPallgroundtruths

Table 3의 결과에서 두 알고리즘의 TP, TF, FN 검출 개수의 확연한 차이를 확인할 수 있는데, 이는 학습을 위한 라벨링 작업 시 SegNet은 픽셀 개수, YOLOv2는 Bounding box 개수가 학습되고, 마찬가지로 결과에서 픽셀과 Bounding box 개수로 나타나기 때문이다.

Table 3.

Performance Comparison of Detection for Pine Wilt Disease (Unit: number)

Algorithm TP FP FN Precision Recall f1-score
SegNet 220,675 220,617 114,194 0.50 0.66 0.57
YOLOv2 (Threshold: 0.3) 204 62 58 0.77 0.78 0.77

한편 딥러닝 알고리즘의 성능을 평가할 때 정밀도만으로 평가하는 경우 클래스별 데이터의 균형이 거의 동일할 경우에는 적절하게 사용될 수 있으나, 반대로 데이터가 한쪽으로 치우치게 되면 비중이 큰 쪽의 데이터가 결과에 큰 영향을 끼치는 문제가 있다. 또한, 두 평가 지표의 관계는 정밀도가 높으면 재현율이 낮고, 정밀도가 낮으면 재현율이 높은 경향이 나타나는 단점을 보완하기 위해 본 연구에서는 새로운 평가 지표를 도입하였다.

본 연구에서는 소나무재선충병 감염목 데이터보다 반대로 정상 소나무의 데이터가 불균형적으로 많기 때문에 딥러닝 알고리즘의 최적화된 성능을 검증하기 위해 불균형한 데이터에 대해서도 성능 측정이 가능한 F-score를 사용하였다(Derczynski, 2016).

(3)
F-score=2Precision×Recall(Precision+Recall)

f1-score 값은 정밀도(Precision)와 재현율(Recall)의 조화평균으로 계산할 수 있다. Table 3에서 알 수 있는 바와 같이, SegNet 알고리즘은 f1-score 값이 0.57로 나타났고, YOLOv2 알고리즘의 결과는 threshold 0.3에서 f1-score가 0.77로 나타나 YOLOv2가 상대적으로 우수함을 확인하였다. 또한 기존의 딥러닝 기반 영상분석을 위한 성능 판별 지표인 정밀도와 재현율을 비교하더라도 소나무재선충병 감염목 탐지를 위해서는 YOLOv2가 상대적으로 우수한 결과로 나타났다.

5. 결 론

본 연구에서는 전국적으로 확산되고 있는 소나무재선충병 감염목의 피해 규모를 줄이고 방제에 소요되는 경제적 손실을 절감하기 위해 무인항공기와 딥러닝 기법을 활용한 예찰 방법을 제시하고 활용 가능성을 살펴보았다.

특히, 우리나라 산지의 특성상 접근로가 없고 험준한 지역이 많다는 점을 감안할 때 인력 중심의 기존 예찰 방법의 한계를 드론을 활용한 무인항공촬영으로 시간과 비용적인 측면에서 활용 가능함을 확인할 수 있었다.

또한, 본 연구에서는 학습을 위한 데이터의 신뢰성을 확보하기 위하여 대상 지역의 소나무재선충 의심목을 대상으로 정합한 영상과 실제 감염 여부를 현장 조사를 통해 확인하였다는 점은 기존 연구 방법과의 차별성이라 할 수 있다.

나아가 확인된 소나무재선충병 피해목 데이터를 자동으로 검출하기 위한 방법으로 SegNet과 YOLOv2 딥러닝 알고리즘을 활용하였다. 이는 현재까지 절대적 우위를 점하는 방법이 없는 현실에서 영상 데이터 기반의 픽셀 단위로 객체의 형태와 종류를 분류하는 SegNet과 박스 단위로 객체의 특징을 학습하여 탐지하는 YOLO의 접근 방법이 다르지만, 일정한 면적으로 감염 여부를 학습시키고 성능을 비교한다는 점에서 의미가 있다고 판단된다.

마지막으로 각 알고리즘의 비교를 위해 정밀도(Precision)와 재현율(Recall)을 가지고 F-score 계산하였으며, 정확도가 각각 SegNet이 57 %, YOLOv2가 약 77 %로 소나무재선충병 피해목을 검출하기 위해서는 YOLOv2가 상대적으로 우수한 성능을 보이는 것을 확인하였다.

본 연구에서 제시한 무인항공기를 이용한 영상 데이터의 획득 및 정사영상 제작 과정, 그리고 딥러닝 기반의 영상분석을 통한 피해목 탐지 방안에 대한 연구 성과는 소나무재선충병 감염의심목 예찰과 방제 작업을 위한 실무에 많은 도움이 될 것으로 기대된다.

향후 연구로는 무인항공기를 이용한 항공촬영의 경우 계절 및 일조량의 차이에 따라 정사영상 제작을 위한 보정값에 대한 면밀한 연구가 필요하며, 딥러닝 분석에 문제가 되었던 소나무재선충병 피해목과 비슷한 특징점으로 판별되는 지면, 묘지, 마른풀 등의 추가 학습자료 구축을 통해 알고리즘의 성능을 높이는 방안도 추가되어야 할 것이다.

References

1
Badrinarayanan, V., Kendall, A. and Cipolla, R. (2017). "Segnet: A deep convolutional encoder-decoder architecture for image segmentation." IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE, Vol. 39, No. 12, pp. 2481-2495. 10.1109/TPAMI.2016.264461528060704
2
Dash, J. P., Watt, M. S., Pearse, G. D., Heaphy, M. and Dungey, H. S. (2017). "Assessing very high resolution UAV imagery for monitoring forest health during a simulated disease outbreak." ISPRS Journal of Photogrammetry and Remote Sensing, ISPRS, Vol. 131, pp. 1-14. 10.1016/j.isprsjprs.2017.07.007
3
Derczynski, L. (2016). "Complementarity, F-score, and NLP evaluation." Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), European Language Resources Association (ELRA), pp. 261-266.
4
Do, M. S., Lim, E. T., Chae, J. H. and Kim, S. H. (2018). "Accuracy evaluation and terrain model creation of urban space using unmanned aerial vehicle system." The Journal of the Korea Institute of Intelligent Transport Systems, KITS, Vol. 17, No. 5, pp. 117-127 (in Korean). 10.12815/kits.2018.17.5.117
5
Dyson, J., Mancini, A., Frontoni, E. and Zingaretti, P. (2019). "Deep learning for soil and crop segmentation from remotely sensed data." Remote Sensing, MDPI, Vol. 11, No. 16, pp. 1859. 10.3390/rs11161859
6
Giuffrida, G., Meoni, G. and Fanucci, L. (2019). "A YOLOv2 convolutional neural network-based human-machine interface for the control of assistive robotic manipulators." Applied Sciences, MDPI, Vol. 9, No. 11, pp. 2243. 10.3390/app9112243
7
Han, S. H. (2019). "Project design plan for drone photogrammetry." Journal of the Korean Society of Civil Engineers, KSCE, Vol. 39, No.1, pp.239-246 (in Korean).
8
Im, S. H., Hassan, S. I., Minh, D. L., Min, K. B. and Moon, H. J. (2018). "Analysis of fusarium wilt based on normalized difference vegetation index for radish field images from unmanned aerial vehicle." The Transactions of The Korean Institute of Electrical Engineers, KIEE, Vol. 67, No. 10, pp. 1353-1357.
9
Kim, D. I., Song, Y. S., Kim, G. H. and Kim, C. W. (2014). "A study on the application of UAV for Korean land monitoring." Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, KSGPC, Vol. 32, No. 1, pp. 29-38 (in Korean). 10.7848/ksgpc.2014.32.1.29
10
Kim, E. N. and Kim, D. Y. (2008). "An investigation of pine wilt damage by using ground remote sensing technique." Journal of the Korean Association of Regional Geographers, KRG, Vol. 14, No. 1, pp. 84-92 (in Korean).
11
Kim, J. B., Jo, M. H., Oh, J. S., Lee, K. J. and Park, S. J. (2001). "Extraction method of damaged area by pine wilt disease (Bursaphelenchus xylophilus) using remotely sensed data and GIS." In Proceedings of ACRS 2001, 22nd Asian Conference on Remote Sensing, Singapore.
12
Kim, J. B., Kim, D. Y. and Park, N. C. (2010). "Development of an aerial precision forecasting techniques for the pine wilt disease damaged area based on GIS and GPS." Journal of the Korean Association of Geographic Information Studies, KAGIS, Vol. 13, No. 1, pp. 28-34 (in Korean).
13
Kim, J. H., Seo, I. G. and Park, S. J. (2016). "An analysis on the situation of collection and utilization of the trees damaged by pine wilt disease." Journal of Environmental Science International, KENSS, Vol. 25, No. 1, pp. 127-134 (in Korean). 10.5322/JESI.2016.25.1.127
14
Kim, M. J., Bang, H. S. and Lee, J. W. (2017). "Use of unmanned aerial vehicle for forecasting pine wood nematode in boundary area: A case study of Sejong Metropolitan Autonomous City." Journal of Korean Society of Forest Science, KFS, Vol. 106, No. 1, pp. 100-109 (in Korean).
15
Kim, S. R., Kim, E. S., Nam, Y. W., Choi, W. I. and Kim, C. M. (2015). "Distribution characteristics analysis of pine wilt disease using time series hyperspectral aerial imagery." Korean Journal of Remote Sensing, KSRS, Vol. 31, No. 5, pp. 385-394 (in Korean). 10.7780/kjrs.2015.31.5.3
16
Kotsiantis, S., Kanellopoulos, D. and Pintelas, P. (2006). "Handling imbalanced datasets: A review." GESTS International Transactions on Computer Science and Engineering, Vol. 30, No. 1, pp. 25-36.
17
Lee, H. D. (2017). Identification of damaged trees by pine wilt diseases using drone images and GIS, Master's thesis, Graduate School of Kyungil University (in Korean).
18
Lee, J. B., Kim, E. S. and Lee, S. H. (2014). "An analysis of spectral pattern for detecting pine wilt disease using ground-based hyperspectral camera." Korean Journal of Remote Sensing, KSRS, Vol. 30, No. 5, pp. 665-675 (in Korean). 10.7780/kjrs.2014.30.5.11
19
Lee, S. K., Park, S. J., Baek, G. M., Kim, H. B. and Lee, C. W. (2019). "Detection of damaged pine tree by the pine wilt disease using UAV Image." Korean Journal of Remote Sensing, KSRS, Vol. 35, No. 3, pp. 359-373 (in Korean).
20
Nagai, M., Chen, T., Shibasaki, R., Kumagai, H. and Ahmed, A. (2009). "UAV-borne 3-D mapping system by multisensor integration." IEEE Transactions on Geoscience and Remote Sensing, IEEE, Vol. 47, No. 3, pp. 701-708. 10.1109/TGRS.2008.2010314
21
Redmon, J. and Farhadi, A. (2017). "YOLO9000: better, faster, stronger." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, CVPR, pp. 7263-7271. 10.1109/CVPR.2017.690
22
Redmon, J., Divvala, S., Girshick, R. and Farhadi, A. (2016). "You only look once: Unified, real-time object detection." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, IEEE, pp. 779-788. 10.1109/CVPR.2016.91
23
Rokhmana, C. A. (2015). "The potential of UAV-based remote sensing for supporting precision agriculture in Indonesia." Procedia Environmental Sciences, ELSEVIER, Vol. 24, pp. 245-253. 10.1016/j.proenv.2015.03.032
24
Smigaj, M., Gaulton, R., Suárez, J. C. and Barr, S. L. (2019). "Canopy temperature from an Unmanned Aerial Vehicle as an indicator of tree stress associated with red band needle blight severity." Forest Ecology and Management, ELSEVIER, Vol. 433, pp. 699-708. 10.1016/j.foreco.2018.11.032
25
Son, M. H., Lee, W. K., Lee, S. H., Cho, H. K. and Lee, J. H. (2006). "Natural spread pattern of damaged area by pine wilt disease using geostatistical analysis." Journal of Korean Society of Forest Science, KFS, Vol. 95, No. 3, pp. 240-249 (in Korean).
26
Xu, C. X., Lim, J. H., Jin, X. M. and Yun, H. C. (2018). "Land cover mapping and availability evaluation based on drone images with multi-spectral camera." Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, KSGPC, Vol. 36, No. 6, pp. 589-599 (in Korean).
페이지 상단으로 이동하기