2.1 연구방법

본 연구에서는 무인항공기용 RGB, TIR, NIR 센서를 이용하여 연구대상지별로 시기의 차이가 있는 영상을 취득하였으며, GNSS 측량을 통해 지상기준점과 검사점을 취득하였다. 하나의 RGB 영상은 지상기준점과 검사점을 입력하여 기준 정사영상을 제작하였으며, 또 다른 RGB와 TIR, NIR은 지상기준점 입력없이 목적 정사영상을 제작하였다. 그 후 기준 정사영상과 목적 정사영상에 특징점 추출이 잘 수행될 수 있도록 전처리를 수행하였으며, 4가지의 특징점 추출 기법을 적용한 후 오매칭쌍 제거를 통해 최종 매칭쌍을 추출하였다. 마지막으로 효과적인 특징점 및 매칭쌍 추출 기법에 대해 비교·평가를 수행하였다.

2.2 연구대상지 및 연구장비

연구대상지는 경상북도 상주시에 위치하는 두 곳을 선택하여 진행하였으며, 연구대상지 A는 주거지역이며, B는 하천 지역이다. 연구대상지 A의 토지피복은 건물, 아스팔트, 콘크리트, 식생 등 다양한 토지피복으로 구성되어 있으며, 연구대상지 B의 경우 하천, 콘크리트, 식생으로 구성되어 있다. 연구대상지 A의 경우 주거지와 같은 환경에서의 특징점 추출을 비교하기 위해 선정하였으며, 연구대상지 B의 경우 자연적인 환경에 대한 특징점 추출 비교를 위해 선정하였다(Fig. 1).

연구에 사용된 무인항공기는 인스파이어 1, 2, 팬텀 4가 사용되었으며, 무인항공기용 센서는 RGB 센서(Zenmuse X4S), TIR 센서(Zenmuse XT), NIR 센서(P4 Multispectral)이 사용되었다. 인스파이어 1은 TIR 센서, 인스파이어 2는 RGB 센서, 팬텀 4는 Multispectral 센서를 탑재하여 촬영을 진행하였다. 각 무인항공기와 센서의 사양은 다음 Table 1과 같다. 무인항공기 촬영 후 RGB 기준 정사영상 제작 시 지상기준점과 검사점은 Trimble R8s를 이용하여 취득하였다.

Fig. 1. Study Site: (a) Uptown, (b) Farmland and River

2.3 데이터 취득

3대의 무인항공기와 센서를 이용하여 연구대상지별로 RGB 기준 정사영상 1개와 목적 정사영상 3개에 대하여 무인항공기 촬영을 진행하였다. 무인항공기 촬영 시 그림자의 영향을 받지 않기 위해 구름이 없고 맑은 날을 선택하여 태양의 고도가 가장 긴 12시에서 13시 사이에 취득하였다. 무인항공기별 촬영 애플리케이션이 다르므로 본 연구에서 2가지 애플리케이션이 필요하며, 인스파이어 1, 2는 Pix4d capture, 팬텀 4는 DJI GS Pro를 사용하여 자동 촬영을 진행하였다. 촬영 높이는 50 m, 촬영 속도는 2-3 m/s, 종중복도와 횡중복도는 80 %로 설정하였으며, 취득된 데이터의 날짜는 Table 2와 같다.

무인항공기 촬영 후 RGB 기준 정사영상을 제작하기 위해서는 지상기준점 입력이 필요하며, RGB 기준 정사영상을 평가를 위한 검사점도 필요하다. 본 연구에서 GNSS 측량은 Network-RTK (Real Time Kinematic) 방법의 하나인 VRS(Virtual Reference Station) 방법을 사용하여 진행하였다. VRS 측량은 GNSS 상시 관측소를 기준국으로 하여 가상기준점을 실시간으로 생성한 뒤 가상기준점과 이동국과의 실시간 측량을 수행하여 정밀한 위치를 결정하는 방법이다^{(Landau et al., 2002)}. VRS 측량 시 공공측량 작업의 RTK 측량 규정에 맞게 고정해를 얻은 후 10초 이상 PDOP(Position Dilution of Precision)는 6이하 값으로 3회 측량 후 평균하여 정밀한 좌표데이터를 취득하였으며, 연구대상지 A, B의 지상기준점은 각각 8개, 5개이며, 검사점은 4개이다. 지상기준점 및 검사점의 수량은 무인비행장치 측량 작업 규정에 따라 지상기준점은 1 $km^{2}$당 9점 이상, 검사점의 수량은 지상기준점 수량의 최소 1/3 이상을 원칙으로 하며, 본 연구대상지의 면적은 A와 B는 약 0.04 $km^{2}$, 0.05 $km^{2}$이다.

2.4 정사영상 제작

RGB, TIR, NIR 정사영상 제작에는 Agisoft사의 Metashape Pro를 사용하였으며, 일반적인 RGB 정사영상의 경우 Metashape에서 영상 입력, 영상 정렬, 지상기준점 입력, 카메라 검·보정, 고밀도 점 구축, 메시와 텍스쳐 구축을 통해 정사영상을 제작한다. TIR 영상의 경우 R-JPEG(Radiometric-Joint Photographic Experts Group) 취득 시 방사선 데이터와 메타데이터 정보를 취득하며, EXIF(Exchangeable Image File Format)에는 온도 값으로 변환할 수 있는 정보와 특정 메타데이터 값을 가지고 있기 때문에 이 정보를 이용하여 8비트의 R-JPEG을 16비트 TIFF로 변환이 필요하다^{(Park et al., 2018)}. Exiftool을 이용하여 16비트의 TIFF 변환 후 RGB와 같이 정사영상 제작 과정을 거치면 DN 값을 갖는 정사영상이 제작되며, 후처리를 통해 DN 값을 온도 값으로 변환하여 최종 온도 정사영상을 제작한다^{(Lee and Lee, 2022b)}. NIR 영상은 태양 센서 정보를 사용하여 반사 측정 영상에 대한 보정 후 정사영상 제작을 수행한다^{(Guan et al., 2019; Kim et al., 2022)}. RGB 기준 정사영상은 지상기준점과 검사점 입력을 수행하며, 목적 정사영상(RGB, TIR, NIR)은 지상기준점을 입력하지 않고 정사영상을 제작하였다. RGB 기준 정사영상은 지상기준점 입력 후 검사점을 통해 정확도 평가를 수행하였으며, 정확도 평가는 ‘항공사진측량 작업 규정’의 조정계산 및 오차의 한계로 평가하였다. 디지털 항공사진의 검사점에 대한 평가 요소는 Table 3과 같으며, Table 4는 연구대상지의 RMSE(Root Mean Square Error)와 최대오차를 나타낸다. 그 결과 두 연구대상지의 기준 정사영상 모두 지상표본거리(Ground Sample Distance, GSD) 8 cm 지도의 허용 기준을 만족하여 기준 정사영상으로 사용 가능하다.

3.1 전처리

특징점 추출 전 기준 정사영상과 목적 정사영상 간의 픽셀 값의 차이를 줄여 특징점 추출이 잘 수행될 수 있도록 BBHE(Brightness Preserving Bi-Histogram Equalization)와 Sharpening 방법을 수행하였다. BBHE 방법은 기존의 히스토그램 평활화(Histogram Equalization, HE) 방법을 개선한 방법으로 히스토그램 평활화의 경우 원영상의 평균 밝기 값이 크고, 작음에 상관없이 명암의 중간값으로 변환하기 때문에 원 영상의 평균적인 밝기 값에 비해 변환된 영상의 평균 밝기 값이 과도하게 변환한다는 단점이 있다^{(Park and Choi, 2009)}. 하지만 BBHE 방법의 경우 과도한 영상의 밝기 변화를 주지 않기 위하여 원 영상의 평균 밝깃값을 2개의 서브 히스토그램으로 나누고, 각 서브 히스토그램에서 독립적으로 히스토그램 평활화를 수행하는 방법 중 하나이다^{(Zhou et al., 2021)}. BBHE 방법을 통해 영상 전체의 밝기값 분포가 고르게 변환된 영상에 경계에 대한 대비 향상을 주기 위해 Sharpening 방법을 적용하였다. Sharpening 방법 중 언샤프 마스킹 방법을 사용하였으며, 언샤프 마스킹은 원 영상의 고주파 성분을 구하여 원 영상에 고주파 성분을 더해 선명도를 강조하는 방법이다^{(Hwang and Kim, 2018)}. Table 5는 TIR 영상에 전처리를 수행하여 특징점 추출 방법 한 가지를 적용했을 때의 비교를 나타낸다. 비교 결과 BBHE와 Sharpening을 같이 사용했을 때 가장 많은 특징점 추출이 되는 것을 확인할 수 있으며, 특히 TIR의 경우 전처리를 수행하지 않을 경우 특징점 추출이 어려운 것을 확인할 수 있다. 전처리 후 공간해상도로 인한 스케일 차이를 최소화하기 위해 목적 정사영상을 기준 정사영상에 맞게 리샘플링을 수행하였다.

3.2 특징점 추출 방법

전처리를 수행한 후 특징점 추출을 적용하였으며, 본 연구에서는 총 4가지(AKAZE, SURF, BRISK, SIFT) 방법을 적용하였다. AKAZE는 KAZE를 개선한 알고리즘으로 기존 KAZE의 경우 비선형 확산 방정식을 풀기 위한 분석 방법이 없어 AOS(Additive Operator Splitting) 방법을 통해 이를 수행했지만 비선형 확산 방정식을 풀기 위해서는 많은 양의 선형 방정식을 수행해야 했기 때문에 연산 속도가 느리다는 단점이 있다. 하지만 AKAZE의 경우 FED(Fast Explicit Diffusion)라는 최신 수학적 구조를 사용하여 연산속도를 높였으며, M-LDB(Modified-Local Difference Binary) 서술자를 사용하여 효율적인 저장 공간 확보와 계산 요구량을 낮췄다^{(Alcantarilla et al., 2012; Alcantarilla et al., 2013; Sharma and Jain, 2020)}. 또한, 반복성과 식별성을 높인 다중 스케일 성능을 확인할 수 있다^{(Alcantarilla et al., 2013)}. SIFT는 스케일 공간 기반의 특징점 추출 알고리즘으로 크기, 회전, 조명의 변화에 강인한 특징을 추출 할 수 있다. 영사에서 서로 다른 크기의 가우시안 커널을 사용하여 스케일 공간 피라미드를 생성하며, 각 피라미드 레벨에서 픽셀 값을 가우시안으로 smoothing하여 스케일을 정규화한다. 각 스케일 레벨에서 이전 스케일과 현재 스케일을 뺀 차영상을 계산하고 영상의 특징점을 추출한 후 방향 할당과 특징점 서술 단계를 거쳐 특징을 추출한다. 하지만 SIFT의 경우 많은 연산량으로 인해 느리다는 단점을 가지고 있다^{(Lowe, 2004)}. SURF는 SIFT의 단점인 많은 연산량으로 인한 느린 속도를 Hessian 행렬 계산과 이미지 피라미드 대신 필터의 크기를 변화시키는 방식으로 속도에 대한 성능을 개선하였다^{(Bay et al., 2006)}. 마지막으로 BRISK는 AGAST(Adaptive and Generic Accelerated Segment Test) 또는 FAST(Features from Accelerated Segment Test) 알고리즘을 사용하여 이진 표현을 사용하여 저장 공간을 절약하고, 스케일 공간에서 피라미드 기반으로 특징점을 검출한다. 서술자 계산은 특징점 주변에서 동심원 기반을 통해 이진 서술자를 계산하며, 특징점 추출 속도가 SIFT보다 빠르지만 영상 정합 단계에서 특징점이 증가할수록 연산 시간이 많이 소요되는 단점이 있다^{(Leutenegger et al., 2011; Makarov et al., 2018)}.

3.3 오매칭쌍 제거

특징점 추출 방법을 통해 추출된 특징점은 매칭을 하기 위해 오매칭쌍(Outlier) 제거가 필요하다. 오매칭은 격자무늬, 식생과 같은 반복적인 패턴이 있거나 사람과 차량과 같은 동적인 지형지물, 그림자로 인한 영상 오차 등이 주된 원인이며, 특히, 반복적인 패턴은 잘못된 대응점을 찾기 쉬우며, 매끄러운 형태(평평한 지붕, 새로운 도로 등)는 충분한 정보가 없어 매칭이 어렵거나 오매칭이 발생한다. 오매칭쌍 제거에는 일반적으로 가장 많이 사용되는 RANSAC(RANdom SAmple Consensus)을 사용하였으며, RANSAC은 오매칭쌍이 포함된 데이터에서 모델 파라미터를 추정하거나, 오매칭쌍을 식별하고 제거하는데 사용되는 반복적이고, 강인한 알고리즘이다. RANSAC은 랜덤으로 샘플데이터를 추출하여 매칭쌍을 만족하는 모델을 구성하고, 일정 횟수 또는 매칭쌍(Inlier)의 수가 만족할 때까지 반복하여 오매칭쌍을 제거한다^{(Fischler and Bolles, 1981)}.