2.1 달 영구음역지역 모의 환경 구축

달 영구음영지역을 모사하는 실내 실험실은 달 모의 지형과 조명시설로 구성된다. 먼저 달 지형을 모사하기 위해 현무암 재질의 어두운 미세 입자로 이루어진 한국형 인공 월면토(KLS-1)를 이용하여^{(Ryu et al., 2018)}, 지반, 크레이터, 둔덕을 조성하였고, 지반 위에는 바위, 자갈 등을 인위적으로 배치하였다. 또한, 조도 조절이 가능한 LED 조명 설비를 천장에 설치하여 달 영구음영지역의 조도환경을 모사하고자 하였다. 더불어, 천장과 바닥에 무광 흑색 페인트를 도포 하였고 외부의 빛을 차단하여 암실 형태로 구축하였다(Fig. 2(a)) 달 모사 지형영상을 취득하기 위해 로버에 탑재된 스테레오 카메라를 이용하였다(Fig. 2(b)). Table 1은 로버 탑재 카메라 사양과 저조도 환경에서 설정된 카메라의 세부 정보를 보여준다. 카메라의 노출시간(exposure time)과 이득값(gain value)은 자동 산출되는 최적값을 사용하였고, 감마값(gamma value)과 블랙라벨(black level)은 각각 0.7과 0으로 설정하였다. Figs. 2(c) and 2(d)는 낮 환경과 저조도 환경에서 촬영한 지형영상을 보여준다. 달 영구음영지역 내부는 미개척 지역으로 정확한 조도 환경은 알 수 없으나, 원격탐사와 시뮬레이션을 통해 평균 3 lux 수준의 조도를 가지는 것으로 예측된다^{(Mazarico et al., 2011)}. 본 실험에서는 저조도 영상강화 기법의 적용 효과를 엄밀하게 평가하기 위해 조도 환경을 0.98 lux로 설정하였다.

Fig. 2. Emulated Lunar Terrain and Rover: (a) Adjustable LED Lamp, (b) Stereo-Camera Mounted Rover in the Test Bed (c) Day Light Image, (d) Low Light Image Under 0.98 lux

2.2 저조도 영상강화 기법 및 품질 평가지수

달 영구음영지역의 낮은 조도 환경에서 로버의 카메라 영상은 적은 광자수와 낮은 신호 대 잡음비(signal-to-noise ratio)로 인하여 가시성과 대비가 낮고, 많은 잡음을 포함한다. 실내 실험실에서 취득한 저조도 영상의 시인성 강화를 위해 CLAHE (Contrast Limited Adaptive Histogram Equalization), Dehaze, RetinexNet, GLADNet을 사용하였다. 저조도 영상 개선을 위한 기초적인 기법은 HE (Histogram Equalization)로 관측 영상의 밝기값 분포를 균등하게 재분배하여 영상의 대비를 개선한다. 하지만 영상 전체에 평활화를 적용하면 시인성 개선에 불필요한 밝은 영역까지 처리되는 문제가 발생하므로, 전체 영상을 작은 블록으로 구분하여 HE를 적용하고 대비 제한 기법을 사용하여 경계 부분의 잡음을 감소시키는 CLAHE (Contrast Limited Adaptive Histogram Equalization) 기법이 제안되었다^{(Pizer et al., 1990)}. Dehaze는 저조도 영상을 안개 영상으로 간주한다. 저조도 영상을 반전시키면 안개가 포함된 영상의 히스토그램과 유사하므로, 안개 제거 기법을 적용한 후 다시 반전시킴으로써 개선된 영상을 생성한다^{(Park et al., 2014)}. 최근에는 딥러닝(deep learning) 기반의 저조도 영상강화 기법이 영상복원에 뛰어난 성능을 보여주고 있다. 이중 RetinexNet은 저조도 영상을 조명(illumination)과 반사(reflectance) 성분으로 구분하는 Retinex 이론에 근거한 딥러닝 기법이다^{(Wei et al., 2018)}. 입력 영상의 저조도 조명성분으로부터 일반 조명성분을 생성하고 반사 성분의 잡음을 제거한 후, 일반 조명성분과 잡음이 제거된 반사 성분을 다시 결합함으로써 저조도 영상을 개선한다. GLADNet은 전체 영상의 조도 추정단계와 영상 상세 재구성단계로 구성된 신경망이다^{(Wang et al., 2018)}. RetinexNet과 유사하게 저조도 영상으로부터 일반적이고 전역적인 조도 성분을 추정하나, 추정과정으로부터 손실된 영상의 상세 정보를 다시 보완함으로써 저조도 영상을 개선한다.

본 연구에서는 시인성이 개선된 저조도 영상을 정량적으로 평가하기 위해 PSNR (Peak Signal-to-Noise Ratio), SSIM (Structural Similarity Index Map), Delta-E 지수들을 사용하였다. 가장 보편적인 영상 품질 평가지수는 MSE (Mean Squared Error)로 기준 영상과 평가 영상 간 화소값 차이를 평균한 제곱근 오차를 산출한다. PSNR은 MSE의 수치적인 오차를 이용하여 기준 영상 대비 화질에 대한 손실 정보를 평가한다. PSNR은 손실이 적은 양질의 영상일수록 높은 수치를 가진다. 무손실 영상은 MSE가 0이므로 정의되지 않는다. SSIM은 영상의 왜곡에 대한 인간의 시각적 화질 차이와 유사도를 측정하기 위해 고안된 지표로, 기준 및 평가 영상 간 차이를 휘도(Luminance), 대비(Contrast), 구조(Structure)인 측면에서 평가한다^{(Wang et al., 2003)}. SSIM은 1에 가까울수록 두 영상 간 유사성이 높고, 0에 가까울수록 유사성이 낮은 것으로 해석한다. Delta-E는 평가 영상의 색상을 평가하지는 지수이다^{(Zang et al., 1997)}. 평가 영상의 RGB 색상을 국제 규격의 표준화된 색상으로 변환하고 기준 영상과의 차이를 이용하여 영상의 품질을 평가한다. Delta-E 값은 클수록 두 색상 간 차이가 큰 것을 의미하며, 1 이하 값은 구별이 어려운 동일 색상, 3과 5 사이의 값은 유사한 색상, 6 이상의 값은 명백히 다른 색상으로 간주한다.

2.3 영상 정합 기법 및 평가

저조도 영상강화 기법이 적용된 지형영상은 시인성이 개선되어 특징점 추출 및 정합 기법의 성능이 향상될 것으로 예상된다. 본 연구에서는 SIFT (Scale-Invariant Feature Transform), SURF (Speed Up Robust Features), ORB (Oriented FAST and Rotated BRIEF), AKAZE (Accelerated KAZE) 기법들을 이용하였다. SIFT는 입력된 영상을 단계적으로 축소하여 크기와 선명도가 다른 영상을 생성하고, 가우시안 연산자 차이(Difference of Gaussian)를 이용하여 영상 스케일에 불변하는 특징점을 검출한다^{(Lowe, 2004)}. SURF는 연산 비용을 감소시키기 위해 크기 조절이 가능한 필터와 적분영상을 이용하여 특징점과 기술자를 생성하는 기법이다^{(Bay et al., 2008)}. 다양한 영상 스케일과 고정된 필터를 사용하는 SIFT와는 달리, SURF는 고정된 영상 스케일의 크기 조절이 가능한 필터를 사용한다는 특징이 있다. 연산량이 높은 SIFT와 SURF의 단점을 개선하기 위해 개발된 ORB는 FAST 코너 검출 기법을 통해 추출된 특징점들의 방향 성분을 계산하고 BRIEF (Binary Robust Independent Elementary Features) 이진 기술자를 이용한다^{(Rublee et al., 2011)}. AKAZE는 FED (Fast Explicit Diffusion)를 사용하여 비선형 스케일 공간을 생성하고 특징점을 추출한다^{(Alcantarilla et al., 2013)}. 로버 탑재 스테레오 카메라 영상으로부터 추출된 특징점들의 정합점을 검출하기 위해 FLANN (Fast Library for Approximate Nearest Neighbors)을 이용하였다. FLANN은 ANN (Approximate Nearest Neighbor)을 이용하여 정합점 들을 찾아주는 기법으로, 근사화된 거리를 이용하여 정합점들을 빠르게 찾을 수 있다^{(Muja and Lowe, 2009)}.

특징점 추출 및 정합 기법들의 성능평가를 위해 특징점 개수, 정상 정합점 개수, 정합 정밀도를 산출하여 비교 분석하였다. 달 영구음영지역의 어둡고 단조로운 지형영상으로부터 정합된 특징점들은 다수의 오정합점들을 포함할 수 있다. 따라서 호모그래피(Homography) 모델과 RANSAC (RANdom SAmple Consensus) 기법을 이용하여 접합점들로부터 오정합점들을 제거하였다. 정합 정밀도는 두 영상으로부터 검출된 정합점 중 오정합점과 정상 정합점의 비율을 계산함으로써 산출하였다.

3.1 저조도 영상강화 기법 적용 및 영상 품질 지수 분석

Fig. 3와 Table 2는 저조도 영상 강화기법의 적용 결과와 영상 품질 지수를 보여준다. 저조도 영상 강화기법은 0.98 lux에서 촬영된 지형영상(Fig. 2(d))을 대상으로 적용하였고, 일반조도 조건에서 촬영된 영상(Fig. 2(c))을 기준으로 영상 품질 지수를 산출하였다. 먼저 육안 분석을 위해 전체 지형영상과 돌을 확대한 부분 영상을 이용하였다. 낮은 조도 조건에서 촬영된 지형영상은 어둡고 대비가 낮아 영상 내 지표면과 지형 객체(돌, 자갈) 위치는 판별할 수 있지만, 개별 객체의 형태와 색상을 명확히 인식할 수 없었다. 하지만, 저조도 영상강화 기법이 적용된 영상들은 결과는 상이하지만, 밝기값이 증가하여 지형 객체 위치와 형태에 대한 관찰이 상대적으로 용이하였다. 전통적인 영상 강화기법인 CLAHE는 영상의 화소값 범위를 늘려줌으로써 밝기와 영상 대비를 증폭시킨다. 따라서 저조도 영상의 밝기값은 개선되었지만, 지표면과 지형 객체가 가지는 색은 복원하지 못해 자연스럽지 못한 한계가 관찰되었다(Fig. 3(a)). Dehaze가 적용된 영상은 밝기와 색상이 동시에 개선된 것을 확인하였다(Fig. 3(b)). 하지만, 바위와 자갈을 확대한 부분 영상에서 열화현상이 고르게 분포된 것을 확인할 수 있었다. 딥러닝 기법인 RetinexNet은 저조도 영상의 밝기값을 개선하였으나 영상의 색상과 잡음을 증폭시켰다(Fig. 3(c)). 이는 저조도 영상으로부터 반사도 성분과 조명성분이 제대로 분리되지 않았고, 반사도 성분이 과하게 추정된 것에 기인한 것으로 보인다. 따라서 기준 영상 대비 지표면과 바위 및 자갈의 색상이 크게 왜곡되었으며, 빨간색의 잡음이 영상 전반에 걸쳐 발생하여 더욱 부자연스러운 영상이 생성되었다. 마지막으로 GLADNet이 적용된 영상은 다른 강화 영상보다 일반조도 영상과 유사한 밝기와 색을 복원하였다. 부분 영상에서 잡음이 관찰되었으나, 다른 강화 영상보다 열상 효과가 현저히 낮은 것을 확인할 수 있었다(Fig. 3(d)).

Table 2는 저조도 영상과 강화 영상들의 품질 지수를 보여준다. PSNR, SSIM, Delta-E를 포함한 평가지수들은 육안 분석과 마찬가지로 강화 영상의 품질이 공통적으로 향상된 것을 보여주고 있다. 먼저 저조도 영상의 PSNR 지수는 7.46인 반면, GLADNet과 Dehaze 영상은 각각 19.83과 19.09로 나타나 영상 품질이 크게 향상된 것을 알 수 있다. 반면 육안 분석에서 색상 왜곡이 크게 나타난 CLAHE 영상은 14.81로 산출되어 13.87인 RetinextNet 보다 근소하게 높은 것을 확인할 수 있었다. 이는 기준 영상 밝기값의 MSE를 이용하여 계산하는 PSNR 지수가 인간이 인지하는 영상 품질을 제대로 반영해주지 못함을 알 수 있었다. SSIM 지수에서 GLADnet 영상은 0.46으로 타 기법보다 월등히 높은 영상 품질 지수가 산출되었다. Dehaze 영상은 0.36으로 두 번째로 높은 SSIM 지수를 가진다. 반면 RetinexNet 영상은 0.17로 저조도 영상과 비슷한 지수가 산출되어 육안 분석과 큰 차이를 보였다. 수치가 낮을수록 영상 품질이 우수한 영상임을 의미하는 Delta-E에서도 GLADNet 영상이 5.98로 가장 낮게 나타나, 색상과 관련된 영상 품질이 가장 높은 것으로 분석되었다. CLAHE와 Dehaze 영상은 각각 7.40과 8.39로 비슷한 지수가 산출되었고, RetinexNet 영상은 10.91로 가장 낮은 지수가 계산되었다.

실험 결과 저조도 영상강화 기법은 모든 지수에서 저조도 영상의 품질을 개선한 것으로 확인되었으나, 딥러닝 기반의 RetinexNet은 색감 왜곡과 잡음으로 인해 영상 품질 개선 효과가 가장 낮았다. 저조도 영상의 시인성 개선을 통한 특징점 추출 및 정합 기법의 성능 향상 효과를 분석하기 위해 GLADNet과 Dehaze 영상을 선택하였다. GLADNet은 정성적인 육안 분석과 모든 정량적 영상 품질 지수에서 저조도 환경에 가장 강인한 강화기법으로 분석되었다. Dehaze는 PSNR과 SSIM에서 두 번째로 높은 품질 지수가 산출되었다. 비록 색상개선 효과를 나타내는 Delta-E 지수는 CLAHE 보다 낮으나, 육안 분석에서는 GLADNet에 이어 저조도 영상의 밝기값과 색상을 크게 개선한 것으로 판단하였다.

Fig. 3. Low Light Image Enhancement Results

3.2 영상 정합기법 적용 결과 및 분석

저조도 영상의 시인성 개선에 의한 특징점 검출 및 정합 기법들의 성능 향상을 평가하기 위해 GLADNet과 Dehaze 영상에서 추출된 특징점 개수와 정상 정합점 개수, 그리고 정합 정밀도를 비교 분석하였다(Table 3). Table 4는 Table 3에서 RANSAC에의해 검출된 정상 정합점을 지형영상과 같이 보여주고 있으며, 특징점 추출 및 정합 기법들의 성능이 강화 영상에 의해 향상된 것을 보여준다. 저조도 영상에서는 SURF가 유일하게 특징점과 정상 정합점을 검출하였다. 하지만 강화 영상에서는 SIFT, SURF, ORB, AKAZE 모두 비약적으로 증가한 특징점을 검출하였고, 정상 정합점 개수 역시 고르게 증가하였다. 특징점 추출 및 정합 기법의 성능은 GLADNet 영상보다 Dehaze 영상에서 더욱 향상되었다. 두 강화 영상에서 가장 많은 개수의 특징점과 정합점을 검출한 ORB는 GLADNet 영상에서 15개의 정합점을 검출하였지만, Dehaze 영상에서 30개의 정합점을 검출하였다. 두 번째로 많은 개수의 정합점을 검출한 AKAZE도 GLADNet 영상에서 10개의 정합점을 검출하였지만, Dehaze 영상에서는 22개의 정합점을 검출하였다. 반면 정합 정밀도는 Dehaze 영상보다 잡음이 적은 GLADNet 영상에서 높게 산출되었다. 가장 높은 정밀도로 정합점을 검출한 SIFT는 Dehaze 영상에서 0.08이었지만, GLADNet 영상에서 0.11로 향상되었다. AKAZE 역시 Dehaze 영상에서 0.06의 정밀도가 산출된 반면, GLADNet 영상에서는 0.08의 정밀도가 산출되었다. 특징점 추출 및 정합 기법 중 SURF는 저조도 영상에서 유일하게 정합점을 검출하여 어두운 조도 환경에 강인한 특징을 보여주었다. 하지만 강화 영상에서 특징점 검출 개수는 소폭 증가하여 SIFT와 함께 가장 적은 개수의 정합점을 검출하였고, 정합 정밀도는 오히려 감소하였다.