2.1 개요

건물 내부의 야간 조도 환경에서 저조도 영상강화 기법 적용에 따른 순찰 영상의 시인성 개선과 사람 탐지 성능 향상 효과를 분석하기 위한 연구 흐름은 Fig. 1과 같다. 먼저, 실험 환경 구축 단계에서는 건물 내부의 야간 조도 환경에서 실내 순찰 영상을 취득하였으며, 실시간 사람 탐지를 위해 경량화된 구조로 로봇의 제한된 연산 자원에서도 빠른 추론을 지원하는 YOLOv8n-seg 모델을 선정하였다. 저조도 영상강화 기법 평가 단계에서는 실내 저조도 환경에 강인한 영상강화 기법을 선정하였다. 다양한 저조도 영상강화 기법(GLADNet, KinD, TBEFN, LLFormer, EnlightenGAN, Zero-DCE)을 실내 순찰 영상에 적용하였고, 육안에 의한 정성적 평가와 함께 정량적인 영상 평가 지표를 산출하여 원본 영상과 비교 분석하였다. 마지막으로, 저조도 영상의 시인성 개선에 따른 사람 탐지 성능 향상을 평가하기 위해, YOLOv8n-seg 모델의 탐지 정확도와 탐지 속도를 분석하여 순찰 로봇의 실시간 사람 탐지 가능성을 검토하였다.

Fig. 1. Research Flow

2.2 저조도 영상강화 기법 및 평가 지표

실내 야간 순찰 로봇이 촬영한 영상의 색상 및 밝기를 복원하고 객체 탐지 성능을 향상시키기 위해 GLADNet, KinD, TBEFN, LLFormer, EnlightenGAN, Zero-DCE를 사용하였다. GLADNet은 인코더-디코더 네트워크를 통해 영상의 전역적인 조도를 추정하고, 손실된 영상의 세부 정보를 재구성함으로써 저조도 영상의 품질을 개선한다^{(Wang et al., 2018)}. KinD는 Retinex 원리에 기반한 모델로, 입력 영상을 반사 성분과 조명 성분으로 분해한 후, 각 성분을 강화하고 다시 결합하여 저조도 영상을 개선한다^{(Zhang et al., 2019)}. TBEFN은 두 개의 브랜치에서 다양한 조명 수준 간의 변환 관계를 각각 추정하여 강화 영상을 생성하고, 결합함으로써 저조도 영상을 개선한다^{(Lu and Zhang, 2020)}. LLFormer는 계층적 인코더-디코더 구조의 트랜스포머를 이용하여 저조도 영상을 개선한다^{(Wang et al., 2023)}. EnlightenGAN은 GAN(Generative Adversarial Networks) 기반의 저조도 영상강화 기법으로 앞선 기법들과 달리 학습을 위해 저조도 영상과 일반 조도 영상 쌍이 필요 없다. 어텐션 U-net 생성자를 통해 어두운 영역을 강조하고, 전역-국소 판별자를 사용하여 다양한 조명 조건을 가진 입력 영상 품질을 효과적으로 개선한다^{(Jiang et al., 2021)}. Zero-DCE는 모델 학습 시 참조 영상을 필요로 하지 않으며, 입력 영상으로부터 채널별 픽셀 단위의 최적 곡선을 추정하고 반복적인 픽셀 단위의 조정을 수행하여 저조도 영상을 개선한다^{(Guo et al., 2020)}.

저조도 영상강화 기법의 품질 개선 효과를 정량적으로 평가하기 위해 영상 평가 지표를 사용하였다. 영상 품질 평가 방법에는 전체 참조(Full-Reference), 무 참조(No-Reference), 부분 참조(Reduced-Reference) 방식이 있다^{(Bosse et al., 2017)}. 전체 참조 방식은 기준 영상을 참조하여 대상 영상의 품질을 평가하며, 무 참조 방식은 기준 영상 없이 대상 영상만을 이용하여 품질을 평가한다. 부분 참조 방식은 전체 참조 및 무 참조 방식의 중간 단계로, 기준 영상의 일부 정보를 이용하여 대상 영상의 품질을 평가한다. 야간 순찰 로봇의 경우 기준 영상을 취득하기 어려우므로, 본 연구에서는 기준 영상이 필요없는 무 참조 방식의 BRISQUE (Blind/Referenceless Image Spatial Quality Evaluator)와 NIQE(Natural Image Quality Evaluator) 지표를 이용하였다. BRISQUE와 NIQE는 왜곡이 없는 깨끗한 영상의 통계적 특성과 대상 영상의 통계적 특성을 비교하여 영상의 품질을 평가하며, 값이 작을수록 양질의 영상임을 의미한다. BRISQUE는 영상에 MSCN(Mean Subtraction and Contrast Normalization) 처리를 통해 계산된 특성을 사전 학습된 SVR(Support Vector Regressor)에 입력하여 영상의 품질을 예측한다^{(Mittal et al., 2012a)}. NIQE는 MSCN 처리 후, 일정한 크기의 패치로부터 통계적 특성인 벡터와 공분산을 계산한다. 이후 자연 영상에서 도출된 벡터 및 공분산과의 유사도를 계산하여 입력 영상의 품질을 예측한다^{(Mittal et al., 2012b)}.

2.3 YOLOv8n-seg 기반 객체 탐지 및 평가 지표

YOLO는 대표적인 단일 단계 검출기(one-stage detector)로, 영상에서 객체의 위치와 종류를 동시에 계산하여 실시간 객체 탐지에 적합하다. YOLO 모델의 네트워크는 백본(backbone), 넥(neck), 헤드(head)의 세 가지 요소로 구성된다. 백본은 합성곱 연산을 통해 입력 영상에서 다양한 스케일의 특징을 추출하고, 넥은 다양한 스케일의 객체 탐지를 위해 특징을 병합한다. 헤드는 최종적으로 객체의 위치와 클래스 확률을 예측한다. YOLOv8은 YOLOv5와 유사한 백본을 활용하며, 네트워크 구조를 개선하고 앵커 프리(anchor-free) 방식을 사용함으로써 기존 모델의 탐지 속도와 정확도를 크게 향상시켰다^{(Terven et al., 2023)}. YOLOv8은 활용 목적에 따라 YOLOv8, YOLOv8-seg, YOLOv8-pose, YOLOv8-obb, YOLOv8-cls로 구분되며, 각 모델은 탐지, 분할, 포즈, 방향 탐지, 분류에 특화되어 있다^{(Ultralytics, 2023)}. 본 연구에서는 객체의 위치, 형태, 크기를 정확하게 파악하기 위해, 객체를 바운딩 박스 형태로 탐지하고 분류하며 마스크를 생성할 수 있는 YOLOv8-seg 모델 중, 순찰 로봇의 제한된 연산 성능을 고려하여 파라미터 개수와 연산량이 적은 YOLOv8n-seg 모델을 사용하였다.

본 연구에서는 YOLOv8n-seg 모델의 성능 평가 지표로 탐지 정확도 측면에서 F1 score와 AP(Average Precision)를 사용하였고, 탐지 속도 측면에서 FPS(Frames Per Second)를 사용하였다. F1 score는 정밀도(precision)와 재현율(recall)의 조화 평균으로 종합적인 모델 성능을 보여준다(Eq. (1)). 정밀도는 모델이 양성으로 예측한 것 중 실제 양성인 것의 비율이며, 재현율은 실제 양성인 것 중 모델이 양성으로 정확하게 예측한 것의 비율이다. F1 score는 0에서 1 사이의 값을 가지며, 1에 가까울수록 탐지 정확도가 높다는 것을 의미한다.

where,

$Precision=\dfrac{True \;Positive}{True \;Positive+False \;Positive}$,

$Recall=\dfrac{True \;Positive}{True \;Positive+False\; Negative}$

AP는 객체 탐지 모델의 성능을 평가하는 지표로 IoU(Intersection over Union) 임계값을 설정하여 산출된다. IoU는 모델이 예측한 영역(predict)과 실제 영역(true) 간의 중첩도를 나타내며, 예측 영역과 실제 영역의 합집합 중 예측 영역과 실제 영역의 교집합의 비율이다(Eq. (2)).

AP50은 IoU 임계값이 0.5일 때 측정한 값이며, AP50-95는 IoU 임계값을 0.5에서 0.95까지 0.05 간격으로 증가시키면서 계산한 AP 값의 평균이다. AP50과 AP50-95는 0에서 1 사이의 값을 가지며, 값이 클수록 모델의 탐지 정확도가 높다는 것을 의미한다.

FPS는 1초당 처리할 수 있는 영상 프레임의 개수를 나타내며, FPS 값이 클수록 탐지 속도가 빠르다는 것을 의미한다. FPS는 응용 분야에 따라 요구되는 처리 속도가 다양하며, 영상 감시 분야에서는 일반적으로 10~15 FPS가 사용된다^{(IPVM, 2021)}.

3.1 실험 환경 구축

본 실험은 Intel(R) Core(TM) i9-12900F CPU@ 2.40 GHz, 128GB RAM, NVIDIA GeForce RTX 2060 그래픽 카드, Windows 10(64bit) 환경에서 수행되었다. 먼저, 데이터 라벨링 플랫폼인 로보플로우^{(Roboflow, 2025)}에서 13,306장의 인물 사진을 수집하고 학습 데이터를 구축하였다. 수집한 데이터를 7:3 비율로 나누어 YOLOv8n-seg 모델의 학습과 검증에 활용하였다. 모델 학습 하이퍼 파라미터로 영상 크기는 640 × 640, 배치 사이즈는 16, 에포크는 200회를 설정하였다. 학습된 모델을 평가한 결과, F1-score는 0.82, AP50은 0.85, AP50-95는 0.61로 측정되었다.

각 실험 공간에서 광학 영상을 취득하기 위해 4족 보행 로봇에 장착된 광학 카메라와 LED 조명을 이용하였다(Fig. 2). Table 1은 영상 취득에 사용된 카메라의 사양을 보여주며, 카메라의 노출시간(exposure time), 이득값(gain), 화이트 밸런스(white balance)는 각 실험 공간에 따라 자동으로 최적화된 값을 사용하였다. 실내 공간은 조명의 위치와 사용 여부에 따라 상이한 조도 환경이 형성되며, 밝은 조명 환경(bright light), 흐릿한 조명 환경(dim light), 부분 조명 환경(partial light), 조명이 거의 없는 환경(dark)으로 구분하였다(Fig. 3).

Fig. 3(a)는 실내 조명을 모두 사용하여 가장 밝은 환경으로, 사람을 인식하기 용이하다. Fig. 3(b)은 Fig. 3(a)보다 조도가 낮지만, 벽에 반사된 LED 조명으로 인해 근거리에 있는 사람을 쉽게 관찰할 수 있다. Fig. 3(c)는 어둡지만, 부분적으로 밝은 공간이 존재하며, 사람의 형태를 파악할 수 있으나 경계가 흐릿하다. Fig. 3(d)는 가장 어두우면서 사람의 크기가 작게 나타나, 형태와 위치를 명확하게 판별하기 어렵다.

Fig. 2. A Quadruped Robot Equipped with a Camera

Fig. 3. Test Sites. (a) Bright Light, (b) Dim Light, (c) Partial Light, (d) Dark

3.2 저조도 영상의 시인성 개선 평가

Table 2는 저조도 영상강화 기법 적용 결과를 보여준다. 원본 영상은 조도가 낮아짐에 따라 밝기와 대비가 감소하여 사람을 식별하기 어려웠으며, 일부 어두운 영역에서는 미세한 붉은색 노이즈가 관찰되었다. 저조도 영상강화 기법을 적용한 결과, 어두운 영역의 픽셀값이 증폭되어 다수의 영상에서 붉은색 노이즈가 두드러지게 나타났으나, 밝기와 대비가 개선되어 가시거리가 증가함에 따라 사람 인식이 수월해졌다. GLADNet은 영상의 색상과 밝기를 동시에 개선하는 데 효과적이었으나, 어두운 영상의 붉은색 노이즈를 증폭시켰다. KinD는 다른 기법보다 노이즈가 적고, 밝기와 색상을 균형 있게 개선하였다. TBEFN은 어두운 영상의 밝기와 대비를 고르게 향상시켰으며, 밝은 영상의 픽셀값 또한 크게 증가시켰다. LLFormer는 색상 복원 효과가 뛰어났으나, 밝기 개선에 한계가 있는 것으로 관찰되었다. EnlightenGAN은 저조도 영상의 밝기를 증가시켰으나, 지나치게 강화하여 색상을 왜곡시켰다. Zero-DCE는 시인성을 향상시켰으나, 밝기와 대비를 과도하게 증가시켜 부자연스러운 영상을 생성하였다.

Table 3은 저조도 강화 영상의 평균 영상 평가 지표를 보여준다. BRISQUE와 NIQE에서 Zero-DCE를 제외한 모든 강화 영상의 품질이 개선된 것으로 나타났다. BRISQUE에서 원본 영상은 29.04인 반면, TBEFN 영상은 20.24로 가장 낮은 값이 산출되어 영상 품질이 가장 크게 개선된 것으로 나타났다. EnlightenGAN과 KinD 영상은 각각 20.73과 21.81로 TBEFN에 이어 우수한 영상 품질을 보였다. 하지만, 육안 분석에서 부자연스러운 영상이 관찰된 EnlightenGAN이 BRISQUE에서 두 번째로 우수한 기법으로 나타났다. 이는 BRISQUE가 사람의 시각적 품질 판단과 다소 차이가 있음을 보여준다. 한편, NIQE에서는 KinD 영상이 5.27로 가장 낮은 값이 산출되어 영상 품질이 가장 효과적으로 개선된 것으로 나타났다. LLFormer와 TBEFN 영상은 각각 6.10, 6.79로 계산되어 KinD 영상에 이어 영상 품질이 고르게 개선된 것으로 분석되었다.

저조도 영상의 시인성 개선에 따른 사람 탐지 성능 향상을 평가하기 위해 KinD, TBEFN, LLFormer 영상을 선정하였다. KinD와 TBEFN은 육안 분석과 평가 지표에서 모두 우수한 결과를 보이며, 다양한 저조도 환경에서 강인한 성능을 나타냈다. LLFormer는 두 기법에 이어 우수한 영상 품질 지표가 산출되었으며, 육안 분석에서 저조도 영상의 색상을 효과적으로 복원하는 특징을 보였다.

Table 2. Low-Light Image Enhancement Results

3.3 저조도 강화 영상 기반 사람 탐지 성능 평가

저조도 강화 영상의 시인성 개선에 따른 사람 탐지 성능 향상을 평가하기 위해 KinD, TBEFN, LLFormer 영상에서 F1-score, AP50, AP50-95를 비교 분석하였다. Table 4는 원본 영상과 강화 영상에서의 YOLOv8n-seg 모델 적용 결과를 보여준다. F1 score에서 원본 영상은 72.7 %인 반면, KinD와 LLFormer에서는 각각 96.3 %와 92.3 %가 산출되어 탐지 정확도가 크게 향상되었음을 보여준다. 하지만, TBEFN은 72.7 %로, 원본 영상과 동일한 성능을 보여주었다. AP50에서 KinD는 96.4 %가 산출되어 가장 높은 정확도를 보였고, LLFormer는 92.8 %가 산출되어 두 번째로 높은 정확도를 보였다. 반면, TBEFN은 탐지 성능이 유지된 것으로 나타났다. AP50-95에서 KinD와 LLFormer는 69.5 %, 64.3 %로 높은 탐지 정확도가 산출되었으나, TBEFN은 60.5 %로 원본 영상(61.2 %)보다 낮은 탐지 정확도가 산출되었다.

Table 5는 YOLOv8n-seg 모델 적용 결과를 시각적으로 보여준다. 원본 영상의 경우 밝은 환경에서는 사람의 바운딩 박스와 마스크를 정확히 탐지할 수 있었으나, 조도가 낮아질수록 객체 간 경계가 흐릿하여 사람을 정확히 탐지하지 못하였다. 반면, KinD와 LLFormer는 저조도 영상의 시인성을 개선함으로써 낮은 조도 환경에서도 높은 탐지 성능을 나타냈고, 실제 사람의 형상과 유사한 마스크를 생성하였다. 특히, 가장 어두운 환경에서 원본 영상은 사람을 탐지하지 못하였으나, KinD와 LLFormer 영상은 의자와 중첩된 사람을 제외한 모든 사람을 정확하게 탐지하였다. 하지만, TBEFN 영상은 낮은 탐지 성능이 나타났다. 밝은 환경에서는 과도한 강화로 인해 영상의 세부 정보가 손실되어 사람 한 명을 탐지하지 못하였고, 가장 어두운 환경에서는 시인성이 개선되었음에도 사람 탐지에 실패하였다. 이는 영상의 시인성을 개선하는 과정에서 손실된 영상의 세부 정보가 YOLOv8n-seg 모델의 탐지 성능에 부정적인 영향을 미친 것으로 판단되며, 기법에 따라 탐지 성능이 크게 달라질 수 있음을 보여준다.

실험 결과 KinD가 모든 지표(F1 score, AP50, AP50-95)에서 가장 우수한 성능을 나타냈고, LLFormer가 두 번째로 우수한 탐지 성능을 나타냈다. 두 기법은 건물 내부의 야간 조도 환경에서 YOLOv8n-seg 모델의 탐지 성능을 효과적으로 개선한 것으로 확인되었다. 하지만, TBEFN은 평가 지표에서 원본 영상과 동일하거나 낮은 값을 기록하여 YOLOv8n-seg 모델의 성능이 저하된 것으로 분석되었다.

야간 순찰 영상에서 실시간 사람 탐지 가능성을 검토하기 위해 시인성과 탐지 성능이 크게 향상된 KinD와 LLFormer 영상을 대상으로 각 영상강화 기법의 시인성 개선과 YOLOv8n-seg 모델의 사람 탐지 과정을 모두 포함한 전체 처리 속도를 분석하였다(Table 6). 저조도 영상강화 기법이 적용되지 않은 경우, 영상당 0.011초가 소요되며 90.91 FPS의 탐지 속도를 보였다. LLFormer 기법은 2.62 FPS의 추론 속도를 보이며, 순찰 로봇의 실시간 탐지에 적합하지 않은 것으로 분석되었다. 반면, 가장 우수한 탐지 성능을 보였던 KinD 기법은 13.89 FPS의 탐지 속도를 보여 순찰 로봇의 실시간 탐지에 활용할 수 있을 것으로 판단된다.

Table 5. Human Detection Results of the YOLOv8n-seg with Image Enhancement Methods