영상의 대각선 정보를 이용한 위성영상 해상도 향상 기법

1. 서론

광학 카메라를 장착한 위성의 공간해상도(ground sample distance, GSD)는 다음과 같이 표시될 수 있다.

이론상으로는 카메라의 초점거리만 길게 하면 같은 구경을 가지는 카메라를 가지고도 해상도를 얼마든지 좋게 할 수 있겠지만, 실제적으로는 렌즈 가공의 한계로 인한 수차, 빛의 산란 및 회절 등으로 인해 카메라 렌즈의 직경(D)과 카메라 길이(촛점거리 F)의 비는 일정한 값 이내에서 제한될 수밖에 없으며, 최근에 만들어지는 세계적 수준의 위성들의 초점거리와 카메라 직경의 비(F/D)는 15 – 20 정도의 값을 가지고 만들어지고 있는 추세이다[1].

위성의 카메라의 직경과 고도에 따른 해상도의 비는 변화될 수 없는 거의 당연한 값으로 여겨져 왔으나, 최근에는 카메라 검출기의 성능 향상 덕분에 카메라의 한 픽셀 사이즈가 점점 작아지고 감광도도 좋아졌기 때문에, 요즘은 50 cm 정도 구경의 카메라로도 해상도 50 cm급 영상획득도 가능해지고 있다[2].

그런데 이렇게 획득된 특정 해상도의 영상을, 지상처리를 통해 MTF(modulation transfer function) 저하 없이 향상시킬 수 있는 방법이 유럽에서 개발되어 일부 위성에 이미 적용되고 있다(다목적 3호와 거의 비슷한 시기에 개발된 플레이아데스[pleiades] 위성의 경우, 위성 고도 및 카메라의 직경 및 초점거리도 다목적 3호와 유사하였고, 당초 해상도는 개발 초에 70 cm급으로 알려져 있었으나, 어느 날 갑자기 해상도 50 cm급 위성으로 소개가 되더니, 실제로도 70 cm급 영상은 판매하지 않으며, 처리된 50 cm급 영상만을 판매하고 있다).

이 기술의 개념은 대각선 정보를 이용하여 2제곱근으로 나눈 만큼(약 1.4배 해상도 향상) 좋은 영상을 얻는다는 개념이었는데, 이 기술에 대해서는 논문이나 특허 등을 출원한 것은 없었으며, 다만 간단한 개념 및 적용방법에 대해서 몇 줄 정도의 개념만이 설명되어 있었다[3].

이 간단한 개념만을 가지고, 해상도 향상을 시키려고 하면, 개념은 간단하고 쉽게 이해할 수 있을 것 같으나, 실제 적용하는 데 있어서는, 영상을 45도 회전시켜 재배열하는 과정에서 계산 시간이 많이 걸리게 되고, 오히려 영상의 왜곡이 발생하게 될 수밖에 없으며, 주파수 도메인으로 변환시켜 노이즈를 제거하는 마땅한 방법을 쉽게 찾아낼 수는 없게 되어 적용하는 데는 어려움이 많게 된다.

본 논문에서는 항우연에서 개발한, 영상의 왜곡 없이 해상도를 1.4배 향상시킬 수 있는 기술 및 기법에 대해 논하고자 한다. 이 기술 및 기법은 “영상 해상도 향상 방법 및 장치(Method and Apparatus for Image Resolution Enhancement)”라는 제목으로 현재 특허 출원 중에 있는 기술이기도 하다[4].

2. 해상도 향상 개념 및 적용 방법(모델)

Fig. 1에서 보는 것과 같이, 4개의 작은 정사각형으로 이루어진 원래의 해상도에서, 대각선에 있는 정보를 이용해서 45도 회전된 내접한 마름모꼴(작은 정사각형 2개 크기)의 해상도를 가지게 하는 간단한 개념이지만, 전술한 것처럼 회전시켜서 재배열하는 데서 발생하는 왜곡이나 카메라의 특성에 따른 변환 노이즈를 제거하는 방법은 찾아내기가 쉽지 않게 된다.

Fig. 1. The concept of obtaining a 1.4 times improved image in a rhombus without distortion using diagonal information.

Download Original Figure

본 논문에서 제시하고자 하는 것은 물리적 개념을 이용하여, 원 영상의 왜곡이나 성능 저하없이 해상도를 1.4배 증가시킬 수 있는 구체적 실현 방법 및 이에 대한 검증이다. 영상을 45도 회전시키게 되면, 회전시키는 과정에서 수치적으로 원영상의 왜곡과 처리속도의 지연이 발생할 수 있다. 이에, 발상을 전환하여, 영상 처리 시에 영상을 45도 돌리지 않고 인접한 4점의 영상 정보를 이용하여 카메라 검출기의 특성에 맞춰 확대 및 재배열을 한다면, 이것은 영상을 45도로 돌리는 것과 동일한 물리적 개념을 가질 수 있게 된다. 이러한 개념을 이용하여, 영상의 왜곡 없이 해상도를 향상시킬 수 있는 Fig. 2와 같은 향상 기법 방안을 고안하여 적용하였다.

Fig. 2. 1.414 × image resolution improvement processing schematic and steps.

Download Original Figure

여기서 중요한 점은 CR(Catmull-Rom) Spline 보간 기법과 B Spline 보간 기법을 적용할 때 함수는 검보정을 통해 확인된 위성 카메라의 특성 함수를 사용하는 것이다. 위의 처리단계를 좀 더 구체적으로 설명하면 아래와 같다.

영상 입력부(input image)는 MTF 보상(modulation transfer function compensation) 처리가 되어 있지 않은 영상을 입력 받게 된다. MTF 보상부(MTF compensation)는 영상 입력부에 입력된 영상에 대해서 MTF 보상을 수행할 수 있다. MTF 보상은 영상의 MTF를 증진시키는 것으로, MTF의 측정과 영상 복원의 두 단계로 진행된다. MTF 보상을 위해서는 MTF의 정확한 측정이 선행되어야 한다. MTF는 영상의 입력 신호에 따라 에지(edge) 방법과 펄스 (pulse) 방법을 사용해서 측정한다.

이중 에지 방법은 영상에서 대비가 분명하게 구분되는 곳을 기준으로 영상 내의 경계선을 찾고, 경계선에 대한 시스템의 응답인 ESF(edge spread function)를 통해 MTF를 추정하는 방법이다. 원 영상에서 검출된 에지를 기준으로 각 점들을 지나는 수선을 따라서 ESF를 획득하고, ESF를 미분하여 LSF(line spread function)를 얻은 후, LSF를 푸리에 변환(Fourier transform)하여 MTF를 얻게 된다.

영상 확대부(constant zooming)는 영상에 CR 스플라인(spline) 보간 기법을 적용하여 영상을 확대할 수 있다. 영상 확대부에서 처리 대상 영상이 위성 영상인 경우, 위성 설계 해상도의 1.414배로 영상을 확대, 즉 constant zooming 할 수 있다.

리샘플링부(resampling)는 영상에 B-스플라인(B-Spline) 보간 기법을 적용하여 영상을 재배열(resampling)하여 목표(수행하고자 하는) 해상도로 확대할 수 있다.

CR 스플라인 보간 기법과 B-스플라인 보간 기법을 적용할 때 사용되는 함수는 위성 영상 검보정을 통해 확인된 위성 카메라의 카메라 특성 함수를 사용할 수 있다. 앞서 MTF 보상 과정에서 구해진 MTF, ESF, LSF를 이용한 검보정 과정을 통해 위성 카메라의 특성 함수를 구할 수 있다.

디콘볼루션부(De-Convolution)는 CR 스플라인 보간기법과 B-스플라인 보간기법을 적용한 영상에 대해서 디콘볼루션을 수행하여 선명도를 향상시킬 수 있다. 이를 위해 디콘볼루션부에서는 선명도를 향상시키는 MFT 커널(kernel)을 이용할 수 있다.

3. 결과

지금까지 기술한 바와 같이, CR 스플라인 보간 기법과 B-스플라인 보간 기법을 다목적 3A호의 위성 영상에 적용시키고, 그 결과의 확인을 위해 프랑스의 Salon과 중국의 Baotou 에지 타겟을 촬영한 영상에서 영상의 ESF과 LSF, 그리고 표준화된 주파수에 대한 MTF 값을 측정하여, CR 스플라인 보간 기법과 B-스플라인 보간 기법에 적용되는 계수를 구하였다.

Fig. 3은 본 논문에서 적용된 CR 스플라인 보간 기법의 계수를 나타낸 것이고, Fig. 4는 적용된 B 스플라인 보간 기법의 계수를 나타낸 것이다. Fig. 5와 Fig. 6은 중국의 Baotou와 프랑스의 Salon 검보정 에지 타겟을 촬영한 영상을 제안된 영상 해상도 향상 방법을 적용하여 처리한 결과를 제시한 것이다.

Fig. 3. Coefficients of applied CR spline interpolation. CR, Catmull-Rom.

Download Original Figure

Fig. 4. Coefficients of applied B-spline interpolation.

Download Original Figure

Fig. 5. Results of improving the resolution of the Baotou edge targeted image.

Download Original Figure

Fig. 6. Results of improving the resolution of the Salon edge targeted image.

Download Original Figure

향상된 영상의 ESF과 LSF, 그리고 표준화된 주파수에 대한 MTF 값을 측정한 결과를 보면, 위의 알고리즘을 이용하여 해상도 향상을 한 경우, 나타나는 특성은 적용된 CR Spline 보간 기법과 B Spline 보간 기법의 함수와 유사한 ESF과 LSF 특성을 가지고 있으며, MTF 값도 원영상에 비해 저하 없이 해상도 행상이 이루어졌음을 확인할 수 있다.

Fig. 7은 55 cm 원영상과 해상도 향상 알고리즘을 통해 얻어진 38 cm 영상을 비교한 그림으로, 55 cm 원영상에서는 식별되지 않았던 사선 부분 등이 명확히 식별되는 것을 볼 수 있다.

Fig. 7. Comparison between 55 cm original image and 38 cm image obtained through resolution enhancement algorithm.

Download Original Figure

현재 개발된 기법은 영상당 처리속도가 10∼20분 이내에 처리가 완료될 수 있는 기법이며, 현재 적용된 CR Spline 보간 기법과 B Spline 보간 기법의 계수는 3A 영상에 적용된 값이며, 이 값들은 향후 더 최적화되어 바뀔 수도 있다.

4. 결론

지금까지 영상의 대각선 정보를 이용, MTF의 저하 없이 지상처리를 통해 해상도를 1.414배 향상시킬 수 있는 해상도 향상 기법이 개발되어 다목적 3A호 영상에 대해서 성공적으로 적용되었다. 적용된 방법은 영상을 45도 돌리지 않고도 인접한 4점의 영상정보를 이용하여 카메라의 특성에 맞게 확대 및 재배열을 함으로써, 영상을 45도 실제 돌리는 것과 동일한 물리적 개념을 적용할 수 있고, 원 영상의 왜곡이나 성능 저하 없이 해상도를 1.4배 증가시킬 수 있는 것을 확인할 수 있었다.