Journal of Space Technology and Applications
The Korean Space Science Society
논문

영상의 대각선 정보를 이용한 위성영상 해상도 향상 기법

최석원1,*https://orcid.org/0000-0002-3352-3102, 정재헌1https://orcid.org/0000-0003-2540-600X, 서두천1https://orcid.org/0000-0001-7229-2338, 이동한1https://orcid.org/0000-0002-3853-9816
SeokWeon Choi1,*https://orcid.org/0000-0002-3352-3102, JaeHeon Jeong1https://orcid.org/0000-0003-2540-600X, DooChun Seo1https://orcid.org/0000-0001-7229-2338, DongHan Lee1https://orcid.org/0000-0002-3853-9816
1한국항공우주연구원
1Korea Aerospace Research Institute, Daejeon 34133, Korea
*Corresponding author : SeokWeon Choi, Tel : +82-42-860-2453, E-mail : schoi@kari.re.kr

© Copyright 2021 The Korean Space Science Society. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Mar 03, 2021; Revised: Mar 21, 2021; Accepted: May 03, 2021

Published Online: May 31, 2021

요 약

본 논문에서는 영상의 대각선 정보를 이용하여 원영상의 왜곡이나 성능저하 없이 해상도를 1.4배 증가시킬 수 있는 기술 및 기법에 대해 논하고자 한다. 적용된 방법은 영상을 45도 돌리지 않고도 인접한 4점의 영상정보를 이용하여 카메라의 특성에 맞게 확대 및 재배열을 함으로써, 영상을 실제로 45도 돌리는 것과 동일한 물리적 개념을 적용할 수 있고, 원 영상의 왜곡이나 성능 저하 없이 해상도를 1.4배 증가시킬 수 있는 구체적 실현 방법 및 이에 대한 실증이다.

Abstract

In this paper, we will discuss techniques that can increase the resolution by 1.4 times without distortion or performance degradation of the original image, using diagonal information of the image. The applied method is to use the image information of 4 adjacent points without actual rotating the image by 45 degrees and enlarge and rearrange it according to the characteristics of the camera, so that the same physical concept as the actual 45 degrees can be applied. This is a concrete realization method that can improve the resolution by 1.4 times without deterioration of performance and a demonstration of this result.

Keywords: 해상도 향상; 위성영상; 왜곡; 성능저하
Keywords: increase the resolution; satellite image; distortion or performance degradation

1. 서론

광학 카메라를 장착한 위성의 공간해상도(ground sample distance, GSD)는 다음과 같이 표시될 수 있다.

공간해상도 ( GSD ) = ( 위성과 촬영 목표물의 거리 ) × ( 카메라 픽셀 ) / 카메라 초점거리
(1)

이론상으로는 카메라의 초점거리만 길게 하면 같은 구경을 가지는 카메라를 가지고도 해상도를 얼마든지 좋게 할 수 있겠지만, 실제적으로는 렌즈 가공의 한계로 인한 수차, 빛의 산란 및 회절 등으로 인해 카메라 렌즈의 직경(D)과 카메라 길이(촛점거리 F)의 비는 일정한 값 이내에서 제한될 수밖에 없으며, 최근에 만들어지는 세계적 수준의 위성들의 초점거리와 카메라 직경의 비(F/D)는 15 – 20 정도의 값을 가지고 만들어지고 있는 추세이다[1].

위성의 카메라의 직경과 고도에 따른 해상도의 비는 변화될 수 없는 거의 당연한 값으로 여겨져 왔으나, 최근에는 카메라 검출기의 성능 향상 덕분에 카메라의 한 픽셀 사이즈가 점점 작아지고 감광도도 좋아졌기 때문에, 요즘은 50 cm 정도 구경의 카메라로도 해상도 50 cm급 영상획득도 가능해지고 있다[2].

그런데 이렇게 획득된 특정 해상도의 영상을, 지상처리를 통해 MTF(modulation transfer function) 저하 없이 향상시킬 수 있는 방법이 유럽에서 개발되어 일부 위성에 이미 적용되고 있다(다목적 3호와 거의 비슷한 시기에 개발된 플레이아데스[pleiades] 위성의 경우, 위성 고도 및 카메라의 직경 및 초점거리도 다목적 3호와 유사하였고, 당초 해상도는 개발 초에 70 cm급으로 알려져 있었으나, 어느 날 갑자기 해상도 50 cm급 위성으로 소개가 되더니, 실제로도 70 cm급 영상은 판매하지 않으며, 처리된 50 cm급 영상만을 판매하고 있다).

이 기술의 개념은 대각선 정보를 이용하여 2제곱근으로 나눈 만큼(약 1.4배 해상도 향상) 좋은 영상을 얻는다는 개념이었는데, 이 기술에 대해서는 논문이나 특허 등을 출원한 것은 없었으며, 다만 간단한 개념 및 적용방법에 대해서 몇 줄 정도의 개념만이 설명되어 있었다[3].

  1. 영상을 1.4배 확대

  2. 영상을 45도 회전시켜 재배열(resampling)

  3. 영상데이터를 주파수 도메인으로 변환시켜 노이즈 제거

이 간단한 개념만을 가지고, 해상도 향상을 시키려고 하면, 개념은 간단하고 쉽게 이해할 수 있을 것 같으나, 실제 적용하는 데 있어서는, 영상을 45도 회전시켜 재배열하는 과정에서 계산 시간이 많이 걸리게 되고, 오히려 영상의 왜곡이 발생하게 될 수밖에 없으며, 주파수 도메인으로 변환시켜 노이즈를 제거하는 마땅한 방법을 쉽게 찾아낼 수는 없게 되어 적용하는 데는 어려움이 많게 된다.

본 논문에서는 항우연에서 개발한, 영상의 왜곡 없이 해상도를 1.4배 향상시킬 수 있는 기술 및 기법에 대해 논하고자 한다. 이 기술 및 기법은 “영상 해상도 향상 방법 및 장치(Method and Apparatus for Image Resolution Enhancement)”라는 제목으로 현재 특허 출원 중에 있는 기술이기도 하다[4].

2. 해상도 향상 개념 및 적용 방법(모델)

Fig. 1에서 보는 것과 같이, 4개의 작은 정사각형으로 이루어진 원래의 해상도에서, 대각선에 있는 정보를 이용해서 45도 회전된 내접한 마름모꼴(작은 정사각형 2개 크기)의 해상도를 가지게 하는 간단한 개념이지만, 전술한 것처럼 회전시켜서 재배열하는 데서 발생하는 왜곡이나 카메라의 특성에 따른 변환 노이즈를 제거하는 방법은 찾아내기가 쉽지 않게 된다.

jsta-1-1-41-g1
Fig. 1. The concept of obtaining a 1.4 times improved image in a rhombus without distortion using diagonal information.
Download Original Figure

본 논문에서 제시하고자 하는 것은 물리적 개념을 이용하여, 원 영상의 왜곡이나 성능 저하없이 해상도를 1.4배 증가시킬 수 있는 구체적 실현 방법 및 이에 대한 검증이다. 영상을 45도 회전시키게 되면, 회전시키는 과정에서 수치적으로 원영상의 왜곡과 처리속도의 지연이 발생할 수 있다. 이에, 발상을 전환하여, 영상 처리 시에 영상을 45도 돌리지 않고 인접한 4점의 영상 정보를 이용하여 카메라 검출기의 특성에 맞춰 확대 및 재배열을 한다면, 이것은 영상을 45도로 돌리는 것과 동일한 물리적 개념을 가질 수 있게 된다. 이러한 개념을 이용하여, 영상의 왜곡 없이 해상도를 향상시킬 수 있는 Fig. 2와 같은 향상 기법 방안을 고안하여 적용하였다.

jsta-1-1-41-g2
Fig. 2. 1.414 × image resolution improvement processing schematic and steps.
Download Original Figure

여기서 중요한 점은 CR(Catmull-Rom) Spline 보간 기법과 B Spline 보간 기법을 적용할 때 함수는 검보정을 통해 확인된 위성 카메라의 특성 함수를 사용하는 것이다. 위의 처리단계를 좀 더 구체적으로 설명하면 아래와 같다.

영상 입력부(input image)는 MTF 보상(modulation transfer function compensation) 처리가 되어 있지 않은 영상을 입력 받게 된다. MTF 보상부(MTF compensation)는 영상 입력부에 입력된 영상에 대해서 MTF 보상을 수행할 수 있다. MTF 보상은 영상의 MTF를 증진시키는 것으로, MTF의 측정과 영상 복원의 두 단계로 진행된다. MTF 보상을 위해서는 MTF의 정확한 측정이 선행되어야 한다. MTF는 영상의 입력 신호에 따라 에지(edge) 방법과 펄스 (pulse) 방법을 사용해서 측정한다.

이중 에지 방법은 영상에서 대비가 분명하게 구분되는 곳을 기준으로 영상 내의 경계선을 찾고, 경계선에 대한 시스템의 응답인 ESF(edge spread function)를 통해 MTF를 추정하는 방법이다. 원 영상에서 검출된 에지를 기준으로 각 점들을 지나는 수선을 따라서 ESF를 획득하고, ESF를 미분하여 LSF(line spread function)를 얻은 후, LSF를 푸리에 변환(Fourier transform)하여 MTF를 얻게 된다.

영상 확대부(constant zooming)는 영상에 CR 스플라인(spline) 보간 기법을 적용하여 영상을 확대할 수 있다. 영상 확대부에서 처리 대상 영상이 위성 영상인 경우, 위성 설계 해상도의 1.414배로 영상을 확대, 즉 constant zooming 할 수 있다.

리샘플링부(resampling)는 영상에 B-스플라인(B-Spline) 보간 기법을 적용하여 영상을 재배열(resampling)하여 목표(수행하고자 하는) 해상도로 확대할 수 있다.

CR 스플라인 보간 기법과 B-스플라인 보간 기법을 적용할 때 사용되는 함수는 위성 영상 검보정을 통해 확인된 위성 카메라의 카메라 특성 함수를 사용할 수 있다. 앞서 MTF 보상 과정에서 구해진 MTF, ESF, LSF를 이용한 검보정 과정을 통해 위성 카메라의 특성 함수를 구할 수 있다.

디콘볼루션부(De-Convolution)는 CR 스플라인 보간기법과 B-스플라인 보간기법을 적용한 영상에 대해서 디콘볼루션을 수행하여 선명도를 향상시킬 수 있다. 이를 위해 디콘볼루션부에서는 선명도를 향상시키는 MFT 커널(kernel)을 이용할 수 있다.

3. 결과

지금까지 기술한 바와 같이, CR 스플라인 보간 기법과 B-스플라인 보간 기법을 다목적 3A호의 위성 영상에 적용시키고, 그 결과의 확인을 위해 프랑스의 Salon과 중국의 Baotou 에지 타겟을 촬영한 영상에서 영상의 ESF과 LSF, 그리고 표준화된 주파수에 대한 MTF 값을 측정하여, CR 스플라인 보간 기법과 B-스플라인 보간 기법에 적용되는 계수를 구하였다.

Fig. 3은 본 논문에서 적용된 CR 스플라인 보간 기법의 계수를 나타낸 것이고, Fig. 4는 적용된 B 스플라인 보간 기법의 계수를 나타낸 것이다. Fig. 5Fig. 6은 중국의 Baotou와 프랑스의 Salon 검보정 에지 타겟을 촬영한 영상을 제안된 영상 해상도 향상 방법을 적용하여 처리한 결과를 제시한 것이다.

jsta-1-1-41-g3
Fig. 3. Coefficients of applied CR spline interpolation. CR, Catmull-Rom.
Download Original Figure
jsta-1-1-41-g4
Fig. 4. Coefficients of applied B-spline interpolation.
Download Original Figure
jsta-1-1-41-g5
Fig. 5. Results of improving the resolution of the Baotou edge targeted image.
Download Original Figure
jsta-1-1-41-g6
Fig. 6. Results of improving the resolution of the Salon edge targeted image.
Download Original Figure

향상된 영상의 ESF과 LSF, 그리고 표준화된 주파수에 대한 MTF 값을 측정한 결과를 보면, 위의 알고리즘을 이용하여 해상도 향상을 한 경우, 나타나는 특성은 적용된 CR Spline 보간 기법과 B Spline 보간 기법의 함수와 유사한 ESF과 LSF 특성을 가지고 있으며, MTF 값도 원영상에 비해 저하 없이 해상도 행상이 이루어졌음을 확인할 수 있다.

Fig. 7은 55 cm 원영상과 해상도 향상 알고리즘을 통해 얻어진 38 cm 영상을 비교한 그림으로, 55 cm 원영상에서는 식별되지 않았던 사선 부분 등이 명확히 식별되는 것을 볼 수 있다.

jsta-1-1-41-g7
Fig. 7. Comparison between 55 cm original image and 38 cm image obtained through resolution enhancement algorithm.
Download Original Figure

현재 개발된 기법은 영상당 처리속도가 10∼20분 이내에 처리가 완료될 수 있는 기법이며, 현재 적용된 CR Spline 보간 기법과 B Spline 보간 기법의 계수는 3A 영상에 적용된 값이며, 이 값들은 향후 더 최적화되어 바뀔 수도 있다.

4. 결론

지금까지 영상의 대각선 정보를 이용, MTF의 저하 없이 지상처리를 통해 해상도를 1.414배 향상시킬 수 있는 해상도 향상 기법이 개발되어 다목적 3A호 영상에 대해서 성공적으로 적용되었다. 적용된 방법은 영상을 45도 돌리지 않고도 인접한 4점의 영상정보를 이용하여 카메라의 특성에 맞게 확대 및 재배열을 함으로써, 영상을 45도 실제 돌리는 것과 동일한 물리적 개념을 적용할 수 있고, 원 영상의 왜곡이나 성능 저하 없이 해상도를 1.4배 증가시킬 수 있는 것을 확인할 수 있었다.

References

1.

Perletta L, High resolution imagery for accurate information (2020) [Internet], viewed 2021 Feb 15, available from: https://geospatialworldforum.org/speaker/SpeakersImages/high-resolution-imagery-for-accurate-information.pdf

2.

Lee D, Kim S, Lee YB, Jang SY, Yeon JH, et al., Optical payload system development for CAS500, in The Korean Society for Aeronautical & Space Sciences Fall Conference, Jeju, Korea, 28-30 Nov 2018.

3.

Jacobsen K, Topan H, Cam A, Özendi M, oruc M, Radiometric and geometric characteristics of pleiades image, Int. Arch. Photogr. Remote Sens. Spat. Inf. Sci. 40, 173-177 (2014).

4.

Choi SW, Jeong JH, Seo DC, Lee DH, Method and apparatus for image resolution enhancement, Korea Patent 10-2020-0173203 (2020).

Author Information

최 석 원schoi@kari.re.kr

jsta-1-1-41-i1

서울대학교 항공우주공학과에서 1992년 박사학위를 취득한 후, 1992년부터 한국항공우주연구원에서 위성개발관련 업무를 수행하였으며, 현재는 영상체계 개발부에서 해상도 향상기법, 위성영상 분석 준비 데이터 (ARD, analysis ready data)등 위성영상 검보정 및 품질에 관련된 연구를 수행하고 있다.

정 재 헌jjh583@kari.re.kr

jsta-1-1-41-i2

충남대학교 정보통신공학과에서 2013년 석사학위를 취득했고, 2014년부터 한국항공우주연구원에서 선임연구원으로 재직하고 있다. 현재 광학 위성 영상 검보정 업무를 수행하고 있으며, 광학 위성 영상의 품질 검증과 품질 향상 연구, 자료처리 자동화 및 고속병렬처리 연구를 수행하고 있다.

서 두 천dcivil@kari.re.kr

jsta-1-1-41-i3

경상대학교 토목공학과에서 위성사진측량학으로 박사학위를 취득한 후, 2002년부터 한국항공우주연구원에서 위성영상기반의 수치표고모델 생성, 정사영상생성, 위성센서모델링, 영상매칭, 위성기하검보정 등의 관련 연구를 수행하였으며, 현재는 국가위성정보활용지원센터에서 국가개발위성(광학, SAR)의 지상체계개발, 검보정, 품질관리, 향상 등에 관련된 연구/관리 업무를 수행하고 있다.

이 동 한dhlee@kari.re.kr

jsta-1-1-41-i4

1995년부터 한국항공우주연구원에서 위성 지상시스템 개발과 위성 및 영상 검보정 연구개발 업무를 수행하는 과정에서 검보정 연구 내용으로 연세대학교 천문우주과학과에서 2012년 박사학위를 취득하였고, 현재에도 고해상도위성, 중형위성, 초소형군집위성 등의 위성 및 영상 품질 및 검보정 연구 업무를 수행하고 있다.