Application of Artificial Intelligence techniques to improve the resolution of Sentinel-3 satellite images and comparison with traditional super-resolution algorithms

Abstract

The information provided by satellites and other remote sensing data sources allows estimating certain environmental variables like humidity, temperature, vegetation, snow cover, and geological variables. Moreover, the spatial resolution they can achieve differs depending on the measurement instruments they use. For example, the Sentinel-3 mission satellites reach 300m GSD (Ground Sample Distance), compared to the 10m that some spectral bands of Sentinel-2 products can get. Although the resolutions are enough for the functionality for which the missions were designed, improving them would be a potential breakthrough in the scientific field. The objective of the work is, therefore, to combine the data of two satellite missions, Sentinel-2 and Sentinel-3, to improve the spatial resolution of the latter. To do so, we had to familiarize ourselves with the data flow produced by the Copernicus program, the sensors used, the different data levels, and the final products to be used. Also, it has been necessary to adapt an automated download and preprocessing system to the present purpose. Subsequently, both neural networks and traditional super-resolution algorithms (pansharpening and bicubic interpolation) have been used and compared to achieve the aforementioned objective. Thus, it has been seen that the newly proposed methods improve the previous ones both through quantitative analysis and visual comparison. In particular, the outstanding performance of the generative adversarial network (SRGAN) used is remarkable, which manages to improve the global numerical results of traditional algorithms by around 30%.

La información proporcionada por los satélites y otras fuentes de datos de teledetección permite la estimación de determinadas variables ambientales, como humedad, temperatura, vegetación, cobertura de nieve y variables geológicas. Además, la resolución espacial que estos pueden alcanzar difiere dependiendo de los instrumentos de medida que utilizan. Por ejemplo, los satélites de la misión Sentinel-3 alcanzan los 300m GSD (distancia de muestreo del suelo), frente a los 10m que pueden tener algunas bandas espectrales de productos de Sentinel-2. Aunque las resoluciones son suficientes para la funcionalidad con la que se diseñaron las misiones, lograr mejorarlas supondría un gran avance en el ámbito científico. El objetivo del trabajo es, por tanto, combinar los datos de dos misiones satelitales, Sentinel-2 y Sentinel-3, para mejorar la resolución espacial de los de esta ´ultima. Para ello, tuvimos que familiarizarnos con el flujo de datos que produce el programa Copernicus, los sensores utilizados, los diferentes niveles de datos y los productos finales a utilizar. Asimismo, ha sido necesario adaptar un sistema automatizado de descarga y preprocesamiento a la presente finalidad. Posteriormente, se han utilizado y comparado tanto redes neuronales como algoritmos tradicionales de superresolución (pansharpening e interpolación bicúbica) para lograr el objetivo previamente descrito. Así, se ha visto que los nuevos métodos propuestos mejoran los anteriores tanto a través de un análisis cuantitativo, como mediante una comparativa visual. En particular, es remarcable el rendimiento excepcional de la red adversaria generativa (SRGAN) utilizada, que logra mejorar en alrededor de un 30% los resultados numéricos globales de los algoritmos tradicionales.