Llenar los huecos pintando un cuadro

La pintura de imágenes es una técnica de visión por computadora en la que se completan los píxeles que faltan en una imagen. A menudo se utiliza para eliminar objetos no deseados de una imagen o para restaurar áreas faltantes en imágenes oscurecidas. La pintura es una herramienta común para predecir datos de imágenes faltantes, pero es difícil sintetizar los píxeles faltantes de una manera realista y coherente.

Investigadores de la Universidad de Tokio han demostrado un método de pintura basado en frecuencias que permite el uso tanto de la frecuencia como del espacio. información para generar fragmentos de imagen que faltan. Publicando en Revista de imágenes electrónicas (JEI), Hiya Roy y col. enumere la técnica en ‘Pintar imágenes con frecuencia dominio previos. Los métodos actuales solo utilizan información del dominio espacial durante el proceso de aprendizaje, lo que puede permitir que se pierdan detalles de la reconstrucción interior, lo que da como resultado la estimación de solo una parte del fragmento original de baja frecuencia. Para abordar este problema, los investigadores buscaron en la pintura basada en frecuencia y demostró que transformar la pintura en deconvolución en el dominio de la frecuencia puede predecir la estructura local de las áreas de imagen que faltan.

“La información del dominio de la frecuencia contiene representaciones ricas que permiten a las redes realizar tareas de comprensión de imágenes mejor que la forma convencional de usar solo información del dominio espacial”, dice Roy. “Por lo tanto, en este trabajo estamos tratando de lograr un mejor rendimiento de pintura entrenando la red utilizando información de dominio espacial y de frecuencia”.

Históricamente, los algoritmos de pintura de imágenes se han dividido en dos categorías amplias. Los algoritmos de pintura basados ​​en difusión intentan recrear la apariencia de una imagen en las áreas faltantes. Este método puede llenar bien los agujeros pequeños, pero la calidad de los resultados disminuye a medida que aumenta el tamaño de los agujeros. La segunda categoría son los algoritmos de pintura basados ​​en cortes que buscan el parche que mejor se ajuste a la imagen para completar las partes que faltan. Este método puede rellenar huecos más grandes, pero es ineficaz en partes complejas o prominentes de una imagen.

“La originalidad de la investigación radica en el hecho de que los autores utilizaron la representación del dominio de frecuencia, es decir, el espectro de imágenes obtenidas con la ayuda de la transformada rápida de Fourier, en El primer paso pintura con una red de deconvolución “, dice Jenny Benois-Pineau de la Universidad de Burdeos, editora principal de JEI.” Esto produce un efecto de pintura burda que captura las partes estructurales de la imagen. Luego, la mejora se realiza en el dominio de píxeles por la GAN. Su enfoque supera el estado del arte en todos los indicadores de calidad: PSNR, SSIM y L1 ”.

Roy y sus colaboradores muestran que la deconvolución en el dominio de la frecuencia puede predecir áreas faltantes en la estructura de la imagen utilizando el contexto de la imagen. En un primer paso, su modelo aprendió el contexto utilizando información en el dominio de la frecuencia y luego reconstruyó las partes de alta frecuencia. En un segundo paso, utilizó información del dominio espacial para guiar el esquema de color de la imagen, luego mejoró los detalles y estructuras obtenidos en el primer paso. El resultado son mejores resultados de pintura.

“Los resultados experimentales han demostrado que nuestro método puede superar los resultados de vanguardia en conjuntos de datos exigentes, generando detalles más nítidos y resultados de pintura perceptualmente realistas”, dicen Roy et al. en un artículo de investigación. “Según nuestros resultados empíricos, creemos que tanto la frecuencia como información espacial Deberían ganar dominio debido a su excelente desempeño.

El grupo espera que su investigación se convierta en un trampolín para extender el uso de otros tipos de transformaciones en el dominio de la frecuencia para abordar las tareas de restauración de imágenes, como la eliminación de ruido.