Problema

Con el crecimiento de la población a nivel mundial y la pandemia del COVID-19, varios sectores se vieron afectados, en especial la agricultura y las industrias de alimentos. Consecuentemente, esto está ligado a la escasez de tierras disponibles para la agricultura y al desperdicio de alimentos a nivel global, lo cual representa una amenaza para la seguridad alimentaria y nutricional de los individuos. Por esto, se precisa aplicar metodologías que contribuyan a mitigar esta problemática y que salvaguarden la calidad de vida de las personas desde el punto de vista alimenticio. Por lo tanto, conocer el estado de maduración óptimo de las frutas es un desafío para la agricultura, la agroindustria y las comercializadoras de alimentos, entre otros campos. Este aspecto es clave para preservar la calidad de los productos alimenticios, conservando su frescura, dulzura y sabor adecuados para el consumidor.

En consecuencia, se propone un sistema de visión por computadora capaz de determinar los estados de madurez de tres frutas climatéricas (es decir, cuyo proceso de maduración continúa después de ser cosechadas) mediante imágenes hiperespectrales (HSI) y redes neuronales convolucionales (CNN). Esto permitirá la toma de decisiones en cuanto a los procesos logísticos y de mercado (almacenamiento, distribución, comercialización y consumo de productos alimenticios). De este modo, se plantea una clasificación automática de los estados de madurez de frutas aplicando métodos no destructivos.

Figura 1. Imágenes hiperespectrales de dos frutas climatéricas: Aguacate y Papaya.

Base de datos

Para entrenar el sistema, se utilizó una base de datos de HSI construida por Leon Varga et al., [1], en el año 2021, utilizando tres cámaras hiperespectrales diferentes, dos para la región visible (VIS) y otra para la región infrarroja cercana (NIR) del espectro electromagnético. Dicha base de datos se compartió de manera pública en el siguiente enlace dataset. Donde, los conjuntos de imágenes se encuentran así:

• Aguacate: 1038 HSI en las regiones VIS y NIR del espectro electromagnético.
• Kiwi: 1522 HSI en las regiones VIS y NIR del espectro electromagnético.
• Papaya: 550 HSI en la región VIS del espectro electromagnético.

Figura 2. Banda 200 de tres imágenes hiperespectrales del dataset

Las imágenes contenidas en la base de datos tienen tres etiquetas de clase: maduro, inmaduro y sobre maduro; las cuales se utilizan para la clasificación de los estados de madurez.

Etiquetado

Para llevar a cabo la clasificación automática de los estados de madurez de las frutas, se utiliza el framework PyTorch de Python y el sistema operativo Linux (Ubuntu), donde se establecen los algoritmos de aprendizaje profundo. El algoritmo aplicado, en este caso, CNN, se realiza con tres arquitecturas diferentes: AlexNet, ResNet50 y una arquitectura propuesta (HSI-ConvNet).

Para el entrenamiento se consideró un tamaño del lote de 16, con una tasa de aprendizaje inicial de 1×10⁻²,  presentando una tasa de decaimiento de 0.1 cada 30 épocas. Además, se utilizó el optimizador Adam en un primer entrenamiento y luego se aplicó el optimizador RAdam (Adam rectificado) en un entrenamiento posterior, con el fin de comparar los resultados al implementar ambos optimizadores.

Estructura Propuesta

El modelo propuesto consiste en una red neuronal convolucional (CNN) para procesar las imágenes hiperespectrales. Este modelo cuenta con una capa convolucional de entrada y tres etapas constituidas cada una por 4 bloques residuales que se encargan de extraer las características de las HSI, y el número de canales de salida incrementa progresivamente al avanzar entre capas (64, 128, 256). Esta CNN cuenta con cerca de 3.5M de parámetros.

Figura 3.  CNN propuesta para clasificar los estados de maduración de las frutas utilizando HSI.

• Capa de entrada: tamaño del kernel (7×7), stride de 4 y padding de 1.
• Bloques residuales: kernel de (3×3), stride de 2 y decrece entre capas a 1, padding de 1.

Resultados

La CNN propuesta mostró resultados prometedores en la clasificación, presentando una exactitud del 88.89% y del 100% para la fruta papaya. Por otra parte, la arquitectura AlexNet obtuvo resultados inferiores al 50% de exactitud, posiblemente por problemas de sobreajuste, ya que esta red cuenta con cerca de 60M de parámetros. Adicionalmente, la arquitectura ResNet50 compite con la arquitectura propuesta (HSI-ConvNet). Esto significa, que el sistema cuenta con potencial para ser aplicado a la clasificación de estados madurez de frutas en el campo de la agroindustria.

Tabla 1. Resultados de la clasificación obtenidos con las tres arquitecturas de CNN.  

Referencias

[1] L. A. Varga, J. Makowski, and A. Zell, “Measuring the ripeness of fruit with hyperspectral imaging and deep learning,” in 2021 International Joint Conference on Neural Networks (IJCNN), pp. 1–8, 2021.

Bibtex

@article{jimenezYeison2023,

  title={Clasificaci{\'o}n autom{\'a}tica de estados de madurez de frutas utilizando im{\'a}genes hiperspectrales y redes neuronales convolucionales profundas},

  author={Jim{\'e}nez, Yeison}

  year={2023},

  school={Universidad Tecnol{\'o}gica de Pereira}

}