FOTOPEIX II - Nuevos métodos para obtener información automática de imágenes obtenidas en los puntos de descarga pesquera: Consolidación de la estima de tallas y primeros pasos en la clasificación de especies 

Temática: 
Eje 1.1 Innovación pesca
Objetivos: 

Fotopeix 2.0 no solo pretende consolidar los progresos alcanzados con el proyecto FOTOPEIX (PLEAMAR 2017) en cuanto a medir automáticamente la talla de los peces capturados por la flota artesanal de Mallorca a partir de imágenes, sino también dar los primeros pasos para clasificar automáticamente las especies de cada caja de pescado desembarcado.

Objetivos Específicos:

  • Consolidar el método de estima automática de tallas: (1) hacerlo más robusto y (2) más preciso.
  • Incrementar significativamente el numero de imágenes procesadas.
  • Adaptar el método de estima automática de tallas a otras especies.
  • Sentar las bases para una clasificación automática de las especies dentro de una caja de pescado.
  • Difundir la aplicabilidad y utilidad para el sector pesquero de las herramientas desarrolladas.
Descripción: 

La inteligencia artificial está experimentado un desarrollo exponencial, principalmente en una disciplina conocida como Deep Learning. Se trata de una estrategia de análisis de datos basada en conseguir que un algoritmo aprenda por sí mismo a realizar una tarea compleja a partir de esos mismos datos. Gracias al proyecto FOTOPEIX, durante este año  2018, se han sentado las bases para identificar de manera automática cabezas de pescado dentro de las imágenes de las cajas de pescado. Para ello, se alimenta el sistema con miles de recortes digitales de imágenes que solo incluyen una cabeza de pescado, de manera que el sistema aprende a discriminar cabezas de la especie estudiada en cualquier nueva imagen.
A modo de resumen, debe recordar aquí que la estrategia analítica que se esta desarrollando en FOTOPEIX implica 5 pasos:

  1. Extracción manual (de miles) de recortes digitales de patrones (cabezas) en imágenes de cajas de pescado
  2. Implementación de varias estrategias de deep learning
  3. Selección de la estrategia con mejor capacidad predictiva (= identificar correctamente cabezas en una nueva imagen);
  4. Creación de un patrón de calibración pixel:cm y pixel:gr (a partir de una muestra aleatoria de peces)
  5. Estimación del tamaño (cm) y del peso (gr) de un pez a partir del tamaño de su cabeza (pixels), habiendo sido esa cabeza identificada automáticamente en una nueva imagen mediante la estrategia de deep-learning seleccionada.

FOTOPEIX 2.0 no solo pretende consolidar los progresos alcanzados con el proyecto FOTOPEIX sino que además se propone dar un salto cualitativo en relación a cuatro retos:

  1. El primer reto es tecnológico/científico. A pesar de los logros ya alcanzados, se debe consolidar el método y hacerlo más robusto, minimizando los errores (es decir, estructuras que el sistema aun interpreta erróneamente como cabezas). Para ello, (1) se van a implementar nuevas estrategias de deep-learning que han aparecido  muy recientemente (instance segmentation) y (2) se va a incrementar substancialmente el numero de patrones. Asimismo, aún hay margen para mejorar la precisión de las estima de talla una vez identificada la cabeza de un pescado. Específicamente, (3) se aumentará substancialmente el número de peces medidos manualmente para configurar el patrón pixel:cm y pixel:gr para mejorar la exactitud y precisión de las mediciones automáticas de la talla.
  2. El segundo reto consiste en incrementar significativamente el número de imágenes procesadas. FOTOPEIX procesa únicamente imágenes obtenidas en algunos puertos. FOTOPEIX 2.0 pretende ampliar estas imágenes con las generadas en la lonja de Palma, lo que supone un  incremento no solo cuantitativo sino cualitativo.  OPMallorcaMar es una organización de productores a la que pertenecen todos los pescadores de Mallorca y que gestiona la venta de todas sus capturas en Mallorca. OPMallorcaMar colabora explícitamente con FOTOPEIX 2.0 (se ajunta documento acreditativo al respecto). FOTOPEIX 2.0 propone aprovechar las nuevas infraestructuras que OPMallorcaMar está introduciendo en sus instalaciones de la lonja de Palma.  Concretamente, se pretende procesar las imágenes generadas por las cámaras que serán instaladas en los próximos meses en la zona de subasta. Gracias a FOTOPEIX, se ha podido constatar que la calidad y cantidad de las imágenes generadas en los puertos es desigual. La generación de imágenes en los puertos es dependiente de las estaciones de pesado que está desplegando la Direcció General de Pesca del Govern de les Illes Balears (unidades integradas de trazabilidad). FOTOPEIX 2.0 no renuncia a procesar estas imágenes pero dado que la lonja centraliza una parte muy importante de las ventas, procesar las imágenes generadas en la lonja facilitará enormemente la gestión logística del proyecto, al mismo tiempo que permitirá aumentar substancialmente la calidad de las imágenes generadas.
  3. Elercer reto de FOTOPIEX 2.0 consiste en adaptar la metodología a otras especies. Una vez desarrollada una herramienta exacta y precisa para las especies consideradas en FOTOPEIX, esta herramienta podrá adaptarse a otras especies para las que, como en el caso de las especies consideradas en el proyecto en curso (FOTOPEIX), las cajas de pescado sean homogéneas en cuanto a composición específica.
  4.  El cuarto reto también es tecnológico/científico y supone dar un salto cualitativo en cuanto a la información obtenida de cada caja de pescado que llega a la lonja. Muchas de las cajas de pescado que se venden en la lonja son heterogéneas, con individuos de varias especies. Con esta estrategia de venta, los pescadores pretenden facilitar la comercialización de especies de bajo valor, aunque las repercusiones económicas reales no se han podido demostrar hasta el momento debido precisamente a la falta de datos objetivos que permitan relacionar precio de venta y composición. Según datos recabados por el mismo equipo de FOTOPEIX 2.0, las cajas mixtas desembarcadas en la lonja de Palma representan entre 18 y 51 toneladas/año y entre 100 y 300 K/año.

A pesar de que se trata de un reto muy complejo, FOTOPEIX 2.0 pretendeal menos sentar las bases para desarrollar nuevos algoritmos con el objetivo de determinar automáticamente la composición específica de cada caja de pescado. La aproximación metodológica será la misma mencionada en el reto 1 (Deep Learning).

Resultados del proyecto
Resultados: 

FOTOPEIX II ha cumplido satisfactoriamente con los objetivos marcados en la planificación inicial, si bien ciertos aspectos de la metodología requieren mejoras para su aplicación operacional a tiempo cuasi-real.
Durante el proyecto se han puesto en funcionamiento cuatro redes neuronales para la detección de especies y estima de tallas, y se han realizado muestreos de peces en lonja para el desarrollo de estas redes así como para validación de los resultados. También se ha dedicado un gran esfuerzo a la divulgación científica, presentando resultados del proyecto en tres encuentros internacionales, y publicando un artículo en una de las mejores revistas científicas dentro del área.
Se ha comprobado que la red MASK RCNN es la más adecuada para trabajar en la identificación y extracción de tallas de peces a partir de imágenes de lonja, ya que debido a la disposición de los peces en las cajas es necesario realizar un proceso de segmentación de la imagen para una correcta separación entre cada pez. La correcta adaptación de estas redes, requiere, sin embargo, un gran esfuerzo en tiempo de diseño y preparación de datos que las alimenten, factor que ha sido minusvalorado y que se pretende trabajar en un futuro cercano.
Uno de los puntos más interesantes del desarrollo de FOTOPEIX II, y en parte, debido a la ingente cantidad de trabajo anteriormente comentada, ha sido la puesta en común del trabajo realizado con otro proyecto de la convocatoria PLEAMAR 2018, SICAPTOR, del Instituto de Investigaciones Marinas de Vigo. Ambos proyectos tienen múltiples puntos en común, lo que nos llevó a tener reuniones telemáticas en busca de sinergias, y finalmente se realizó una visita para compartir los conocimientos adquiridos en ambos proyectos. De este contacto, ha surgido una propuesta para la convocatoria PLEAMAR 2019, en el que se sigue trabajando con la inserción de la inteligencia artificial en el campo de la investigación y gestión pesquera que multiplique la efectividad de los esfuerzos mediante acciones colaborativas.

Convocatoria de subvenciones: 
2018
Estado: 
Cerrado
Año de inicio: 
2019
Año de finalización: 
2020
Ámbito de actuación: 
Islas Baleares
Beneficiario: 

IMEDEA

Entidades colaboradoras: 

OPMALLORCAMAR