DeepFish 2: Implantación y explotación de sistemas de visión artificial para identificación de especies y obtención de datos biométricos en lonja basados en deep learning

Proyecto Deepfish 2
Temática: 
Eje 1.1 Innovación pesca
Objetivos: 

 

Objetivo general:

El objetivo general del proyecto DeepFish 2, partiendo del prototipo de visión artificial para la identificación y tallaje de especímenes en lonjas desarrollado en DeepFish, es avanzar en las capacidades del sistema, ampliando tanto el número de especies de peces objetivo, como de moluscos (pulpo, sepia y calamar), cubriendo una casuística mayor en tipologías de lonjas, introduciendo aspectos de trazabilidad mediante incorporación de información geo-referenciada y desarrollando un módulo de análisis y explotación de los datos proporcionados por DeepFish. También se pretende constituir un foro para la colaboración entre investigadores interesados en el reconocimiento y tallaje de especies mediante visión artificial.

 

Objetivos específicos:

  1. Ampliación y difusión del dataset.
  2. Adaptación del sistema de visión a nuevas lonjas.
  3. Adaptación de la arquitectura de red profunda.
  4. Desarrollo del módulo de explotación de datos.
  5. Implantación del sistema de visión en nuevas lonjas de la Red Natura 2000.
  6. Foro de colaboración sobre reconocimiento y tallaje de especies marinas mediante visión artificial.
  7. Difundir los resultados del proyecto.

 

Descripción: 

Los resultados esperados del proyecto son los siguientes:

  • R1: Nuevo dataset, ampliado a 20 especies. Más lonjas y periodos estacionales.
  • R2.1: Sistema de visión para reconocimiento y tallaje de especies en dos nuevas lonjas minoristas.
  • R2.2: Prototipo del sistema de visión para una lonja mayorista.
  • R3: Infraestructura hardware y software de modelo de red profunda entrenada.
  • R4: Software de explotación y visualización de datos con cuadro de mandos de stocks pesqueros.
  • R5.1: Sistema de visión implantado en dos lonjas minoristas.
  • R5.2: Prototipo de sistema de visión probado en lonja mayorista.
  • R6: Evento: Foro de colaboración sobre reconocimiento y tallaje de especies marinas mediante visión artificial.
  • R7.1: Participación en Congreso Internacional (UCAMI) + 1 publicación científica
  • R7.2: Publicación de al menos 3 notas de prensa (inicio, mediados y fin de proyecto)
  • R7.3: Difusión en la web de la entidad y redes sociales.

 

Resultados del proyecto
Resultados: 

Los resultados que se han obtenido con la ejecución del proyecto son los siguientes:

 

Por un lado, se ha ampliado el dataset de especies objetivo, etiquetado con metadatos de tipología de especie y talla, incorporando 14 nuevas especies para alcanzar un total de 32, procedentes de las lonjas de “El Campello”, Altea, Torrevieja y Moraira. Se ha publicado el dataset en el repositorio científico abierto ZENODO. Se ha elaborado un vídeo explicativo​ sobre la adaptación dataset a nuevas lonjas tipo.

 

Por otro lado, se ha partido del prototipo del sistema de visión desarrollado en la primera fase del proyecto Deepfish para “El Campello” y se ha mejorado para su implantación y funcionamiento autónomo en la Lonja del Campello. En este vídeo se explica el sistema implantado en la lonja. Asimismo, se ha adaptado el sistema de reconocimiento y de las imágenes en una lonja nueva mayorista (Altea), captando además imágenes en otra nueva lonja mayorista (Torrevieja) y en una nueva minorista (Moraira). En la lonja "El Campello", se ha implantado el sistema de visión de forma autónoma y en el caso de Altea, se ha mejorado y adaptado para su testeo en lonja mayorista.

 

En relación a la infraestructura hardware y software del modelo de red profunda entrenada, se ha abordado el problema de la identificación de especies mediante la red YOLACT++ y se ha propuesto una nueva estrategia de “Key fishes”. En relación al problema del tallado se ha profundizado en la utilización de métodos de regresión y calibrado. Además, se ha implementado una web GIS que permite visualizar sobre un mapa los datos de intensidad de pesca y se ha desarrollado un cuadro de mando para el análisis estadístico de los datos pesqueros y un informe de parámetros de interés biológico a partir de esta herramienta.

 

Se ha creado un foro de expertos sobre reconocimiento y tallaje de especies marinas mediante visión artificial en el que han participación 19 investigadores de 8 instituciones diferentes (5 de ellas participantes en el Programa Pleamar) y, finalmente, se han desarrollado acciones de difusión, con participación en congresos (IJCNN, SOCO, SARTECO), foros (ForoPesca) y jornadas de presentación de resultados (jornadas de seguimiento y resultados).

Convocatoria de subvenciones: 
2021
Estado: 
Abierto
Año de inicio: 
2022
Año de finalización: 
2022
Ámbito de actuación: 
Comunidad Valenciana
Beneficiario: 

Universidad de Alicante, Departamento de Tecnología Informática y Computación

Entidades colaboradoras: 
  • Cofradía de pescadores de El Campello
  • Cofradía de pescadores de Altea
  • Cofradía de pescadores de Torrevieja
  • Cofradía de pescadores de Moraira