Región de Murcia
Fundación Séneca
FSE

Aggresive Data Augmentation and Low-Shot Learning Techniques for Deep Computer Vision in Industrial Environments

Nace en Hellín (Albacete) en 1996. En 2020 obtiene el Grado de Ingeniería Informática por la Universidad de Murcia. Además, como resultado de finalizar la Programación Conjunta de Estudios Oficiales de Grado en Matemáticas y Grado en Ingeniería Informática, en 2022 adquiere también el Grado en Matemáticas por la Universidad de Murcia. Tras finalizar el Grado en Ingeniería Informática, cursa el Máster Universitario en Nuevas Tecnologías en Informática por la Universidad de Murcia, con especialidad en Informática Industrial, obteniendo el título de Máster en el año 2022. Durante su último curso en Ingeniería Informática, consigue una beca de formación práctica en el ámbito de I+D+I del Plan Propio de Fomento de la Investigación bajo la actividad "Control integrado de producción en invernadero tecnificado para mejorar la calidad y el sabor del tomate cherry" (diciembre 2019 - septiembre 2020). Paralelamente a la realización del Máster, colabora como Investigador Licenciado en el proyecto "Framework unificado de gestión de la ciberseguridad y la seguridad para la industria manufacturera" (noviembre 2020 - enero 2022). Tras finalizar el máster, desempeña sus servicios para la empresa Bleecker Technologies, S.L. (empresa colaboradora) desde febrero de 2022 hasta enero de 2023. Además, durante el mes de febrero de 2023, participa como Investigador Licenciado en el proyecto "Ciberseguridad y reconocimiento de actividad como tecnologías habilitadoras de la fábrica inteligente". En el año 2022 obtiene una ayuda de la Fundación Séneca, que inicia en marzo de 2023, para realizar la tesis doctoral en la Universidad de Murcia. Domina la lengua castellana e inglesa y posee conocimientos de la lengua francesa.

Resumen de tesis

El reconocimiento automático de actividad (AR, de Activity Recognition) es un ámbito de investigación que está ganando mucha atención en los últimos años. El objetivo general del AR es lograr que un computador, a partir datos obtenidos en un entorno de trabajo, reconozca en tiempo real las acciones específicas realizadas por uno o varios agentes que interactúan con dicho entorno. Se ha experimentado un gran auge en este campo debido a las nuevas posibilidades que han brindado los enormes avances en las tecnologías de Machine Learning mediante modelos de percepción artificial, como las redes neuronales convolucionales (CNNs), entrenados a partir de la experiencia

Un punto distintivo de alguno de los trabajos más recientes en el campo del AR, es eliminar la restricción del reconocimiento de la actividad de un único operario, para conseguir reconocer múltiples acciones realizadas, simultáneamente, por varios individuos presentes en la escena. El problema crece en complejidad, por la necesidad de realizar un adecuado seguimiento de todos los intervinientes. Así, además de los problemas de clasificación y regresión habituales en AR, debe resolverse el problema de la correcta asociación temporal de datos, con el fin de evitar el cruce de datos durante el seguimiento de los actores involucrados (tracking). 

Los principales desafíos planteados por la implementación de este tipo de sistemas en escenarios industriales reales son el costoso entrenamiento necesario para su puesta en producción y la sobrecarga de trabajo añadida para generar datasets correctamente etiquetados (proceso que suele ser manual y enormemente tedioso). Estas cuestiones hacen que la transferencia de los resultados académicos al ámbito industrial tenga que pasar por una adecuada aplicación de técnicas dirigidas a la reducción de dicha carga de trabajo. En particular, las técnicas de Data Augmentation, Transfer Learning y Few-Shot Learning serán claves en este proceso de investigación y transferencia.

Área de conocimiento

Inteligencia Artificial: Machine Learning y Visión Artificial

Grupo de investigación

Grupo de Investigación de Computación Móvil y Visión Artificial (MoVi)
Director: Pedro Enrique López de Teruel Alcolea
Codirector: Alberto Ruiz García

Programa de doctorado

Programa de Doctorado en Informática

Período de Actividad

01/03/2023

Estado de tesis

En desarrollo

Empresa colaboradora

Bleecker Technologies, S.L.

Reconstrucción geométrica 3D basada en siluetas y escáner láser

Resumen actividad a desarrollar

El objetivo de la estancia es el desarrollo y la evaluación de técnicas avanzadas de reconstrucción 3D a partir de información parcial, utilizando una combinación de siluetas visuales y medidas de escáner láser. La metodología se fundamenta en representaciones implícitas neuronales (INRs) y un marco de aprendizaje positivo no etiquetado (positive-unlabeled learning), lo que permite reconstruir la geometría de objetos complejos sin necesidad de supervisión densa o mallas predefinidas. En particular, se persiguen los siguientes objetivos:

  • Implementar y evaluar el impacto que supone la incorporación de medidas de distancia a la silueta de los objetos, así como el uso de medidas de confianza asociadas a los puntos escaneados para mejorar la precisión geométrica.

  • Estudiar la viabilidad de considerar mecanismos híbridos que combinan algoritmos de k-vecinos más cercanos (KNN) con redes neuronales de grafos (GNNs) para refinar la clasificación de puntos ambiguos en la reconstrucción.

  • Adaptar el enfoque resultante para aplicarlo como data augmentation en escenarios industriales con el fin de generar datos sintéticos 3D.

  • En qué medida favorece la estancia tu línea de investigación en el desarrollo de tu tesis doctoral

    La estancia favorece la línea de investigación de la tesis doctoral de manera fundamental al proporcionar una solución alternativa y directa a una de las limitaciones más críticas que afronta, esto es, la escasez de datos anotados de calidad para entrenar modelos de visión artificial en la industria. Más específicamente, la estancia estimula algunos objetivos de la tesis de la siguiente manera: 

  • Generación de objetos 3D para data augmentation. Con el enfoque bajo estudio se pueden obtener precisas reconstrucciones geométricas 3D de objetos de interés y emplearlas para generar escenas sintéticas realistas que los incorporen. Las estrategias de aumento de datos son uno de los pilares fundamentales detrás de la investigación doctoral de esta tesis.

  • Reducción del coste de anotación. Al conocer con precisión la geometría de los objetos reconstruidos, es posible generar automáticamente el ground truth para distintas tareas de visión por computador. Esto elimina la necesidad de un costoso y laborioso proceso de etiquetado manual, un gran cuello de botella que es uno de los principales desafíos que la tesis busca resolver.

  • Adquisición de conocimiento especializado. La colaboración con el grupo anfitrión, un referente en reconstrucción 3D y en GNNs, permite al doctorando adquirir experiencia técnica avanzada y potenciar así en mayor medida su perfil investigador.

  • Fortalecimiento de la colaboración científica. La estancia fomenta la integración del doctorando en redes de investigación internacionales, lo que no solo enriquece el desarrollo actual de la tesis, sino que también establece las bases para futuras colaboraciones y líneas de trabajo.

  • Año de programa

    2022

    Fecha de Inicio

    05/05/2025

    Fecha de Fin

    05/08/2025

    País

    ITALIA

    Nombre del Centro

    Università Ca' Foscari Venezia (Ca' Foscari University of Venice)

    Departamento del Centro

    Artificial Intelligence and Image Understanding Lab

    ¿Los conocimientos adquiridos podrán originar una nueva línea de investigación?

    La investigación desarrollada durante la estancia ha sentado las bases para explorar mejoras sobre reconstrucción 3D de superficies, evaluando enfoques que integran información geométrica con el fin de refinar el resultado.

    En este sentido, los primeros resultados obtenidos con soluciones basadas en distancias son prometedores. Se espera seguir profundizando en esta línea de trabajo para optimizar la fidelidad geométrica de la reconstrucción, pues se considera una vía con gran potencial de mejora.

    Estos avances, a su vez, abren la puerta a una segunda línea de investigación más avanzada, centrada en el uso de GNNs. El objetivo sería explorar las relaciones espaciales entre los puntos para refinar la clasificación de regiones ambiguas, buscando una solución aún más robusta.

    Se prevé que estas líneas de trabajo se sigan investigando en colaboración con el grupo anfitrión. La continuidad de esta sinergia se entiende fundamental para explorar y consolidar los caminos que esta estancia ha iniciado. Además, se considera esencial mantener un contacto activo con dicho grupo una vez finalizadas estas labores con el fin de dar continuidad a posibles nuevas colaboraciones. En definitiva, se espera que los conocimientos adquiridos y la colaboración establecida sí permitan originar nuevas y prometedoras líneas de investigación futura.

    Aviso legalPolítica de privacidad