Investigadores de la UGR mejoran la eficiencia de los modelos de lenguaje basados en IA para que se puedan usar en más dispositivos

Un equipo de investigadores de la Universidad de Granada ha desarrollado una innovadora metodología para reducir el tamaño y hacer más accesibles los modelos de lenguaje basados en BERT, que es un sistema que utiliza el aprendizaje automático para procesar el lenguaje natural.

El enfoque diseñado en la UGR se denomina 'Persistent BERT Compression and Explainability (PBCE)' y utiliza homología persistente para identificar y eliminar neuronas redundantes, logrando una reducción del tamaño del modelo de hasta un 47% en BERT Base y un 42% en BERT Large, sin afectar significativamente la precisión de las tareas de procesamiento del lenguaje natural que este sistema logra.

BERT se usa, por ejemplo, en los buscadores como Google para clasificar los resultados de búsqueda, entender mejor las consultas de los usuarios y ofrecer respuestas adecuadas.

Los grandes modelos de lenguaje (LLM) como BERT han revolucionado el campo de la inteligencia artificial, pero su elevado consumo de recursos limita su uso en dispositivos con menor capacidad, como por ejemplo los móviles. Además, son esencialmente modelos de caja negra, difíciles de explicar e interpretar. Por ello, los investigadores de la UGR han dado un paso hacia la 'IA verde': mejorar la eficiencia de los modelos sin aumentar su huella de carbono.

"Este método no solo reduce el tamaño del modelo, sino que también mejora la interpretabilidad del comportamiento de las neuronas, acercándonos a redes neuronales más explicables", detalla Luis Balderas, uno de los autores del estudio, quien es investigador de la UGR y del Instituto DaSCI.

La investigación, publicada en la revista Applied Sciences, demuestra que PBCE logra mantener un alto rendimiento en el GLUE Benchmark, un conjunto de pruebas estándar para evaluar modelos de lenguaje. De hecho, en varias tareas clave, el modelo comprimido incluso supera a la versión original de BERT.

Este avance abre nuevas posibilidades para la implementación de modelos de IA en dispositivos móviles y sistemas con recursos limitados, haciendo la inteligencia artificial más accesible y eficiente.

El Instituto Andaluz Interuniversitario en Ciencia de Datos e Inteligencia Computacional, conocido como Instituto DaSCI, es una entidad de colaboración entre las universidades de Granada, Jaén y Córdoba. Se dedica a la investigación avanzada y la formación en el ámbito de la inteligencia artificial, con un enfoque particular en la ciencia de datos e inteligencia computacional.

El instituto reúne a un destacado grupo de investigadores e investigadoras que trabajan en proyectos conjuntos, promoviendo el desarrollo y la aplicación de tecnologías innovadoras en diversos sectores. Con el objetivo de convertirse en un referente en su campo, el DaSCI impulsa la transferencia de conocimiento científico al entorno socioeconómico, contribuyendo así al progreso tecnológico y a la digitalización de la industria.