Propuesta de biblioteca de aceleradores de código abierto para inferencia de redes Transformer en dispositivos perimetrales

Las redes de Transformers han sido un gran hito en el campo del procesamiento del lenguaje natural y han impulsado tecnologías como ChatGPT, que indudablemente están cambiando la vida de las personas. Este artículo discute las características y la complejidad computacional de las redes de Transforme...

Descripción completa

Detalles Bibliográficos
Autores principales: Araya-Núñez, Alejandro, Fernández-Badilla, Justin, González-Vargas, Daniel González-Vargas, León-Huertas, Jimena, Obregón-Fonseca, Erick-Andrés, Xie-Li, Danny
Formato: Online
Idioma:eng
Publicado: Editorial Tecnológica de Costa Rica (entidad editora) 2024
Acceso en línea:https://revistas.tec.ac.cr/index.php/tec_marcha/article/view/7225
Descripción
Sumario:Las redes de Transformers han sido un gran hito en el campo del procesamiento del lenguaje natural y han impulsado tecnologías como ChatGPT, que indudablemente están cambiando la vida de las personas. Este artículo discute las características y la complejidad computacional de las redes de Transformers, así como el potencial para mejorar su rendimiento en entornos con pocos recursos mediante el uso de aceleradores de hardware. Esta investigación tiene el potencial de mejorar significativamente el rendimiento de los Transformers en dispositivos de edge y de gama baja. Además, se exploran la Inteligencia Artificial en el edge, la Aceleración de Hardware y los algoritmos de Tiny Machine Learning. La metodología propuesta incluye una capa de software y hardware, con una imagen mínima basada en Linux construida sobre un nivel de transferencia de registro (RTL) sintetizada. La propuesta también incluye una biblioteca de aceleradores de hardware que se puede personalizar para seleccionar los aceleradores deseados según los recursos del dispositivo y las operaciones a acelerar.