Propuesta de biblioteca de aceleradores de código abierto para inferencia de redes Transformer en dispositivos perimetrales

Las redes de Transformers han sido un gran hito en el campo del procesamiento del lenguaje natural y han impulsado tecnologías como ChatGPT, que indudablemente están cambiando la vida de las personas. Este artículo discute las características y la complejidad computacional de las redes de Transforme...

Full description

Bibliographic Details
Main Authors: Araya-Núñez, Alejandro, Fernández-Badilla, Justin, González-Vargas, Daniel González-Vargas, León-Huertas, Jimena, Obregón-Fonseca, Erick-Andrés, Xie-Li, Danny
Format: Online
Language:eng
Published: Editorial Tecnológica de Costa Rica (entidad editora) 2024
Online Access:https://revistas.tec.ac.cr/index.php/tec_marcha/article/view/7225
Description
Summary:Las redes de Transformers han sido un gran hito en el campo del procesamiento del lenguaje natural y han impulsado tecnologías como ChatGPT, que indudablemente están cambiando la vida de las personas. Este artículo discute las características y la complejidad computacional de las redes de Transformers, así como el potencial para mejorar su rendimiento en entornos con pocos recursos mediante el uso de aceleradores de hardware. Esta investigación tiene el potencial de mejorar significativamente el rendimiento de los Transformers en dispositivos de edge y de gama baja. Además, se exploran la Inteligencia Artificial en el edge, la Aceleración de Hardware y los algoritmos de Tiny Machine Learning. La metodología propuesta incluye una capa de software y hardware, con una imagen mínima basada en Linux construida sobre un nivel de transferencia de registro (RTL) sintetizada. La propuesta también incluye una biblioteca de aceleradores de hardware que se puede personalizar para seleccionar los aceleradores deseados según los recursos del dispositivo y las operaciones a acelerar.