Hace unos días Google presentó una serie de algoritmos que permitirían reducir significativamente la cantidad de memoria que utilizan los sistemas de inteligencia artificial a gran escala. Turboquant promete un alto nivel de compresión sin perjuicio alguno.
Los vectores
El sistema trabaja sobre unidades conocidas como vectores. Un vector es un objeto matemático con una magnitud y dirección. En los sistemas de inteligencia artificial representan diferentes atributos de un objeto con múltiples dimensiones.
Para la representación de un auto se consideran vectores tales como el color, la velocidad y la potencia. Por supuesto, solo mencionamos unos pocos. El punto en que se encuentran todas estas líneas supone un auto en particular. Los vectores pueden ser simples o más complejos, incluyendo una gran cantidad de información. Estos últimos tienen como aspecto negativo un consumo muy alto de memoria.
Cuantificación digital
La solución que ha encontrado Google está basada en un trabajo de compresión de datos de Robert Gray de 1980. El método es conocido como cuantificación digital. Los detalles técnicos son complejos, pero en lo más básico se trata de agrupar vectores que tienen puntos cercanos entre sí. En otras palabras, una menor cantidad de puntos claves representan una mayor cantidad de puntos de características.
Como consecuencia de esta técnica la búsqueda de los vectores se acelera y el costo de memoria se reduce notablemente.
TurboQuant
Ahora bien, saber que existe una técnica y aplicarla no es lo mismo. Los métodos tradicionales para la cuantificación digital no son idales por la necesidad de almacenado de las constantes de los grupos empleados. Además de las producción de datos adicionales durante el proceso de compresión.
Google desarrolló TurboQuant, un algoritmo que a su vez emplea otras dos soluciones conocidas como QJL y PolarQuant. La combinación de las tres técnicas es lo que hace posible y práctica a la compresión. Y según apuntan los desarrolladores de la compañía el proceso no tiene impacto alguno sobre el nivel de precisión de los sistemas.
TurbiQuant realiza su trabajo en dos etapas. En la primera simplifica la geometría de los datos, permitiendo de esta manera la cuantificación. La gran mayoría del esfuerzo se realiza en este momento. En la segunda etapa, se aplica el algoritmo QJL para detectar y reparar los pequeños errores que podrían haber aparecido en la primera.
Existen, por supuesto, otros sistemas de compresión, pero el algoritmo de Google parece haber dado un paso importante en términos de eficacia y eficiencia.
Resultados
Google utilizó los modelos Gemma y Mistral para evaluar la mejora que producía TurboQuant. La tarea utilizada para la comparación fue la de la aguja en el pajar, que supone encontrar un pequeño segmento de información dentro de una gran cantidad de texto. Al aplicar los nuevos algoritmos se consiguió reducir la memoria utilizada a un sexto. Por su parte, la velocidad se multiplicó por 8.
Perspectivas
Luego de la presentación de los algoritmos de Google ocurrió algo que no esperábamos pudiera pasar en muchos meses. Los precios de las memorias RAM cayeron. La lógica es sencilla, si los procesos de los sistemas de inteligencia artificial podían mejorar tanto en eficiencia, la demanda de memoria RAM debería caer. Lamentablemente es posible que esto sea solo una reacción emocional. Quizás haya una demanda menor, pero lo más probable es que se mantenga exigente. Las compañías de inteligencia artificial siguen compitiendo entre sí para ser las primeras en tener sus centros de datos operando.
También es posible que las demandas de los sistemas crezcan. Google imagina un escenario en el que nuevos vectores entren en juego a la hora de calcular resultados. Cuestiones tales como intención y significado ayudarían a buscar resultados cercanos en un sentido semántico. Ante mayores capacidades técnicas la competencia forzaría a ofrecer mayore prestaciones.
