El 3 de septiembre OpenAI publicó una serie de estadísticas que ilustraban el funcionamiento de su modelo GPT-6 Astra. Lo curioso es que, según reporta Fortune, desde entonces los números han sido actualizados. El modelo de OpenAI ha mejorado y sus rivales han empeorado, pero luego todo ha vuelto a como era antes. O quien sabe que cifras tendremos en unas horas.
Una publicación actualizada
OpenAI tenía planeado publicar su informe a las 2 de la tarde. Sin embargo, durante unas dos horas el enlace que apareció en las redes producía un mensaje de error. La compañía apuntó a diferentes razones para lo ocurrido: dificultades en el sistema de manejo de contenido y una caída de Internet. Luego de estar disponible el texto sufrió varias actualizaciones con cambios en las estadísticas presentadas.
Lo cierto OpenAI había publicado el informe más o menos a la hora establecida. Sin embargo decidió retirarlo. La compañía señala que no puede compartir los motivos de dicha decisión, pero que no tiene nada que ver con las estadísticas. Es decir, que pasamos de algo del sistema, a Internet a motivos misteriosos. Es una pena que no puedan mejorar sus sistemas con la ayuda de una inteligencia superior.
Cada quien atiende su juego
Una posibilidad es que al momento de publicar el informe los desarrolladores todavía estuvieran haciendo pruebas con el modelo. Al obtener mejores estadísticas OpenAI vio la oportunidad de corregir la publicación a su favor.
En cuyo caso bien podrían haberlo dicho claramente sin que cambiara mucho el valor del texto. Porque realmente nadie que conozca un poco como funcionan las mediciones de las desarrolladoras toma con pura confianza los datos que ofrecen. De por sí los entornos a menudo son demasiado ideales y los objetivos planteados en función a lo que más favorece a cada modelo. OpenAI ha admitido a la prensa que se hicieron correcciones en los números según las mejores estimaciones posible para que los usuarios pudieran hacer comparaciones útiles. Y mientras tanto los números seguían cambiando.
Números cambiantes
Algunos cambios realizados por las empresa solo pueden entenderse dentro de una organización caótica y con diferentes grupos de trabajo.
Astra pasó de un índice de alucinación del 4,2% a un 2%. Sol pasó de un 12,2% a un 9,4%. Pero un tiempo después los valores originales fueron restaurados. En el campo de las matemáticas Fable, de Anthropic, llegó a tener un puntaje del 87,8%, luego cambió a 78% y luego cambió de nuevo a un 83%.
