La plataforma de revisión de código CodeRabbit ha realizado un examen comparativo sobre la incidencia en los errores de los modelos de inteligencia artificial y los seres humanos. Para esta tarea ha examinado unos 470 pedidos de revisión en trabajos de código abierto. De estos 320 fueron realizados en código producido en colaboración con una IA y 150 sin la ayuda de esta herramienta.
Errores
El trabajo demostró que la participación de las IA llevaba a un un aumento del 70% en los problemas detectados. Además, los problemas producidos por las IA tendían a ser más graves que los producidos por los seres humanos. En general se encontraron un 40% de errores críticos adicionales y un 70% de errores de gravedad
El mayor problema para las IA ha sido la lógica, el aumento en defectos vinculados a este aspecto ha sido del 75%. En segundo lugar se han encontrado problemas de calidad y mantenimiento con un aumento del 64%, luego aparecen cuestiones de seguridad con un 57% y finalmente rendimiento con un 42%.
Seguridad
Notablemente, el problema de seguridad que más agravan las IA es el de la vulnerabilidad a la introducción de código malicioso en sitios web. El nivel de incidencia es un 174% superior. Otros problemas graves fueron el acceso a elementos a los que los usuarios no deberían tener acceso, y el mal manejo de contraseñas.
Mayor productividad, pero a que costo
Los modelos generativos han probado que, en algunas ocasiones, aumentan la productividad de los programadores. Son especialmente útiles en manos de personas con experiencia y conocimiento.
Las IA pueden ofrecer soluciones rápidas a tareas específicas. Pero cuando se examina su desempeño en trabajos más amplios se encuentran muchos problemas surgidos de la falta de comprensión del contexto y el sentido de cada elemento.
En general, las IA buscan patrones y producen resultados promedio. Lo que incluye los errores más frecuentes producidos por los seres humanos, pero consolidados por la lógica de la máquina.
