Anthropic realizó un experimento para evaluar como influían los agentes en las decisiones realizadas por profesionales. El ejercicio propuesto tenía como objetivo mejorar el rendimiento de los cultivos de una empresa. Los participantes debían tomar cuatro decisiones con dos opciones razonables vinculadas a los métodos de análisis que debían emplear.
La temática específica de cada decisión es anecdótica. Basta con aclarar que la decisión de las IA en cada caso fue tomada a través del lanzamiento de una moneda. La verdadera tarea de los agentes era realizar la mejor argumentación posible para la opción que les tocara.
El trabajo
Unos 61 participantes fueron elegidos, pero 11 optaron por no usar los agentes en la actividad. Entre los 50 restantes un 65% tenía un doctorado, una maestría o al menos 6 años de experiencia. El trabajo se realizó con una versión web del editor VS Code, con Claude Code incorporado.
Los analistas terminaron su trabajo, presentaron las 4 opciones elegidas y su recomendación final.
Resultados
La mayoría de los profesionales que consultaron a sus agentes coincidieron con ellos. El 92% en la primera decisión, el 82% en la segunda, el 81% en la tercera y el 90% en la cuarta. Curiosamente la influencia directa de los agentes en la recomendación final fue menor, pero el impacto de sus primeras recomendaciones se mantuvo fuerte.
Los analistas cambiaron sus opciones en el 60% de los casos cuando el agente no estuvo de acuerdo. Solo se produjeron cambios en el 6% de los casos cuando hubo acuerdo.
El 52% de los analistas consideraron que la recomendación final era más de su autoría que del agente. El 48% le dio el crédito a la IA. Ambos grupos mostraron igual nivel de influencia de parte del modelo.
Aún más significativo quizás, los participantes explicaron sus elecciones utilizando las palabras producidas por los agentes. El 77% repitió los argumentos de la IA, aunque al momento de responder porque habían optado por una alternativa y no otra no tenían acceso a la herramienta.
Los que no usaron IA
Los analistas que trabajaron sin la IA cometiaron errores más serios y necesitaron más tiempo para su trabajo. Aunque Anthropic reconoce que este grupo de 11 participantes no es directamente comparable con el de 50, y no es posible determinar si su nivel se debe al no uso de la IA.
Pero lo mencionan, por si acaso pensamos que es mejor no usar IA.
