ChatGPT responde incorrectamente a más de la mitad de las preguntas de ingeniería de software
ChatGPT responde incorrectamente a la mayoría de las preguntas de ingeniería de software

La capacidad de ChatGPT para proporcionar respuestas conversacionales a cualquier pregunta en cualquier momento lo convierte en un recurso práctico para sus necesidades de información. A pesar de la conveniencia, un nuevo estudio encuentra que es posible que no desee usar ChatGPT para consultas de ingeniería de software.
Antes del surgimiento de los chatbots de IA, Stack Overflow era el recurso de referencia para los programadores que necesitaban consejos para sus proyectos, con un modelo de pregunta y respuesta similar al de ChatGPT.
También: Cómo bloquear el nuevo rastreador web de entrenamiento de IA de OpenAI para que no ingiera sus datos
Sin embargo, con Stack Overflow, tienes que esperar a que alguien responda tu pregunta, mientras que con ChatGPT, no.
Como resultado, muchos ingenieros de software y programadores han recurrido a ChatGPT con sus preguntas. Dado que no había datos que mostraran qué tan eficaz es ChatGPT para responder ese tipo de consultas, un nuevo estudio de la Universidad de Purdue investigó el dilema.
- Las mejores ofertas de impresoras láser HP, Epson, Xerox, Canon des...
- YouTube mostrará un feed de inicio en blanco si tienes el historial...
- Mejores Accesorios para Impresión 3D Mejora tu Impresora 3D
Para averiguar qué tan eficiente es ChatGPT para responder consultas de ingeniería de software, los investigadores le dieron a ChatGPT 517 preguntas de Stack Overflow y examinaron la precisión y calidad de esas respuestas.
También: Cómo usar ChatGPT para escribir código
Los resultados mostraron que de las 512 preguntas, 259 (52%) de las respuestas de ChatGPT eran incorrectas y solo 248 (48%) eran correctas. Además, un asombroso 77% de las respuestas eran verbosas.
A pesar de la inexactitud significativa de las respuestas, los resultados mostraron que las respuestas eran comprensivas el 65% del tiempo y abordaban todos los aspectos de la pregunta.
Para analizar aún más la calidad de las respuestas de ChatGPT, los investigadores pidieron a 12 participantes con diferentes niveles de experiencia en programación que dieran sus opiniones sobre las respuestas.
También: El equipo de pruebas de Microsoft ha monitoreado la IA desde 2018. Aquí están cinco ideas importantes
Aunque los participantes prefirieron las respuestas de Stack Overflow sobre las de ChatGPT en varias categorías, como se ve en el gráfico, los participantes no lograron identificar correctamente las respuestas generadas por ChatGPT incorrectas en un 39.34% del tiempo.
Según el estudio, las respuestas bien articuladas generadas por ChatGPT hicieron que los usuarios pasaran por alto información incorrecta en las respuestas.
“Los usuarios pasan por alto información incorrecta en las respuestas de ChatGPT (39.34% del tiempo) debido a la exhaustividad, la buena articulación y los conocimientos humanos en las respuestas de ChatGPT”, escribieron los autores.
También: Cómo ChatGPT puede reescribir y mejorar su código existente
La generación de respuestas que suenan plausibles pero incorrectas es un problema importante en todos los chatbots, ya que permite la propagación de información errónea. Además de ese riesgo, las bajas puntuaciones de precisión deberían ser suficientes para hacer que reconsideres el uso de ChatGPT para este tipo de consultas.