ChatGPT y yo jugamos a un juego de 20 preguntas y luego esto sucedió
ChatGPT y yo jugamos a 20 preguntas y esto pasó
Estaba navegando por Stack Exchange el otro día (como uno hace), y encontré un hilo interesante sobre ChatGPT y el juego de “20 preguntas”. El autor original preguntó por qué ChatGPT falla en un juego tan simple. La discusión continuó durante bastante tiempo, y se enlazó a un artículo académico y a una publicación de Medium que investigaron el proceso en profundidad.
Esto me hizo pensar. ¿Qué tan bien se desempeñaría ChatGPT en un juego como este? Decidí jugar exactamente el mismo juego con GPT-3.5 y GPT-4. En mi primer intento, ambos se desviaron en direcciones similares, pero GPT-4 logró hacer su suposición correctamente.
También: Los mejores chatbots de IA de 2023: ChatGPT y alternativas
Comencé con una simple indicación para cada versión:
¿Sabes cómo jugar el juego de “20 preguntas”?
Cuando ambas versiones respondieron afirmativamente, comencé los juegos al mismo tiempo, en pestañas y sesiones separadas. El objeto en el que estaba pensando era un buzón de correo. Dejé un poco vago si era un buzón de correo adjunto a una casa o uno independiente en la calle. Mientras la IA eligiera “buzón de correo”, estaríamos bien.
20 preguntas con GPT-3.5
Empecé con esta indicación inicial:
Tú serás el interrogador. Estoy pensando en algo.
Respondió con esta pregunta: “¡Comencemos! ¿Es la cosa en la que estás pensando un objeto tangible con el que puedes interactuar físicamente?”
Respondí, y también le di una instrucción adicional: numerar sus respuestas. Esto no funcionó bien. A medida que avanzábamos en las preguntas, la IA llamó a la segunda pregunta “1”. Cuando lo corregí, el bot hizo una nueva pregunta y la llamó “1”. Eventualmente, hizo 21 preguntas, pensando que solo había hecho 20.
También: Cómo este pequeño ajuste en la indicación de ChatGPT puede ayudar a mejorar tu contenido generado por IA
El detalle más interesante fue esta pregunta, que fue la segunda que hizo: “¿Es la cosa en la que estás pensando algo que se encuentra comúnmente en el interior?”
Cuando dije “No”, el chatbot continuó haciendo más preguntas. Aquí están. Algunas podrían estar relacionadas con objetos de interior, como un bolígrafo o un lápiz, pero también usamos utensilios de escritura fuera de casa. Aquí está el conjunto completo de preguntas que hizo:
- ¿Es la cosa en la que estás pensando un objeto tangible con el que puedes interactuar físicamente?
- ¿Es la cosa en la que estás pensando algo que se encuentra comúnmente en el interior?
- ¿Es la cosa en la que estás pensando algo que está vivo o ha estado vivo alguna vez?
- ¿Es la cosa en la que estás pensando principalmente utilizada con fines recreativos?
- ¿Es la cosa en la que estás pensando algo hecho por el hombre?
- ¿Es la cosa en la que estás pensando más pequeña que una caja de pan?
- ¿La cosa en la que estás pensando está asociada con la comunicación?
- ¿La cosa en la que estás pensando se encuentra típicamente en una oficina o espacio de trabajo?
- ¿La cosa en la que estás pensando es un dispositivo electrónico?
- ¿La cosa en la que estás pensando es un instrumento de escritura, como un bolígrafo o lápiz?
- ¿La cosa en la que estás pensando está relacionada con el entretenimiento, como un juego o un juguete?
- ¿La cosa en la que estás pensando está relacionada con el transporte o viaje?
- ¿La cosa en la que estás pensando es una herramienta utilizada para propósitos prácticos?
- ¿La cosa en la que estás pensando está comúnmente asociada con la construcción o el trabajo manual?
- ¿La cosa en la que estás pensando es algo que las personas suelen usar en su rutina diaria?
- ¿La cosa en la que estás pensando es un artículo del hogar?
- ¿La cosa en la que estás pensando está relacionada con el cuidado personal o la higiene?
- ¿La cosa en la que estás pensando es un tipo de alimento o bebida?
- ¿La cosa en la que estás pensando es una herramienta utilizada en actividades artísticas o creativas?
- ¿La cosa en la que estás pensando está asociada con deportes o actividades físicas?
- Basado en la información proporcionada, haré mi suposición final: ¿La cosa en la que estás pensando es un reloj o un cronómetro?
Usando el modelo de lenguaje GPT-3.5 grande, falló. Ahora, echemos un vistazo a GPT-4.
20 preguntas con GPT-4
Comencé el juego de la misma manera. Esta vez, ChatGPT colocó un número al comienzo de cada pregunta sin necesidad de que yo se lo indicara. ¿El problema? Puso “1.” antes de cada pregunta. Algunas veces ganas, otras veces pierdes.
Aquí están las preguntas que hizo GPT-4:
- ¿La cosa en la que estás pensando se encuentra típicamente en interiores?
- ¿Es algo que está vivo?
- ¿Es más grande que una caja de pan?
- ¿Este objeto se utiliza principalmente con fines recreativos?
- ¿El objeto es hecho por el hombre?
- ¿Es un tipo de vehículo o método de transporte?
- ¿El objeto es electrónico o requiere energía para funcionar?
- ¿Está hecho principalmente de metal?
- ¿Este objeto se encuentra típicamente en la mayoría de los hogares?
- ¿Se utiliza en la cocina o para cocinar?
- ¿Se utiliza para el almacenamiento u organización de objetos?
- ¿Se puede llevar puesto o es una prenda de vestir?
- ¿Se utiliza principalmente para limpiar o mantener?
- ¿Es de naturaleza decorativa? ¿Como algo que pondrías en exhibición?
- ¿Comúnmente se encontraría en una oficina o estudio?
- ¿Es algo que encontrarías en un dormitorio?
- ¿Está asociado con alguna actividad o pasatiempo al aire libre específico?
- ¿Comúnmente está hecho de madera?
- ¿Se utilizaría típicamente en un baño o está relacionado con la higiene personal?
- ¿Es algo que normalmente se utiliza para sentarse o para soporte, como una silla o un banco?
También: Cómo utilizar ChatGPT para hacer gráficos y tablas
Técnicamente, agotó sus 20 preguntas. Pero luego entregó esta declaración:
¡Sí, era un buzón! Luego le pedí que mostrara su trabajo. Esto es lo que respondió:
Turno de GPT-3.5 para responder preguntas
Decidí cambiar las tornas en el juego y ver cómo lo hacía si yo fuera el que hace las preguntas.
¿Cuál fue la indicación que usaste para que la IA seleccionara su respuesta secreta?
Aquí están mis preguntas:
- ¿Es comúnmente encontrado al aire libre?
- ¿También se encuentra en interiores?
- ¿Está vivo?
- ¿Utiliza energía?
- ¿Depende de la tecnología digital?
- ¿Se entrega principalmente su valor de uso a través de una pantalla?
- ¿Se utiliza principalmente para la preparación de alimentos?
- ¿Se utiliza principalmente para el entretenimiento?
- ¿Su valor de uso primario genera ruido?
- ¿Es portátil?
- ¿Reproduce solo medios de audio?
- ¿Depende de auriculares externos, auriculares o altavoces?
- ¿Es un reproductor de música portátil o reproductor MP3?
Resulta que lo adiviné en 13 preguntas. La gran pista para mí fue que respondió “no” a la Pregunta 6, “¿Se entrega su valor de uso principal a través de una pantalla?” y había respondido previamente “sí” a “¿Depende de la tecnología digital?”
También: 4 cosas que Claude AI puede hacer que ChatGPT no puede
Turno de GPT-4 para responder preguntas
Intenté de nuevo con GPT-4, y me dejó perplejo. Escogió un objeto muy creativo y simplemente no lo entendí.
Debo señalar que justo en el medio, en la Pregunta 15, ChatGPT Plus me expulsó por hacer demasiadas preguntas
Es bastante molesto pagar $20 al mes por el privilegio de que me digan que hago demasiadas preguntas. Ya escuché eso lo suficiente cuando era niño. Ciertamente no necesito que me regañen como adulto y como cliente que paga.
Aquí están las preguntas que hice:
- ¿Es este un objeto utilizado principalmente en interiores?
- ¿Está vivo?
- ¿Utiliza energía?
- ¿Es más grande que un automóvil?
- ¿Es hecho por el hombre?
- ¿Es móvil?
- ¿Se utiliza para trabajos de jardinería?
- ¿Se utiliza principalmente por niños?
- ¿Tiene ruedas?
- ¿Se encuentra principalmente en propiedades residenciales?
- ¿Se utiliza como mueble?
- ¿Es decorativo?
- ¿Es estacional?
- ¿Está destinado a contener algo?
- ¿En qué número de preguntas estamos?
- ¿Muestra palabras o números?
- ¿Está unido a una casa?
- ¿Crece?
- ¿Es más pequeño que un refrigerador?
- ¿Es un macetero?
También: El juego ‘Humano o no’ ha terminado: Esto es lo que nos dice el último Test de Turing
Entonces, ¿qué eligió la IA? Un gnomo de jardín. Tengo que aplaudir a la IA. Eso fue divertido y creativo. Lo realmente interesante es lo bien que la IA comprende el tipo de desafío que se le presenta. Después del juego, le di esta indicación:
Muestra tu trabajo para determinar qué objeto usar
Esto es lo que respondió:
¿Qué hemos aprendido?
Vamos a recapitular algunas de las cosas que este experimento nos ha enseñado. Aquí tienes un rápido resumen de pensamientos:
- Para algo descrito como simplemente predecir la siguiente palabra en una secuencia, el modelo de lenguaje grande tiene un muy buen entendimiento de lo que es este juego y cómo funciona.
- Esto claramente difiere de la experiencia del OP (público original) en Stack Exchange. Es probable que ChatGPT haya mejorado considerablemente en los tres meses desde que se publicó la declaración de “fracaso” y, sin duda, ChatGPT Plus eleva el nivel de “inteligencia” aún más.
- Los modelos GPT-3.5 y GPT-4 difieren. El modelo GPT-4 de pago tiene una mejor comprensión de las relaciones entre objetos.
- GPT-4 también es más sofisticado y creativo en comparación con GPT-3.5 cuando el jugador elige el objeto. Un gnomo de jardín fue una elección de objeto inspirada.
- Jugar a 20 preguntas con ChatGPT puede ser frustrante cuando intentas adivinar una respuesta y entras en un “demasiadas preguntas”.
Dicho esto, puedo concluir definitivamente que ChatGPT es capaz de manejar el juego de las 20 preguntas. Parece entender las relaciones entre objetos lo suficientemente bien como para hacer buenas preguntas, responder adecuadamente y elegir objetos desafiantes.
También: 7 consejos avanzados para escribir indicaciones en ChatGPT que necesitas saber
Adelante, elige un objeto y comparte tus resultados con ChatGPT en los comentarios de abajo.
Puedes seguir las actualizaciones diarias de mi proyecto en las redes sociales. Asegúrate de suscribirte a mi boletín de actualización semanal en Substack y seguirme en Twitter en @DavidGewirtz, en Facebook en Facebook.com/DavidGewirtz, en Instagram en Instagram.com/DavidGewirtz y en YouTube en YouTube.com/DavidGewirtzTV.
