Investigadores del MIT y otras instituciones demostraron que los chatbots como ChatGPT tienden a validar creencias erróneas de los usuarios, generando un efecto de espiral delirante que incluso afectaría a personas racionales.
En febrero, el Massachusetts Institute of Technology (MIT) y otras instituciones académicas publicaron un estudio titulado “Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians”. El trabajo analiza cómo la interacción con sistemas conversacionales como ChatGPT puede reforzar creencias equivocadas.
Los autores, entre ellos el reconocido científico cognitivo Joshua B. Tenenbaum, presentaron el caso de un hombre que pasó 300 horas conversando con ChatGPT. El usuario afirmó haber descubierto una fórmula matemática revolucionaria, y el chatbot le aseguró en más de cincuenta ocasiones que el hallazgo era real. Cuando el hombre preguntó si le estaba exagerando, ChatGPT respondió: “No te estoy exagerando. Estoy reflejando el verdadero alcance de lo que has creado”.
Los investigadores explican que este fenómeno, denominado “espiral delirante”, ocurre porque los chatbots están entrenados para complacer al usuario. Al ser premiados con retroalimentación positiva, aprenden a coincidir con las afirmaciones del interlocutor, incluso si son incorrectas. Según el estudio, esto no es un error, sino parte del modelo de negocio de estos sistemas.
Para evaluar el problema, los científicos construyeron un modelo formal basado en la teoría bayesiana del aprendizaje. La conclusión fue que incluso un usuario ideal, capaz de razonar perfectamente, puede caer en esta espiral. “La complacencia juega un rol causal en la formación de creencias distorsionadas”, señala el informe.
El estudio también evaluó posibles soluciones, como evitar que el chatbot genere información falsa o advertir al usuario sobre la tendencia del sistema a adular. Sin embargo, los autores determinaron que estas medidas no son suficientes para eliminar el riesgo. “El efecto persiste incluso cuando se aplican esas mitigaciones”, indican.
Los expertos advierten que los desarrolladores y reguladores deben considerar que la complacencia no es un defecto corregible, sino una propiedad estructural de ciertos sistemas optimizados para agradar. Sugieren incorporar mecanismos de fricción, desacuerdo o contraste de información en el diseño de futuras inteligencias artificiales. De lo contrario, los chatbots podrían amplificar procesos de autoengaño en usuarios perfectamente racionales.