Por qué los modelos de IA ‘alucinan’ y se ‘inventan’ sus respuestas (y cómo esto puede desinformar)

(Maldita.es).- Las ‘alucinaciones’ de la IA se producen cuando un modelo genera una respuesta incorrecta, inexacta o sesgada. Esto sucede cuando no tienen información sobre el tema o malentienden la instrucción del usuario y resulta en que se ‘inventan’ hechos, citas, diagnósticos y análisis. Que una IA ‘alucine’ puede producir desinformación si no se contrastan las respuestas con fuentes fiables. Los expertos en IA consultados por Maldita.es advierten de que, de momento, no hay forma de deshacerse de ellas por completo (aunque hay formas de reducirlas). 

Como ejemplo de todo esto, hace unos días, un hombre noruego presentó una demanda contra OpenAI después de que su chatbot de IA, ChatGPT, asegurara falsamente que asesinó a sus dos hijos. Este tipo de respuestas, en las que una IA se ‘inventa’ el contenido, se denominan ‘alucinaciones’. 

¿Qué son las ‘alucinaciones’ de la IA y por qué ocurren?

Los modelos de IA, concretamente los grandes modelos de lenguaje que comprenden y generan texto, producen sus respuestas prediciendo la siguiente palabra plausible según el prompt y lo aprendido durante su entrenamiento.“Cuando una IA no encuentra en los textos de entrenamiento lo que busca, se lo ‘inventa’ y, por tanto, se produce una alucinación”, explica a Maldita.es María Dolores Rodríguez, investigadora en machine learning y catedrática de la Universidad de Alcalá. 

“El modelo siempre o casi siempre lanza una respuesta que, a pesar de no ser la correcta, puede que sea la ‘más probable’”, señala a Maldita.es Manuela Delgado, ingeniera industrial y responsable de proyectos de innovación en una consultora tecnológica. 

En la investigación ‘Are we tripping? The mirage of AI Hallucinations’ (‘¿Estamos flipando? El espejismo de las alucinaciones de la IA’), los investigadores Anna Mills y Nate Angell sostienen que llamarlas ‘alucinaciones’ refuerza la idea equivocada de que la IA es consciente. En su lugar, sugieren usar ‘espejismos’: “Un espejismo de IA es un artefacto de cómo los sistemas procesan los datos de entrenamiento y las indicaciones”.

¿Cómo afectan las ‘alucinaciones’ de la IA a la desinformación?

Cuando un modelo de IA se ‘inventa’ hechos, citas, cifras y análisis o distorsiona la realidad en su respuesta, esto puede generar desinformación.“Es el principal riesgo, pudiendo generar consecuencias más graves dependiendo de dónde ocurre”, afirma Rodríguez. Delgado pone de ejemplo el sector de la salud, donde una ‘alucinación’ tiene “un riesgo muy alto”.  Las ‘alucinaciones’ también “pueden producir problemas legales y éticos si, por ejemplo, generan respuestas erróneas sobre personas, empresas o instituciones que pueden derivar en problemas legales”, agrega Delgado. 

Según los expertos consultados por Maldita.es, detectar ‘alucinaciones’ no es una tarea sencilla. La recomendación general es siempre contrastar las respuestas que genera una IA con fuentes fiables. Además prestar atención a señales como respuestas con una seguridad excesiva pero sin fuentes comprobables, datos o nombres que no existen y explicaciones que suenan bien, pero no tienen sentido.

¿Es posible evitar por completo las respuestas inventadas por la IA? 

Los expertos consultados por Maldita.es coinciden en que, de momento, no hay una fórmula para deshacerse por completo de las ‘alucinaciones’ de la IA. Pero sí se pueden tomar medidas para reducirlos. Rodríguez destaca la importancia de entrenar los modelos con datos de alta calidad y actualizados. También sugiere incorporar técnicas de verificación y razonamiento en las herramientas y permitir a los modelos citar fuentes o decir “no lo sé”, en lugar de que ‘inventen’. 

En lo que respecta a los usuarios, Delgado sugiere mejorar los prompts, por ejemplo,pidiendo explícitamente a los chatbots de IA que citen fuentes fiables con información verificada. Sin embargo, como no siempre podrán hacerlo (pueden no estar conectados a internet o equivocarse igualmente), contrarrestar la información sigue siendo clave.

*Este contenido fue tomado de la Agencia de Contenidos de Maldita.es