Las alucinaciones de la IA están creando riesgos reales para las empresas

A estas alturas, todos sabemos lo que es una alucinación de IA, al menos en términos generales: un resultado que parece correcto, pero que en realidad no lo es. Pueden ser divertidas, como cuando el chatbot Bard (ahora Gemini) de Google afirmó con seguridad durante un vídeo promocional y una demostración en directo que el telescopio espacial James Webb había tomado la primera fotografía de un exoplaneta, un hecho que simplemente se inventó, ya que la primera imagen de este tipo fue tomada en realidad por otro telescopio años antes. Esto no le hizo tanta gracia a la dirección y a los accionistas de Google: la empresa matriz de Google, Alphabet, perdió aproximadamente 100 000 millones de dólares en capitalización bursátil, y sus acciones se desplomaron entre un 8 % y un 9 % inmediatamente después de la demostración.  

No se trata de meros fallos técnicos, sino de grietas en la fiabilidad de la IA. Los estudios indican que algunos de los modelos de IA más nuevos y potentes generan más errores, no menos, incluso a medida que mejoran su fluidez y capacidades.1 Para las empresas y la sociedad, los peligros y consecuencias de las alucinaciones de la IA son cada vez más evidentes en incidentes del mundo real, desde errores embarazosos de los chatbots hasta costosas responsabilidades legales.  

Las empresas están prestando más atención a las alucinaciones y al daño que pueden causar a la empresa.  

¿Qué son las alucinaciones de la IA? 

En términos sencillos, una alucinación de IA se produce cuando un modelo de IA genera información que parece plausible, pero que es falsa o no se basa en la realidad. La metáfora de la «alucinación» es adecuada porque, al igual que una persona que ve algo que no existe, la IA percibe patrones o respuestas que en realidad no existen. 

¿Por qué se producen estas alucinaciones? Se debe a que los modelos de IA generativa están diseñados para predecir resultados plausibles en lugar de verificar la veracidad. Un LLM genera texto mediante la predicción estadística de la siguiente palabra o frase basándose en patrones aprendidos a partir de una gran cantidad de datos de entrenamiento. Este proceso optimiza la fluidez (la respuesta suena correcta y está bien redactada) y la relevancia con respecto a la pregunta, no la precisión. Como explica un ingeniero de IA, el objetivo principal del modelo es continuar la secuencia de palabras de una manera que parezca correcta, «independientemente de si el resultado se ajusta a la realidad o al contexto de la pregunta».2  

Por lo tanto, si el modelo no ha aprendido una respuesta correcta o la pregunta está fuera de su ámbito de conocimiento, a menudo improvisará, uniendo fragmentos de información que parecen creíbles pero que pueden ser totalmente erróneos. El enorme alcance de los datos de entrenamiento (gran parte de ellos contenidos de Internet sin verificar) también significa que el modelo ha absorbido innumerables inexactitudes y sesgos, que puede regurgitar o recombinar en nuevas falsedades. La IA actual carece de un mecanismo integrado de verificación de hechos: no tiene una comprensión fundamentada de la verdad frente a la ficción.  

Incluso si se entrenara solo con información precisa, una IA podría recombinar los hechos de forma incorrecta debido a la naturaleza probabilística de su generación de texto. En lugar de comprender realmente la información, los sistemas de IA digieren estadísticamente grandes cantidades de texto y recombinan palabras basándose en patrones aprendidos a partir de los datos de entrenamiento, sin tener en cuenta el contexto ni los fundamentos fácticos. Esta generación «ciega al conocimiento» es la razón por la que los resultados de la IA pueden parecer autoritarios y, sin embargo, ser completamente erróneos, lo que pilla desprevenidos a los usuarios. 

Por qué y cómo las alucinaciones de la IA pueden resultar costosas para las empresas 

Cuando los sistemas de IA alucinan información, las consecuencias pueden ir desde un leve inconveniente hasta un daño grave. Lo que hace que estos resultados falsos sean especialmente peligrosos es que a menudo se presentan de una manera muy segura y coherente, lo que dificulta a los usuarios distinguir la realidad de la ficción.  

Erosión de la confianza y la reputación de la marca.  Las alucinaciones de la IA pueden socavar gravemente la confianza en una empresa y sus productos y servicios. Los clientes rara vez distinguen entre «la IA cometió un error» y «su empresa me proporcionó información falsa». En cualquier caso, la credibilidad de la empresa está en juego. Un solo error de gran repercusión puede destrozar la confianza ganada con tanto esfuerzo. El incidente de Google Bard mencionado anteriormente pone de relieve cómo las alucinaciones públicas pueden traducirse en enormes costes financieros y de reputación. Los ejecutivos señalan que si un servicio basado en IA da un solo consejo falso o una cita falsa, años de confianza de los clientes pueden evaporarse al instante. En un caso, el chatbot de una aerolínea proporcionó información incorrecta sobre las políticas. Cuando se supo la verdad, la empresa se enfrentó a consecuencias legales y tuvo que desactivar el bot, lo que dañó la confianza de los clientes.3 La defensa (ante los tribunales y la opinión pública) de que fue culpa de la IA no funcionó.  

Las alucinaciones son peores que los errores humanos.  Un error de la IA puede ser más perjudicial que un error humano. Los consumidores suelen considerar que los errores humanos son más comprensibles y perdonables que los generados por la IA, ya que empatizan con la falibilidad humana y esperan una mayor precisión de los sistemas de IA. Las alucinaciones de la IA parecen arbitrarias, carecen de responsabilidad y empatía, y disminuyen la sensación de control de los consumidores, lo que amplifica la frustración y erosiona la confianza. En última instancia, la percepción de que una empresa se basa en una IA defectuosa resulta más inquietante para los consumidores que la falibilidad de sus empleados. 

Desinformación y toma de decisiones erróneas. Los resultados erróneos pueden llevar a los empleados y a sus empresas a tomar decisiones equivocadas con consecuencias reales. Por ejemplo, consideremos un escenario de servicios financieros. Si un asistente de IA proporciona una tasa de interés desactualizada o una evaluación de riesgo calculada incorrectamente, un cliente o banquero que actúe basándose en esa información errónea podría perder dinero o infringir las normas de cumplimiento.  

En el sector público, se produjo un ejemplo llamativo en la ciudad de Nueva York, donde un chatbot municipal destinado a ayudar a los ciudadanos dio consejos erróneos y, de hecho, ilegales, ya que sugería acciones que, sin quererlo, infringían las leyes municipales y federales. Si los usuarios hubieran seguido esas indicaciones (sobre temas que iban desde la seguridad alimentaria hasta la salud pública), podrían haber enfrentado multas u otras sanciones.4 

Pérdidas financieras y costes ocultos. El coste directo de una alucinación de la IA puede ser considerable. En el incidente de la aerolínea mencionado anteriormente, además del reembolso en sí, la aerolínea incurrió en gastos legales, mala prensa y un golpe a la buena voluntad de los clientes. Si un chatbot diera un consejo de inversión erróneo o una orientación incorrecta sobre el cumplimiento normativo, las consecuencias financieras podrían ser aún mayores. 

Aparte de estas pérdidas directas, las alucinaciones introducen costes ocultos. Cada vez que una IA produce un error, los humanos deben detectarlo y corregirlo. Por ejemplo, los desarrolladores de software que utilizan IA para la generación de código han descubierto que el código alucinado (errores, API incorrectas, etc.) puede anular las ganancias de productividad, ya que dedican más tiempo a depurar el código escrito por la IA, a veces más que si lo escribieran ellos mismos. Las empresas también deben invertir en mecanismos de supervisión (revisión humana, pruebas, etc.), pagando efectivamente un «impuesto» sobre los resultados de la IA para garantizar la calidad. Todos estos gastos generales significan que, si las alucinaciones son frecuentes, las supuestas ganancias de eficiencia de la IA se ven mermadas o incluso revertidas. 

Responsabilidad legal y riesgos de cumplimiento normativo. Cuando los sistemas de IA proporcionan información falsa en ámbitos regulados o de alto riesgo, las organizaciones pueden verse envueltas en problemas legales. Los abogados no son en absoluto inmunes a ello.  

El sitio web«AI Hallucination Cases Database» (Base de datos de casos de alucinaciones de IA), comisariado por el jurista Damien Charlotin, recopila un número cada vez mayor de resoluciones judiciales que destacan casos de contenido jurídico alucinatorio generado por IA, incluyendo citas inventadas, citas falsas y precedentes tergiversados.5 Según una actualización reciente, la base de datos recoge más de 200 casos en todo el mundo, y más de 125 solo en Estados Unidos.6 Estos episodios pueden constituir una falta profesional y han dado lugar a sanciones reales.  

Más allá de los tribunales, la difamación y la desinformación generadas por la IA plantean una preocupación creciente en materia de responsabilidad civil. ChatGPT, por ejemplo, inventó una falsa acusación de soborno contra un alcalde australiano, lo que casi provocó una demanda por difamación contra su creador, OpenAI. (En realidad, el alcalde era un denunciante en ese caso, no un delincuente).7  

Los reguladores son muy conscientes de estos riesgos, y las organizaciones pueden enfrentarse a medidas reguladoras si los errores provocados por la IA causan daños a los consumidores. Como mínimo, las empresas se enfrentan al riesgo de demandas, sanciones o multas reguladoras cuando alguien confía en los resultados de la IA que resultan ser falsos y perjudiciales. El principio jurídico es claro: si su IA actúa como agente de su empresa, es probable que usted sea responsable de lo que esta comunique a las personas. 

Riesgos para la seguridad y lesiones personales. Si un sistema de IA responsable de controlar procesos físicos —como la navegación autónoma de vehículos, las operaciones con drones o la cirugía robótica— alucina señales falsas o malinterpreta los datos de los sensores, puede provocar accidentes graves, daños físicos o incluso muertes. Aunque estos incidentes son poco frecuentes, ya que la IA totalmente generativa no se utiliza de forma generalizada en áreas críticas para la seguridad, la posibilidad de que se produzcan consecuencias catastróficas sigue siendo significativa. La IA de atención al cliente podría generar indicaciones incorrectas, instruyendo a los usuarios a realizar acciones inseguras, como manejar incorrectamente maquinaria peligrosa, mezclar inadecuadamente productos químicos peligrosos o intentar reparaciones inseguras. Del mismo modo, los asistentes sanitarios basados en IA que generen consejos médicos o dosis de medicamentos incorrectas podrían provocar directamente lesiones o la muerte de los pacientes. 

Impacto en el futuro del uso de la IA 

Precaución en la adopción.Muchas organizaciones siguen mostrándose cautelosas a la hora de integrar la IA en procesos críticos hasta que se controle mejor el problema de las alucinaciones. Las encuestas realizadas en sectores como el financiero muestran que las preocupaciones sobre la precisión y la integridad de los datos se encuentran entre los principales obstáculos para la adopción de la IA. Los líderes saben que un solo error de la IA en un contexto de alto riesgo (por ejemplo, proporcionar información incorrecta sobre el cumplimiento normativo o comunicar datos erróneos a un cliente) podría tener consecuencias desmesuradas. Por lo tanto, es de esperar que, en un futuro próximo, la IA se utilice de forma limitada o bajo una estrecha supervisión para tareas de misión crítica.  

En el ámbito sanitario, es probable que las sugerencias diagnósticas de la IA requieran la aprobación de un profesional médico en lugar de estar totalmente automatizadas. Esta práctica necesaria de «intervención humana» refleja una amplia constatación: hasta que la IA sea capaz de realizar una tarea concreta de forma fiable y sin errores, la automatización total es arriesgada. La otra cara de la moneda es que las organizaciones que adoptan la IA deben presupuestar los costes de supervisión continua, lo que podría ralentizar las ganancias de eficiencia impulsadas por la IA. 

Confianza y aceptación por parte de los usuarios. La persistencia de las alucinaciones amenaza con socavar la confianza del público en la IA en un momento crítico. Si los clientes y usuarios llegan a considerar que los resultados de la IA no son fiables, se mostrarán menos dispuestos a utilizar estas herramientas para asuntos importantes. Después de experimentar chatbots que dan respuestas erróneas o extrañas, los usuarios suelen volver a los motores de búsqueda tradicionales o a los asesores humanos para obtener información fiable. La conciencia de las alucinaciones ha provocado un comportamiento positivo en algunos grupos de usuarios: los estudios indican que saber que una IA puede equivocarse lleva a los usuarios a verificar la información con más diligencia, lo cual es una buena habilidad de alfabetización digital que conviene desarrollar.8  

Carrera técnica por la fiabilidad. Las alucinaciones han desencadenado intensos esfuerzos de investigación y desarrollo, esencialmente una carrera armamentística para hacer que la IA sea más «veraz» y basada en la realidad. Los principales laboratorios de IA están explorando diversas técnicas: aprendizaje por refuerzo a partir de la retroalimentación humana (para penalizar los resultados falsos), integración de la recuperación de conocimientos en tiempo real, mejores arquitecturas que «saben cuándo no saben», y mucho más. Sam Altman, director ejecutivo de OpenAI, se ha mostrado optimista sobre los avances que se producirán y ha pronosticado que el problema «mejorará mucho» en uno o dos años, hasta el punto de que quizá ya no se hable tanto de él.  

Entorno normativo y jurídico. Cabe destacar que la prevalencia de las alucinaciones de la IA está llamando la atención de los legisladores y reguladores, lo que influirá en la forma en que se puede utilizar la IA. Ya estamos viendo requisitos y propuestas en las leyes estadounidenses y en otros lugares que exigen transparencia en los contenidos generados por la IA (para evitar la difusión de información errónea alimentada por la IA). En el futuro, es probable que las empresas tengan que implementar medidas de protección específicas (o enfrentarse a responsabilidades).  

Todo esto está dando forma a las estrategias corporativas: las empresas necesitan contar con marcos de cumplimiento para la IA, al igual que lo hacen para la privacidad de los datos o la ciberseguridad. Las alucinaciones están forzando la maduración de la gobernanza de la IA. Las empresas que gestionen bien el riesgo, mediante políticas, tecnología y formación, podrán aprovechar la IA con mayor libertad, mientras que las que no lo hagan se verán sorprendidas por incidentes o quedarán al margen por culpa de los reguladores y la desconfianza del público. 

Gestión y mitigación de los riesgos de alucinaciones 

1. Asumir errores hasta que se demuestre lo contrario. Las empresas deben cultivar la mentalidad de que la fluidez (una respuesta de IA bien redactada y que suena bien) no equivale a precisión. Los empleados deben tratar cada resultado de IA con confianza como potencialmente incorrecto, a menos que haya sido verificado. Este principio debe integrarse en la cultura y la formación de la empresa. Por defecto, los usuarios de IA siempre deben verificar los datos críticos que proporciona una IA, del mismo modo que verificaríamos una respuesta o un análisis sorprendente o importante de un empleado junior humano.  

2. Implementar la supervisión humana en el ciclo. La revisión y validación humanas son la protección más fiable contra las alucinaciones de la IA. Las empresas que implementan chatbots o generadores de contenido con IA deben asegurarse de que, para cualquier resultado orientado al cliente o de alto riesgo, una persona cualificada esté al tanto de antemano o supervise de cerca después del hecho. Por ejemplo, haciendo hincapié en «cualificada», un borrador de contrato legal redactado por IA debe ser revisado por un abogado con experiencia. Un agente de atención al cliente de IA puede gestionar de forma autónoma las preguntas frecuentes sencillas, pero debe derivar a un agente humano cualquier asunto que supere un umbral de riesgo bajo.  

3. Utilizar fuentes de datos recuperadas y verificadas. Una solución técnica que ha demostrado su eficacia es la generación aumentada por recuperación (RAG), que consiste básicamente en conectar el modelo de IA a una fuente fiable. En lugar de basarse únicamente en los conocimientos internos aprendidos por la IA (que pueden basarse en datos genéricos, incompletos u obsoletos), el sistema está diseñado para obtener información relevante de bases de datos o documentos fiables e incorporarla a su respuesta. Por ejemplo, ahora es habitual que las empresas equipen a los chatbots destinados a los empleados para que extraigan los detalles de las políticas de la base de datos oficial de políticas cuando responden a preguntas, lo que garantiza que citen el texto real de la política en lugar de un resumen posiblemente erróneo basado en conocimientos generales. 

Del mismo modo, se podría configurar una IA para recuperar los últimos datos sobre precios o directrices médicas de un repositorio verificado cuando surjan esos temas. Al basar las respuestas en datos actualizados y verificados, la IA es mucho menos propensa a cometer errores. Muchas plataformas de IA empresariales ofrecen ahora complementos o arquitecturas para preguntas y respuestas basadas en la recuperación. Las organizaciones deben utilizar modelos específicos para cada dominio cuando la precisión sea primordial: un modelo más pequeño entrenado únicamente con datos fiables en su campo puede ser más fiable que un modelo general grande que podría desviarse del tema. 

4. Abordar el problema del «adulador».Las empresas deben implementar barreras de seguridad para mantener los sistemas de IA dentro de límites seguros y precisos. Las barreras de seguridad pueden incluir filtros de entrada, reglas de salida y restricciones de contexto. Los primeros LLM de IA generativa se entrenaron para proporcionar una respuesta casi a cualquier «costo». Más recientemente, los modelos se están entrenando para restringir a la IA la respuesta a preguntas que deberían estar fuera de su ámbito (respondiendo en su lugar «Lo siento, no puedo ayudarte con eso»), para evitar que adivine y alucine. Esto aborda el problema de los «aduladores de la IA», en el que los modelos tienden a producir respuestas destinadas a complacer o alinearse con las expectativas del usuario, incluso si esas respuestas son incorrectas o engañosas. 

5. Utiliza verificadores automáticos. Algunas soluciones comparan los resultados de la IA con una base de conocimientos y marcan o bloquean las respuestas que introducen datos que no se encuentran en las fuentes (identificando el contenido sin fundamento). Técnicamente, establecer una «temperatura» más baja en el modelo (es decir, hacerlo menos aleatorio) también puede obligarlo a ceñirse a una redacción más segura y predecible, reduciendo los adornos creativos que podrían ser incorrectos. 

Algunas soluciones comparan los resultados de la IA con una base de conocimientos y marcan o bloquean las respuestas que introducen datos que no se encuentran en las fuentes (identificando el contenido sin fundamento). Técnicamente, establecer una «temperatura» más baja en el modelo (es decir, hacerlo menos aleatorio) también puede obligarlo a ceñirse a una redacción más segura y predecible, reduciendo los adornos creativos que podrían ser incorrectos. Sin embargo, hay que tener en cuenta la fricción inherente entre el objetivo original de entrenar a la IA para que produzca respuestas atractivas, creativas y similares a las humanas, y la necesidad de garantizar que siga siendo estrictamente factual y fiable. Los esfuerzos por minimizar las alucinaciones a menudo implican sacrificar parte de la fluidez conversacional y las cualidades inventivas que hacen que la IA parezca menos robótica.  

6. Educar y alertar a los usuarios. La transparencia con los usuarios finales es importante para gestionar los riesgos de las alucinaciones. Si los empleados saben que la respuesta de una IA puede ser incorrecta, pueden abordarla con más cautela. Las empresas deben proporcionar avisos legales o pistas contextuales en las interfaces de IA, por ejemplo, un mensaje como «Esta respuesta ha sido generada por IA y puede no ser 100 % precisa. Por favor, verifique la información crítica».  

Más allá de las exenciones de responsabilidad, la educación de los usuarios es importante. Las empresas deben formar a sus empleados (e incluso a sus clientes mediante guías) sobre cómo utilizar las herramientas de IA de forma responsable. Esto incluye enseñarles a detectar posibles alucinaciones (por ejemplo, afirmaciones muy específicas sin fuente o detalles incoherentes) y fomentar la práctica de la verificación cruzada con fuentes fiables. Los usuarios expertos y críticos son una excelente última línea de defensa contra la difusión de falsedades generadas por la IA. 

7. Supervisar, auditar y corregir rápidamente los errores. A pesar de todas las medidas preventivas, algunas alucinaciones se colarán. Las empresas deben contar con un plan para detectarlas y gestionarlas de forma rápida, eficiente y eficaz.  Las empresas deben solicitar comentarios a los empleados y otros usuarios. Cuando se descubra un error, hay que actuar con transparencia y rapidez para corregirlo. Reconocer los errores no solo ayuda a solucionar el problema inmediato, sino que también puede proteger su credibilidad a largo plazo: los usuarios son más indulgentes si se demuestra honestidad y se realizan mejoras.  

8. Promover la colaboración entre la IA y los seres humanos, no su sustitución.  Las empresas deben enmarcar el uso de la IA como una herramienta para complementar a los trabajadores humanos, no para sustituir su criterio. Cuando los empleados comprenden que la IA está ahí para ayudar y agilizar las cosas, pero no para tomar decisiones infalibles, son más propensos a utilizarla de forma adecuada. Fomente un flujo de trabajo en el que la IA se encargue del trabajo pesado (primeros borradores, preguntas y respuestas básicas, resumen de datos) y los humanos se encarguen de la validación final, el pensamiento estratégico y el criterio creativo.  

Esto aprovecha los puntos fuertes de cada uno: la IA proporciona eficiencia y amplitud de conocimientos, mientras que los seres humanos aportan rigor, ética y sentido común. Al convertir a la IA en un socio colaborador, la organización se beneficia de la productividad de la IA sin cederle el control. El objetivo debe ser una colaboración eficaz con la IA, no la dependencia de ella.  

Conclusión 

Las alucinaciones de la IA presentan riesgos tangibles y significativos, entre los que se incluyen daños a la reputación, costes financieros, responsabilidades legales e incluso daños físicos. Las empresas que adoptan la IA deben reconocer estos retos y dar prioridad a estrategias eficaces de gestión de riesgos para mitigarlos. Para abordar con éxito las alucinaciones se necesitan barreras de protección claras, supervisión humana continua, soluciones técnicas como la generación aumentada por recuperación y una educación proactiva de los usuarios. Las empresas que implementen estas medidas de forma reflexiva estarán en la mejor posición para aprovechar las poderosas ventajas de la IA y, al mismo tiempo, protegerse contra sus riesgos inherentes. 

Este artículo apareció originalmente en The AI Journal en septiembre de 2025.