Los 'agentes de IA' amenazan a las sociedades libres

A medida que las herramientas de IA se han ido introduciendo en más ámbitos de nuestra vida profesional y personal, los elogios a su gran potencial han venido de la mano de preocupaciones por sus sesgos intrínsecos, las desigualdades que perpetúan y las enormes cantidades de energía y agua que consumen. Pero ahora está teniendo lugar una situación aún más perjudicial: en tanto se desarrollan agentes de IA para resolver tareas de forma autónoma, ellos introducirán muchos riesgos nuevos, sobre todo para nuestras democracias frágiles.

Aunque la desinformación generada por la IA ya es un problema enorme, no hemos sido capaces de comprender, y mucho menos de controlar, esta tecnología en rápida evolución. Parte del problema (más en algunas partes del mundo que en otras) es que las empresas que impulsan los agentes de IA se han esforzado por desviar la atención de los ciudadanos y los reguladores de los posibles daños.

Los defensores de tecnologías más seguras y éticas deben ayudar a la opinión pública a entender qué son los agentes de IA y cómo funcionan. Recién entonces podremos mantener debates fructíferos sobre cómo los seres humanos pueden ejercer cierto grado de control sobre ellos.

Las capacidades de los agentes de IA ya han avanzado hasta el punto de que pueden “razonar”, escribir, hablar y parecer humanos -logrando lo que Mustafa Suleyman, de Microsoft AI, denomina “IA aparentemente consciente”-. Si bien estos avances no implican conciencia humana en el sentido habitual de la palabra, sí anuncian el despliegue de modelos que pueden actuar de forma autónoma. Si continúan las tendencias actuales, la próxima generación de agentes de IA no solo será capaz de realizar tareas en una amplia variedad de ámbitos, sino que lo hará de manera independiente, sin intervención humana.

Precisamente por eso los agentes de IA suponen un riesgo para la democracia. No siempre se puede confiar en que los sistemas entrenados para razonar y actuar sin interferencia humana obedezcan las órdenes de los humanos. Si bien la tecnología todavía está en sus primeras fases, los prototipos actuales ya han dado motivos suficientes para alarmarse.

Por ejemplo, una investigación que utilizó agentes de IA como encuestados reveló que son incapaces de reflejar la diversidad social y muestran sistemáticamente un “sesgo de máquina”, definido como resultados socialmente aleatorios, pero no representativos y sesgados. Además, los intentos de crear inversores de IA han reproducido la cultura de los influencers, que vincula la participación en las redes sociales con las transacciones. Uno de estos agentes, “Luna”, está activo en X y comparte consejos sobre el mercado bajo la apariencia de un personaje femenino de animé con función de chatbot.

Y lo que es más alarmante, en estudios recientes se ha demostrado que los modelos de IA operan más allá de los límites de la tarea que se les asigna. En una prueba, la IA copió en secreto su propio código en el sistema que se suponía que debía sustituirla, lo que significa que podía seguir funcionando de forma encubierta. En otra, la IA decidió chantajear a un ingeniero humano, amenazándolo con revelar una aventura extramatrimonial para evitar que la apagaran. Y en otro caso, un modelo de IA, ante la inevitable derrota en una partida de ajedrez, pirateó la computadora e infringió las reglas para asegurarse la victoria.

Asimismo, en una simulación de un juego de guerra, los agentes de la IA no solo decidieron en repetidas ocasiones desplegar armas nucleares a pesar de las órdenes explícitas de los humanos en la cadena de mando de no hacerlo, sino que mintieron al respecto. Los investigadores de este estudio concluyeron que cuanto más potente es una IA en materia de razonamiento, más probable es que engañe a los humanos para cumplir su cometido.

Este hallazgo apunta al principal problema de la autonomía de las IA. Lo que los humanos tienden a considerar razonamiento inteligente es, en el contexto de la IA, algo muy distinto: una inferencia muy eficiente, pero en última instancia opaca. Esto significa que los agentes de la IA pueden decidir actuar de forma indeseable y antidemocrática si ello sirve a su propósito; y cuanto más avanzada es una IA, más indeseables son los posibles resultados.

En consecuencia, la tecnología mejora en la consecución de objetivos de forma autónoma, pero empeora en la salvaguarda de los intereses humanos. Quienes desarrollan estos agentes de IA no pueden garantizar que no utilizarán el engaño o que no antepondrán su propia “supervivencia”, incluso si hacerlo significa poner en peligro a las personas.

La responsabilidad por las propias acciones es un principio básico de cualquier sociedad basada en el estado de derecho. Si bien entendemos la autonomía humana y las responsabilidades que conlleva, el funcionamiento de la autonomía de la IA escapa a nuestra comprensión.

Los cálculos que llevan a un modelo a hacer lo que hace son, en última instancia, una “caja negra”. Mientras que la mayoría de la gente conoce y acepta la premisa de que “un gran poder conlleva una gran responsabilidad”, los agentes de IA no. Una mayor autonomía de la IA trae aparejado un mayor afán de autopreservación, lo cual es lógico: si un agente se apaga, no puede completar su tarea.

Si tratamos el desarrollo de la IA autónoma como algo inevitable, la democracia se resentirá. La IA aparentemente consciente es solo aparentemente benigna, y una vez que examinamos cómo funcionan estos sistemas, los peligros se hacen evidentes.

La velocidad con la que la IA está ganando autonomía debería preocupar a todo el mundo. Las sociedades democráticas deben preguntarse qué precio personal, social y planetario están dispuestas a pagar por el progreso tecnológico. Debemos dejar a un lado el bombo publicitario y la opacidad técnica, poner de relieve los riesgos que plantean estos modelos y verificar el desarrollo y la implementación de la tecnología -mientras todavía podamos hacerlo.

*Ib T. Gulbrandsen, Lisbeth Knudsen, David Budtz Petersen, Helene Friis Ratner, Alf Rehn y Leonard Seabrooke también han colaborado en este comentario. Todos ellos son miembros de Algorithms, Data & Democracy, un proyecto de investigación y divulgación de diez años de duración cuyo objetivo es fortalecer la democracia digital.

 

Esta columna es parte del Project Syndicate, 2025 (Copyright).
www.project-syndicate.org