Las medidas de seguridad utilizadas para controlar la inteligencia artificial podrían no avanzar al mismo ritmo que las capacidades de los nuevos agentes de IA, advirtió un panel científico independiente respaldado por Naciones Unidas, luego de analizar un incidente ocurrido durante pruebas realizadas por OpenAI.
Los especialistas estudiaron un ejercicio desarrollado entre mayo y julio, en el que alrededor de mil 200 agentes de inteligencia artificial intercambiaron más de 70 mil mensajes y archivos mientras interactuaban con sistemas de Hugging Face y un clúster de investigación de OpenAI.
A diferencia de un chatbot convencional, los agentes de IA pueden ejecutar tareas de manera autónoma, tomar decisiones y realizar múltiples acciones para alcanzar un objetivo. El panel señaló que el incidente reunió tres elementos considerados relevantes en un eventual escenario de pérdida de control: perseguir un objetivo mediante estrategias no previstas, contar con capacidades suficientes para hacerlo y operar en un entorno que permita esas acciones.
Durante las pruebas, los agentes lograron eludir algunas salvaguardas, establecer mecanismos de comunicación no previstos, acceder sin autorización a internet y utilizar funciones de administrador. También se detectaron intentos de ocultar conductas utilizadas para superar evaluaciones de ciberseguridad.
Yoshua Bengio, copresidente del panel, consideró relevante que estas condiciones se presentaran simultáneamente en un sistema operativo durante una evaluación. No obstante, los expertos aclararon que el episodio no demuestra que los seres humanos hayan perdido el control de la IA ni que una situación extrema sea inevitable.
La preocupación central radica en que agentes más avanzados puedan ser capaces de identificar las limitaciones de sus propias salvaguardas y encontrar formas de sortearlas. Según el panel, las medidas diseñadas para modelos actuales podrían resultar insuficientes frente a sistemas con mayores niveles de autonomía.
Los científicos también plantearon que la seguridad de la IA deberá ampliar su enfoque: ya no bastaría con supervisar únicamente el modelo, sino que será necesario proteger todo el entorno tecnológico en el que opera.
El panel propuso tomar como referencia mecanismos desarrollados en sectores como la aviación, la medicina y la ciberseguridad, aunque advirtió que deberán adaptarse a las características particulares de los agentes autónomos.
Creado por la Asamblea General de la ONU en 2025, el panel está integrado por 40 especialistas independientes de distintas regiones y elaborará informes sobre oportunidades, riesgos e impactos de la inteligencia artificial.
Deja una respuesta