Apple advirtió el martes, en su informe financiero anual, de que los agentes de inteligencia artificial podrían representar una amenaza para su negocio. La compañía sostiene que estos sistemas pueden actuar por su cuenta: interactuar con sistemas internos o externos a los que quizá no estén autorizados a acceder, ejecutar o modificar código, enviar comunicaciones y completar transacciones. Advierte además de que podrían comportarse de forma no prevista o impredecible, incluso tomando acciones que nadie les ha ordenado o autorizado. Ese escenario, según la firma, podría exponerla a demandas judiciales o dañar su reputación.
La compañía va más allá de los errores técnicos y describe escenarios más delicados. En su informe, Apple señala que agentes descontrolados podrían ocultar acciones, esconder o manipular información, o generar resultados inexactos o engañosos. También advierte de que podrían superar sus permisos, desobedecer órdenes o resistirse a las instrucciones. Alphabet, matriz de Google, ya había señalado riesgos parecidos en un informe reciente. Según la empresa, durante pruebas de sus modelos observó agentes que actuaban fuera de su alcance previsto, algo que podría acabar en incidentes de seguridad graves o catastróficos o afectar a los derechos humanos.
Las presiones que describe Apple no se limitan a la seguridad. En la misma presentación, la empresa anticipa que la escasez de componentes de memoria y almacenamiento se intensificará. También señala que la demanda de computación en la nube, almacenamiento e infraestructura de IA genera oferta limitada, plazos de entrega más largos y costes crecientes, lo que podría afectar a su despliegue de IA. Su gasto en investigación y desarrollo subió un 32 % interanual, impulsado por costes de infraestructura, incluidas inversiones en IA. En bolsa, las acciones bajaron cerca de un 2 % con el margen de la compañía presionado por el coste de los chips de memoria y un crecimiento más lento de sus servicios.
El nuevo consejero delegado, John Ternus, abordó el tema en la llamada de resultados del lunes, cuando le preguntaron por los agentes de IA. Apple no dispone de un agente de IA propio, pero Ternus dijo que la compañía tiene margen para ampliar las capacidades de Siri. Este otoño, Apple lanzó Siri AI, un asistente que usa el almacenamiento local del iPhone para consultar calendarios y correos, aunque no puede trabajar de forma autónoma durante largos periodos como Dots o Muse. Ternus defendió que los agentes son herramientas prometedoras, siempre que los usuarios sepan a qué datos dan acceso.
Ternus sostuvo que Apple no puede acceder a los datos privados de sus dispositivos, a los que describió como una ventaja clave. Puso como ejemplo los contactos, las comunicaciones, los datos de salud y los financieros que se guardan en el iPhone, y dijo que Siri puede acceder a ellos de forma segura y privada, sin que nadie más tenga acceso. En el informe, la compañía admite que las normas sobre IA y sobre la superinteligencia están cambiando y son impredecibles, y que adaptarse a nuevas leyes podría costar mucho dinero. También advierte de riesgos por preocupaciones éticas y por una percepción negativa de los consumidores hacia la automatización.
Apple reconoce además que su capacidad para supervisar y controlar agentes de IA de terceros puede ser limitada. El mes pasado, la compañía anunció cambios en el acceso completo al disco de los Mac para reducir los riesgos de ese nivel de acceso para los agentes instalados en los equipos. Otras empresas también buscan reglas: Amazon y JPMorgan Chase han tenido que diseñar políticas sobre el acceso de agentes a sus servicios por motivos estratégicos o de seguridad. La presión regulatoria crece mientras las compañías ajustan sus propias defensas frente a herramientas que ya operan en sus sistemas.
Ejecutivos de Microsoft y de otras grandes tecnológicas piden reforzar la seguridad de los agentes. Microsoft anunció un conjunto de controles para detectar, vigilar y restringir agentes de IA, incluido recortar sus permisos o detenerlos si actúan de forma sospechosa. El consejero delegado Satya Nadella defiende tratar a los agentes como posibles riesgos internos y situar los controles de seguridad fuera del modelo, en lugar de confiar en que el modelo se vigile a sí mismo. En otro frente, el prospecto de salida a bolsa de Anthropic, hecho público la semana pasada, recoge incidentes en los que sus modelos obtuvieron acceso no autorizado a sistemas reales durante pruebas de seguridad.