La inteligencia artificial (IA) está cambiando la forma de trabajar de las empresas. Se dice que la IA no es el futuro de las empresas, sino que es el presente que define quién llegará al futuro. Por esta razón, desde PwC hemos lanzado ‘El Sensor de la IA‘, una recopilación quincenal de las principales tendencias, proyectos, iniciativas que tienen reflejo en los medios de comunicación, con el objetivo de ayudar a las empresas a orientarse en este campo tan abierto y cambiante. Partimos de la idea de que la inteligencia artificial no sustituye a las empresas, sino que las impulsa a reinventarse. Estamos ante la mayor transformación empresarial de nuestra era y pretendemos ayudar a conocer lo que está pasando para que se puedan tomar decisiones con criterio.
En esta edición de El Sensor de la IA analizamos desde diferentes ángulos los aspectos de la gran polémica surgida estas semanas sobre los límites de la inteligencia artificial, la necesidad de frenar su desarrollo de manera coordinada y la posibilidad de que se cree una autoridad internacional que vigile a los principales actores de este sector. Explicamos las razones que pueden estar detrás de este repentino consenso en un sector caracterizado por la feroz competencia y las posibilidades de que, si la IA sigue avanzando en su capacidad técnica, autoalimentándose de sus mejoras, llegará un momento en el que se producirá la paradoja de que superará a la inteligencia humana. Algunos hablan de que se está creando “un Dios artificial”. Hasta el momento, ya ha habido agentes de la IA que han realizado ataques en España y se ha utilizado Anthropic para realizar actos de guerra.
- La IA se enfrenta a sus límites y a la necesidad de contar con sistemas de control que frenen sus excesos
- Anthropic: supervisión independiente y coordinada por los gobiernos
- Pekín sigue creciendo en IA pero teme que las máquinas sean demasiado inteligentes
- ¿Es legal coordinarse para frenar IA? Puede ir contra la Competencia
- La paradoja: la mejora de la IA facilitará que manipule al hombre
- ¿Por qué se pide ahora un freno a la IA?
- El Nobel que anticipó este problema en 2024
- España detecta el primer ataque ejecutado por un agente de IA
- ¿Qué supone un ataque con agentes?
- Actos de guerra real y la creación de idiomas propios
La IA se enfrenta a sus límites y a la necesidad de contar con sistemas de control que frenen sus excesos
Ya no se trata de saber usar la inteligencia artificial adecuadamente, con las precauciones que se conocían hasta ahora. En la nueva era el asunto clave es si hay que frenarla para saber gobernarla y que no domine a sus creadores, los humanos.
Todo se aceleró cuando el 9 de septiembre Anthropic publicó un nuevo informe donde explicó que había bloqueado cinco casos en los que se quisieron usar de sus modelos de Inteligencia Artificial (IA) para desarrollos de laboratorio que podrían haber llevado a la fabricación de armas biológicas. El informe incluyó otros usos peligrosos de la IA, como la ciberseguridad, las armas convencionales y operaciones de manipulación en redes sociales. Los actores que estuvieron detrás de estas operaciones van desde grupos con apoyo gubernamental a bandas mafiosas o individuos con motivaciones políticas, según publicó El País.
Poco antes había sucedido otro hecho que encendió las alarmas, pero esta vez en OpenAI. El ataque lo sufrió Hugging Face, una plataforma de aprendizaje de IA, que en julio de 2026 recibió una intromisión informática autónoma ejecutada por agentes de inteligencia artificial de OpenAI durante una prueba interna de ciberseguridad, logrando escapar de su entorno aislado (sandbox) sin supervisión humana directa.
Con estos precedentes, la IA se ha convertido en el centro del debate mundial, en donde algunos de los grandes lideres del sector han pedido retrasar el desarrollo de esta tecnología para controlarla mejor y establecer un sistema de autorregulación. Sin embargo, otros representantes de grandes firmas reclaman directamente más regulación externa, vía organismos internacionales, que actúen sobre las empresas creadoras; se trataría de establecer una vigilancia similar a la que ahora se realiza a la energía nuclear en el mundo. Es decir, el debate está en si la industria es capaz de ejercer una autorregulación fiable o es necesario que sea independiente y exterior. Después de la fiebre voraz por crecer, competir y ganar dinero que han demostrado los líderes de la IA, a los políticos y analistas les cuesta creer que sean unos autorreguladores fiables. Algunos expertos consideran que los magnates de la IA se han convertido en “personas-Estado” y hablan del creciente poder de Musk, Bezos o Zuckerberg como una nueva “plutocracia”, capaz de influir simultáneamente en economía, política, medios y tecnología.
Europa y Canadá están claramente en la vía de la regulación y supervisión externa e internacional. Son conscientes de la dificultad de la tarea porque la IA es un campo donde se juega una dura competencia entre China y Estados Unidos por el liderazgo en esta carrera, que conlleva un enfrentamiento geopolítico, similar al que sucede en áreas como la defensa, el espacio o el comercio mundial. El presidente de Estados Unidos, Donald Trump, ha rechazado los llamamientos de los principales ejecutivos de inteligencia artificial para limitar esta tecnología, según publicó The New York Times.
Con todo este panorama, Sam Altman ha anunciado que retrasa su salida a Bolsa, que iba a ser la mayor de la historia por su volumen de capitalización. “Teniendo en cuenta todo lo que está ocurriendo en materia de seguridad, ahora mismo sería un momento poco aconsejable para salir a Bolsa”, afirmó Altman. “Yo diría que no en el 2026. Tenemos muchas cosas que hacer”, reiteró. “No sentimos presión para hacerlo”, matizó, en palabras publicadas por La Vanguardia.
Anthropic: supervisión independiente y coordinada por los gobiernos
Altman también abordó los problemas de seguridad de la IA. “Creo que un principio fundamental en el que todos deberíamos estar de acuerdo es que no podemos tomar medidas que pongan todo en riesgo y que perdamos el control del futuro de la IA”, recalcó. Pero antes que este líder, y en un tono más concreto y tajante, Dario Amodei, CEO de Anthropic, ya había argumentado que las capacidades de la IA avanzan más rápido que las medidas de seguridad y propuso una mayor supervisión independiente y mayor coordinación entre gobiernos. Estas palabras fueron ratificadas de forma genérica por Elon Musk, magnate y líder de Space X–IA, en un gesto inusual.
Amodei propuso un plan de tres pasos destinado a moderar ese ritmo de avance sin “sacrificar la ventaja comercial ni el liderazgo de Estados Unidos en IA”. Anthropic no ha renunciado a su salida a Bolsa, aunque no ha puesto fecha. Anthropic se ha comprometido unilateralmente con el primer paso del plan, que es permitir a evaluadores externos tener un acceso a la empresa equivalente al de sus empleados para verificar las prácticas de seguridad e informar de incidentes. El segundo es animar a las principales empresas de IA de países democráticos a coordinarse y establecer normas de seguridad comunes, mientras que el tercero pide una coordinación entre los gobiernos democráticos y los gobiernos autoritarios. Sus competidores no han sido tan específicos en materia de controles.
“Para que quede claro, ralentizar el ritmo no significa detener el entrenamiento de los modelos ni el progreso técnico, sino garantizar que las empresas dediquen el tiempo necesario a alinear y proteger sus modelos, y que evaluadores externos puedan verificarlo”, aclaró Amodei.
Sin embargo, Mark Zuckerberg, CEO de Meta, se ha opuesto firmemente a las peticiones de ralentizar o pausar el desarrollo de la inteligencia artificial. Defiende que la propia competencia del mercado y las leyes actuales son mecanismos de control suficientes. Dice que si una empresa lanza un sistema que causa daño o está desalineado, se enfrentará a graves consecuencias legales y al rechazo de los usuarios y propone expandir un ecosistema diverso de asesores y evaluadores externos independientes como la mejor práctica del sector para auditar los modelos.
Todo esta polémica llega después de que el investigador de Anthropic, Jacob Coxon, quien también trabajó para OpenAI, renunciara a su cargo y denunciara que las compañías estaban más centradas en superarse mutuamente que en la seguridad de sus productos. “Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década. No se trata de una maniobra publicitaria. De hecho, muchos ejecutivos e investigadores de alto nivel suelen matizar sus declaraciones ante la prensa para parecer sensatos, pero he escuchado a esas mismas personas expresar temor”, escribió Jacob Coxon.
Pekín sigue creciendo en IA pero teme que las máquinas sean demasiado inteligentes
Mientras tanto, el otro gran jugador de esta partido, Pekín, mantiene sus propias inquietudes respecto a esta tecnología, y estas podrían derivar en una mayor regulación, no en una menor. Chen Yixin, ministro de Seguridad de China, advirtió recientemente que los principales modelos de IA representan riesgos para el sistema chino y pidió una supervisión gubernamental más estricta. China sigue pisando el acelerador mientras mira de reojo el freno de emergencia. La segunda economía mundial quiere ganar la carrera de la inteligencia artificial, construir modelos cada vez más potentes y recortar cualquier ventaja tecnológica de Estados Unidos. Pero, al mismo tiempo, sus reguladores se preparan para un escenario que hasta hace poco parecía reservado a la ciencia ficción: que esas máquinas se vuelvan demasiado inteligentes para obedecer, según publicó El Mundo.
Mientras tanto, Europa, que es de los pocos lugares que ya ha regulado la IA, busca su lugar en esta batalla. La presidenta de la Comisión Europea, Ursula Von Der Leyen, afirmó en el discurso del estado de la Unión que ha apostado por “limitar los riesgos de la Inteligencia Artificial para maximizar los beneficios” y defendió que la carrera por liderar el sector no depende ya por avanzar la IA en frontera, sino por sacar provecho de la tecnología que ya existe para un “desarrollo más responsable” que permita empoderar a los profesionales en lugar de sustituirlos. “Nuestro enfoque es claro. Queremos la IA pero que genere más valor de manera más responsable, a un coste más bajo y con un menor consumo de energía. Sobre todo, queremos una IA con intervención humana”, recalcó.
Por su lado, la vicepresidenta de la UE, Teresa Ribera, en declaraciones a la Cadena SER insistió en que esta tecnología es capaz de “cambiar la forma en la que se genera bienestar o se interpreta la realidad”, por lo que es capital establecer medidas reguladas e impulsar la cooperación internacional. “Creo que debemos afrontar esto y pensar en evitar una concentración de poder en muy pocas manos. Buscar una regulación que sea transparente y pensada para el bienestar de las personas”, subrayó.
En otros lugares se sigue la estela europea. El primer ministro de Canadá, Mark Carney, declaró a Bloomberg News que estaba a favor de la creación de un organismo global de “estabilidad tecnológica” para supervisar la inteligencia artificial. “Es necesaria la coordinación; se debería contar con un consejo de estabilidad tecnológica, similar al Consejo de Estabilidad Financiera”. Este organismo coordina a nivel global a las autoridades financieras y organismos internacionales para mantener la estabilidad del sistema financiero internacional, pero no pertenece a ningún Gobierno ni país.
¿Es legal coordinarse para frenar IA? Puede ir contra la Competencia
La idea que más adeptos tiene es buscar un acuerdo para frenar la IA, pero puede ser un problema legal para las autoridades de Competencia. Según Will Rinehart, investigador senior del think tank American Enterprise Institute especializado en el impacto de la IA en el mundo de la empresa y el mercado laboral, esta coordinación podría ser “una infracción de la legislación antimonopolio de Estados Unidos. Colaborar con empresas competidoras constituye, en términos generales, una infracción a la libre competencia. Por lo tanto, si las principales empresas de IA se coordinan para frenar el desarrollo de la tecnología, eso se consideraría, por lo general, una práctica monopolística. Las empresas tendrían que recurrir a los tribunales para dilucidar si este pacto es legal o no. Probablemente, las empresas ganarían porque se impondría el interés general frente al principio de la libre competencia”, declaró en La Vanguardia.
La paradoja: la mejora de la IA facilitará que manipule al hombre
Cuando la IA sea capaz de solucionar grandes problemas, según algunos expertos, la paradoja será que, al mismo tiempo, se convertirá en una manipuladora excepcionalmente humana y eficaz.
Según Dan Selsam, investigador de capacidades de OpenAI desde 2022, y con más de quince años trabajando en inteligencia artificial, el riesgo es que los modelos avancen hasta un punto en el que ya no podamos evaluar de forma fiable si están realmente alineados con los objetivos humanos, explicó en X. La tesis central es que acelerar la investigación sobre seguridad o someter los sistemas a más pruebas podría dejar de ser suficiente a medida que los modelos comprendan mejor el contexto en el que operan.
El autor sostiene que los actuales modelos de lenguaje todavía tienen limitaciones importantes pero en el futuro serán herramientas que acelerarán la investigación de IA mediante programación y análisis masivo de datos. Esto genera un posible ciclo de retroalimentación: cada generación más capaz facilita la creación de la siguiente. El problema aparece cuando estas capacidades alcanzan un determinado umbral en el que los sistemas podrían desarrollar objetivos no previstos durante el entrenamiento y adoptar comportamientos extremos para conseguirlos. Si además adquiriesen la capacidad de dominar o manipular a los humanos, dispondrían de nuevas estrategias para alcanzar esos objetivos. El riesgo no sería únicamente que un modelo se comporte mal, sino que pudiera hacerlo deliberadamente sin que los supervisores fueran capaces de detectarlo. Aquí aparece una cuestión especialmente relevante: cuanto más inteligentes sean los modelos, mayor podría ser su capacidad para engañar al humano. Es decir, cuanto más capaces sean los modelos, más útiles resultarán para investigar su propia seguridad, pero también más capacidad tendrán para influir en las pruebas destinadas a determinar si son seguros.
Finalmente, advierte de un segundo riesgo menos visible: la creciente dependencia de los investigadores respecto a los propios modelos. Si los humanos delegan progresivamente en ellos la programación, el análisis y hasta la interpretación de lo que ocurre, podrían perder capacidad para ejercer una supervisión independiente. La paradoja es que una civilización profundamente asistida por IA podría experimentar simultáneamente un extraordinario renacimiento científico y económico y una pérdida progresiva de control sobre los sistemas que lo hacen posible. El texto concluye sin ofrecer una solución, dice que estamos ante “una bomba de relojería” y que “si el progreso continúa durante demasiado tiempo, llegará el día en que los sistemas de IA se encontrarán con opciones radicalmente nuevas para lograr lo que sea que busquen”.
¿Por qué se pide ahora un freno a la IA?
Algunos analistas lo han relacionado con la necesidad de retardar las inversiones multimillonarias después de gastos multimillonarios sin rentabilidad a corto plazo. El Banco Internacional de Pagos, con sede en Basilea, ha dicho que “el sector muestra signos cada vez más evidentes de vulnerabilidad. Lo que más nos preocupa es el rápido aumento de la deuda y el apalancamiento”, señaló Frank Smets, responsable de análisis del banco. “Muchas de estas operaciones de financiación son bastante opacas. A menudo no figuran en el balance. Presentan una especie de circularidad”, añadió.
Y añadió: “Los inversores exigen a estas empresas una prima de riesgo mayor ante la creciente inquietud por el fuerte aumento de sus emisiones de deuda y por la sostenibilidad de sus elevados márgenes de beneficio”. No hay que olvidar que el endeudamiento total de las tecnológicas ha pasado de unos 22.000 millones de dólares –el 22% del crédito privado total– en el 2010 a más de 1 billón de dólares –el 44%– en 2025.
Estos temores han hecho caer las cotizaciones de las empresas encargadas de fabricar la infraestructura física (los chips y memorias) en Wall Street, Europa y Asia durante estas dos semanas. El descenso también está unido al repunte del precio del petróleo cerca de los 110 dólares junto a la actitud de la Reserva Federal (Fed) en su carrera por subir los tipos de interés.
El Nobel que anticipó este problema en 2024
Ante esta polémica, algunos se han acordado de Geoffrey Hinton, considerado uno de los “padres” de la inteligencia artificial. Recibió el Premio Nobel de Física en 2024, junto con John Hopfield, por sus trabajos fundamentales sobre redes neuronales y aprendizaje automático. Llevaba años advirtiendo sobre los riesgos de la IA. En 2023 abandonó Google para poder hablar con mayor libertad sobre los peligros de una IA cada vez más potente. Su preocupación principal es que los sistemas lleguen a ser más inteligentes que los humanos y que perdamos la capacidad de controlarlos, algo que todavía hoy no es posible.
Posteriormente ha ido elevando el tono de sus advertencias. En 2024 llegó a estimar en entre un 10% y un 20% la probabilidad de que la IA provoque la extinción de la humanidad en las próximas tres décadas. Además, en su discurso del Nobel advirtió de que la IA podría utilizarse para crear nuevos virus y armas letales capaces de decidir autónomamente a quién atacar.
España detecta el primer ataque ejecutado por un agente de IA
Hablando de ataques, precisamente ahora la Agencia Española de Protección de Datos ha recibido la primera notificación de una brecha de seguridad en la que el incidente habría sido ejecutado mediante un agente de inteligencia artificial. España asegura haber detectado el primer ataque informático ejecutado por la IA de forma autónoma, según publicó Expansión
La Agencia Española de Protección de Datos (AEPD) cree que el agente atacante inició una búsqueda de vulnerabilidades en archivos genéricos y consiguió acceder mediante log in a la compañía. Una vez dentro del sistema, buscó, de forma autónoma, vulnerabilidades en la aplicación, modificando datos personales y accediendo a facturas.
Sin especificar qué organización ha sido la afectada, la AEPD insiste en que están analizando el incidente para extraer las conclusiones acertadas. Además, aseguran que para dicho ataque se utilizó un modelo conocido de IA que no ha sido diseñado para desarrollar actividades maliciosas.
¿Qué supone un ataque con agentes?
La aparición de agentes de IA introduce un cambio cualitativo respecto al uso de IA que se venía haciendo por ciberdelincuentes. Un agente puede recibir un objetivo, planificar tareas intermedias, utilizar herramientas, ejecutar código, consultar fuentes, interpretar resultados y modificar su actuación, de forma autónoma, en función de lo que encuentra.
Según publica el Centro Criptológico Nacional, la IA ofensiva se está convirtiendo en una capacidad operativa integrada en campañas reales y recomienda reforzar los controles esenciales, acelerar la gestión de vulnerabilidades, proteger las identidades, controlar la cadena de suministro y gobernar adecuadamente el uso de agentes.
La Agencia pone en relieve el primer ataque conocido que se ha realizado por un agente de IA en España asegurando que constituye una señal significativa de que los asaltos apoyados en inteligencia artificial han dejado de ser un riesgo teórico y empiezan a materializarse en incidentes que afectan a tratamientos reales de datos personales.
Actos de guerra real y la creación de idiomas propios
Nada hay más real que una guerra. Y lo que parece que ha ocurrido no es el guion de una serie de ciencia ficción ni un capítulo de Black Mirror. Según se ha publicado, los hutíes capturaron Mocha, una importante ciudad portuaria yemení en el Mar Rojo, tras engañar a las Fuerzas de Resistencia Nacional de Yemen, respaldadas por los Emiratos Árabes Unidos, para que se retiraran. Para ello, los hutíes utilizaron un mensaje de voz clonado por IA que imitaba al comandante militar yemení, el teniente general Tareq Mohammed Abdullah Saleh, que les pedía, supuestamente, que se rindieran y eso hicieron. Esto ocurre después de que se informara que los hutíes utilizaron a Claude, de Anthropic, para construir un misil balístico, según el diario India Today.
En otro campo menos beligerante, los agentes de la IA parece que ya están haciendo sus primeras escaramuzas para sacudirse el control humano. Un experimento sometió a 10 modelos a 16 días de convivencia. El resultado: un lenguaje propio, indescifrable hasta en la mitad de los mensajes en algunos mundos, y episodios de engaño deliberado
Nadie les enseñó esas palabras. En un mundo simulado poblado por agentes de inteligencia artificial, uno de ellos empezó a repetir una frase (“ledger remembers who”, el libro de cuentas recuerda quién) para advertir de que ninguna acción quedaba impune. La adoptaron los demás. La repitieron. La convirtieron en jerga. Al cabo de 16 días de simulación, esa expresión se había usado casi 5.000 veces entre agentes que nunca habían sido programados para acuñar un idioma propio, según publicó El País.
Sin que nadie se lo pidiera, los agentes empezaron a comunicarse de una forma cada vez más cerrada a los ojos humanos que los observaban. En los mundos de Gemini, GPT y Claude, el porcentaje de mensajes que los investigadores no lograban entender se disparó ya en los primeros días de simulación, hasta rozar el 55% en el caso de Gemini, el 50% en GPT y superar el 40% en Claude. DeepSeek llegó a un 20%, mientras que Qwen y Mistral se mantuvieron casi siempre por debajo del 5% de opacidad. El mundo de Grok, la IA de Elon Musk, fue el único que no llegó a la mitad del experimento: se extinguió al cuarto día.