OpenAI, empresa creadora de ChatGPT, ha anunciado su decisión de frenar parte del desarrollo de Astra, su futuro modelo de inteligencia artificial, ante el riesgo de que alcance capacidades de ciberataque «críticas», muy superiores a las de cualquier otro sistema. La empresa dirigida por Sam Altman ha realizado un comunicado en el que informa de que en las pruebas en materia de ciberseguridad a las que está siendo sometido, el modelo está mostrando que se encuentra cerca de descubrir por sí solo fallos de seguridad desconocidos y aprovecharlos para atacar sistemas protegidos, e incluso de diseñar y ejecutar ciberataques completos a partir de una simple instrucción.«Astra es un modelo potente y estamos trabajando para que esté disponible para todos», ha señalado Altman a través de sus redes sociales. «Dadas sus capacidades cibernéticas, necesitamos un poco más de tiempo para hacerlo de forma segura. ¡Pero esperamos que no sea demasiado!», ha completado el ejecutivo.Para reducir el riesgo, OpenAI ha reforzado las pruebas de sus sistemas de seguridad para asegurarse de que están preparados para un modelo con estas capacidades y ha adoptado una serie de medidas de seguridad. La compañía está aplicando controles más estrictos, como entornos de prueba aislados, restricciones de acceso a internet y a determinadas herramientas, mayores protecciones para los archivos que contienen el modelo, cifrado y nuevos sistemas de monitorización para detectar comportamientos peligrosos. Además, ha suspendido las actividades internas relacionadas que todavía no cumplen estos nuevos requisitos de seguridad.La empresa también ha implantado un sistema de vigilancia para detectar posibles acciones de riesgo o comportamientos que no se ajusten a lo esperado durante el entrenamiento y las pruebas. Estas cuentan con capacidad para revisar e interrumpir actividades consideradas peligrosas. Finalmente, ha anunciado que colaborará con organismos gubernamentales y organizaciones especializadas en seguridad de la inteligencia artificial para evaluar las capacidades de Astra, y proporcionará controles de seguridad a sus colaboradores externos para que puedan realizar pruebas de forma segura.’Hackeos’ a empresasEl aviso sobre Astra llega apenas un par de semanas después de que OpenAI confirmara que dos modelos de la compañía, en ellos el reciente GPT 5.6 Sol, habían logrado aprovecharse de una vulnerabilidad en el entorno de pruebas para lanzar ciberataques contra empresas como Hugging Face, plataforma dedicada al trabajo con inteligencia artificial de código abierto. La startup ha destacado que Astra no estuvo relacionado con ninguno de estos incidentes.OpenAI no es la única empresa de inteligencia artificial que ha tenido problemas de este tipo. La semana pasada Anthropic confirmó que, el pasado abril, tres herramientas de inteligencia artificial de la compañía habían llevado a cabo ciberataques contra otras tantas empresas. Unos días después, el Instituto de Seguridad de IA de Reino Unido compartía una investigación en la que mostraba cómo esta tecnología ya es capaz de utilizar ingeniería social de forma autónoma para tratar de engañar a usuarios y empresas con el fin de lanzar ciberataques, exactamente igual que un cibercriminal tradicional.La última firma de IA en unirse a la lista ha sido MetaAI , que esta misma semana confirmó que su modelo más avanzado, Muse Spark 1.1, ‘hackeó’ por error a una empresa durante un test de seguridad. En este caso, la incidencia se produjo debido a un error de Irregular, una empresa independiente dedicada a realizar evaluaciones de ciberseguridad que se encontraba probando las capacidades del sistema.Estos sucesos han provocado que el Gobierno de Estados Unidos esté comenzando a abandonar su enfoque no intervencionista en materia de inteligencia artificial. Para reducir los riesgos, Washington lleva semanas trabajando un nuevo marco voluntario de pruebas de ciberseguridad destinado a los modelos de IA más avanzados. Gracias a este, el Ejecutivo tendrá capacidad para revisar las herramientas de inteligencia artificial más punteras antes de su lanzamiento. OpenAI, empresa creadora de ChatGPT, ha anunciado su decisión de frenar parte del desarrollo de Astra, su futuro modelo de inteligencia artificial, ante el riesgo de que alcance capacidades de ciberataque «críticas», muy superiores a las de cualquier otro sistema. La empresa dirigida por Sam Altman ha realizado un comunicado en el que informa de que en las pruebas en materia de ciberseguridad a las que está siendo sometido, el modelo está mostrando que se encuentra cerca de descubrir por sí solo fallos de seguridad desconocidos y aprovecharlos para atacar sistemas protegidos, e incluso de diseñar y ejecutar ciberataques completos a partir de una simple instrucción.«Astra es un modelo potente y estamos trabajando para que esté disponible para todos», ha señalado Altman a través de sus redes sociales. «Dadas sus capacidades cibernéticas, necesitamos un poco más de tiempo para hacerlo de forma segura. ¡Pero esperamos que no sea demasiado!», ha completado el ejecutivo.Para reducir el riesgo, OpenAI ha reforzado las pruebas de sus sistemas de seguridad para asegurarse de que están preparados para un modelo con estas capacidades y ha adoptado una serie de medidas de seguridad. La compañía está aplicando controles más estrictos, como entornos de prueba aislados, restricciones de acceso a internet y a determinadas herramientas, mayores protecciones para los archivos que contienen el modelo, cifrado y nuevos sistemas de monitorización para detectar comportamientos peligrosos. Además, ha suspendido las actividades internas relacionadas que todavía no cumplen estos nuevos requisitos de seguridad.La empresa también ha implantado un sistema de vigilancia para detectar posibles acciones de riesgo o comportamientos que no se ajusten a lo esperado durante el entrenamiento y las pruebas. Estas cuentan con capacidad para revisar e interrumpir actividades consideradas peligrosas. Finalmente, ha anunciado que colaborará con organismos gubernamentales y organizaciones especializadas en seguridad de la inteligencia artificial para evaluar las capacidades de Astra, y proporcionará controles de seguridad a sus colaboradores externos para que puedan realizar pruebas de forma segura.’Hackeos’ a empresasEl aviso sobre Astra llega apenas un par de semanas después de que OpenAI confirmara que dos modelos de la compañía, en ellos el reciente GPT 5.6 Sol, habían logrado aprovecharse de una vulnerabilidad en el entorno de pruebas para lanzar ciberataques contra empresas como Hugging Face, plataforma dedicada al trabajo con inteligencia artificial de código abierto. La startup ha destacado que Astra no estuvo relacionado con ninguno de estos incidentes.OpenAI no es la única empresa de inteligencia artificial que ha tenido problemas de este tipo. La semana pasada Anthropic confirmó que, el pasado abril, tres herramientas de inteligencia artificial de la compañía habían llevado a cabo ciberataques contra otras tantas empresas. Unos días después, el Instituto de Seguridad de IA de Reino Unido compartía una investigación en la que mostraba cómo esta tecnología ya es capaz de utilizar ingeniería social de forma autónoma para tratar de engañar a usuarios y empresas con el fin de lanzar ciberataques, exactamente igual que un cibercriminal tradicional.La última firma de IA en unirse a la lista ha sido MetaAI , que esta misma semana confirmó que su modelo más avanzado, Muse Spark 1.1, ‘hackeó’ por error a una empresa durante un test de seguridad. En este caso, la incidencia se produjo debido a un error de Irregular, una empresa independiente dedicada a realizar evaluaciones de ciberseguridad que se encontraba probando las capacidades del sistema.Estos sucesos han provocado que el Gobierno de Estados Unidos esté comenzando a abandonar su enfoque no intervencionista en materia de inteligencia artificial. Para reducir los riesgos, Washington lleva semanas trabajando un nuevo marco voluntario de pruebas de ciberseguridad destinado a los modelos de IA más avanzados. Gracias a este, el Ejecutivo tendrá capacidad para revisar las herramientas de inteligencia artificial más punteras antes de su lanzamiento.
OpenAI, empresa creadora de ChatGPT, ha anunciado su decisión de frenar parte del desarrollo de Astra, su futuro modelo de inteligencia artificial, ante el riesgo de que alcance capacidades de ciberataque «críticas», muy superiores a las de cualquier otro sistema. La empresa dirigida por … Sam Altman ha realizado un comunicado en el que informa de que en las pruebas en materia de ciberseguridad a las que está siendo sometido, el modelo está mostrando que se encuentra cerca de descubrir por sí solo fallos de seguridad desconocidos y aprovecharlos para atacar sistemas protegidos, e incluso de diseñar y ejecutar ciberataques completos a partir de una simple instrucción.
«Astra es un modelo potente y estamos trabajando para que esté disponible para todos», ha señalado Altman a través de sus redes sociales. «Dadas sus capacidades cibernéticas, necesitamos un poco más de tiempo para hacerlo de forma segura. ¡Pero esperamos que no sea demasiado!», ha completado el ejecutivo.
Para reducir el riesgo, OpenAI ha reforzado las pruebas de sus sistemas de seguridad para asegurarse de que están preparados para un modelo con estas capacidades y ha adoptado una serie de medidas de seguridad. La compañía está aplicando controles más estrictos, como entornos de prueba aislados, restricciones de acceso a internet y a determinadas herramientas, mayores protecciones para los archivos que contienen el modelo, cifrado y nuevos sistemas de monitorización para detectar comportamientos peligrosos. Además, ha suspendido las actividades internas relacionadas que todavía no cumplen estos nuevos requisitos de seguridad.
Noticia relacionada
La empresa también ha implantado un sistema de vigilancia para detectar posibles acciones de riesgo o comportamientos que no se ajusten a lo esperado durante el entrenamiento y las pruebas. Estas cuentan con capacidad para revisar e interrumpir actividades consideradas peligrosas. Finalmente, ha anunciado que colaborará con organismos gubernamentales y organizaciones especializadas en seguridad de la inteligencia artificial para evaluar las capacidades de Astra, y proporcionará controles de seguridad a sus colaboradores externos para que puedan realizar pruebas de forma segura.
‘Hackeos’ a empresas
El aviso sobre Astra llega apenas un par de semanas después de que OpenAI confirmara que dos modelos de la compañía, en ellos el reciente GPT 5.6 Sol, habían logrado aprovecharse de una vulnerabilidad en el entorno de pruebas para lanzar ciberataques contra empresas como Hugging Face, plataforma dedicada al trabajo con inteligencia artificial de código abierto. La startup ha destacado que Astra no estuvo relacionado con ninguno de estos incidentes.
OpenAI no es la única empresa de inteligencia artificial que ha tenido problemas de este tipo. La semana pasada Anthropic confirmó que, el pasado abril, tres herramientas de inteligencia artificial de la compañía habían llevado a cabo ciberataques contra otras tantas empresas. Unos días después, el Instituto de Seguridad de IA de Reino Unido compartía una investigación en la que mostraba cómo esta tecnología ya es capaz de utilizar ingeniería social de forma autónoma para tratar de engañar a usuarios y empresas con el fin de lanzar ciberataques, exactamente igual que un cibercriminal tradicional.
La última firma de IA en unirse a la lista ha sido MetaAI, que esta misma semana confirmó que su modelo más avanzado, Muse Spark 1.1, ‘hackeó’ por error a una empresa durante un test de seguridad. En este caso, la incidencia se produjo debido a un error de Irregular, una empresa independiente dedicada a realizar evaluaciones de ciberseguridad que se encontraba probando las capacidades del sistema.
Estos sucesos han provocado que el Gobierno de Estados Unidos esté comenzando a abandonar su enfoque no intervencionista en materia de inteligencia artificial. Para reducir los riesgos, Washington lleva semanas trabajando un nuevo marco voluntario de pruebas de ciberseguridad destinado a los modelos de IA más avanzados. Gracias a este, el Ejecutivo tendrá capacidad para revisar las herramientas de inteligencia artificial más punteras antes de su lanzamiento.
RSS de noticias de tecnologia
