La empresa de inteligencia artificial Anthropic fue fundada con el objetivo de «servir a los intereses a largo plazo de la humanidad» . Sin embargo, ahora la compañía propone «pausar temporalmente» el desarrollo de la IA por miedo a que escape del control humano .La compañía estadounidense, desarrolladora de Claude o Mythos -que han revolucionado el panorama de la IA-, sugiere en un informe que «probablemente» sea «una buena idea» una desaceleración mundial en el desarrollo de IA de última generación.Anthropic ha advertido, sin embargo, que este parón debe ser general , pues si solo frena una empresa, sus rivales podrían adelantarse en la carrera.Noticia relacionada general No No Descubre vulnerabilidades en la web Mythos, una IA «peor que la bomba atómica» Rodrigo Alonso«Creemos que sería bueno para el mundo tener la opción de disminuir o pausar temporalmente el desarrollo de vanguardia de la IA para permitir que las estructuras sociales y la investigación sigan el ritmo del avance de la tecnología », ha señalado la empresa con sede en San Francisco.«Sin un mecanismo global de coordinación, las empresas y los gobiernos tendrán que tomar decisiones difíciles sobre seguridad mientras enfrentan presiones competitivas y geopolíticas », añade el texto.¿Y si la IA escapa al control humano?La propuesta de Anthropic viene a raíz de una reflexión de cómo la IA se puede llegar a ‘autoentrenar’ , escapando al control de los desarrolladores, y alcanzando lo que los expertos llaman «superación recursiva».Este término define un problema que la empresa ha detectado, y según sus datos internos la IA acelera de manera dramática su propio desarrollo , lo que puede crear un ciclo de retroalimentación que eventualmente lleve a esta «superación recursiva».«El papel humano se está reduciendo en cada paso del proceso de desarrollo de la IA»A pesar de las alarmas aseguran que « aún no hemos llegado a ese punto , y la superación recursiva no es inevitable», pero añade que podría ocurrir antes de que la mayoría de los gobiernos e instituciones estén preparados para afrontarla.«Las pruebas sugieren que el papel humano se está reduciendo en cada paso del proceso de desarrollo de la IA », advierte, y compara una posible solución con los tratados de control de armas nucleares, aunque sería aun más difícil de abordar, ya que el entrenamiento de la IA es mucho más fácil de ocultar que un silo de misiles.Anthropic ya ha movido ficha y planea reunir a funcionarios, científicos, grupos de defensa y empresas de IA competidoras en los próximos meses para determinar cómo podría funcionar un sistema de este tipo.La Casa Blanca mira a ChinaEsta propuesta no ha gustado en las altas esferas del Gobierno estadounidense ni en la industria, pues consideran que se enfoca en los peores escenarios y exagera los riesgos para frenar a sus rivales bajo el pretexto de la seguridad.Aun así, la Casa Blanca ha reconocido el poder del modelo Mythos, que no se ha puesto a disposición del público general y que actualmente solo se utiliza en un pequeño número de organizaciones seleccionadas para detectar «miles de vulnerabilidades de alta gravedad , incluidas algunas en todos los principales sistemas operativos y navegadores web».EE.UU. teme que un frenazo en el desarrollo de ventaja a ChinaLos funcionarios estadounidenses y ejecutivos de las grandes tecnológicas han argumentado además que disminuir el desarrollo de la IA podría ceder una ventaja significativa a China .Sin embargo, el presidente Donald Trump dijo que en su reciente visita a Pekín se discutió la posibilidad de cooperar con el gigante asiático en asuntos de seguridad de la IA.MÁS INFORMACIÓN noticia Si El complejo desafío de atrapar la oportunidad histórica de la IATrump también firmó una orden ejecutiva esta semana que permitirá al gobierno realizar evaluaciones preliminares de los modelos de IA más poderosos de empresas estadounidenses antes de su lanzamiento. La empresa de inteligencia artificial Anthropic fue fundada con el objetivo de «servir a los intereses a largo plazo de la humanidad» . Sin embargo, ahora la compañía propone «pausar temporalmente» el desarrollo de la IA por miedo a que escape del control humano .La compañía estadounidense, desarrolladora de Claude o Mythos -que han revolucionado el panorama de la IA-, sugiere en un informe que «probablemente» sea «una buena idea» una desaceleración mundial en el desarrollo de IA de última generación.Anthropic ha advertido, sin embargo, que este parón debe ser general , pues si solo frena una empresa, sus rivales podrían adelantarse en la carrera.Noticia relacionada general No No Descubre vulnerabilidades en la web Mythos, una IA «peor que la bomba atómica» Rodrigo Alonso«Creemos que sería bueno para el mundo tener la opción de disminuir o pausar temporalmente el desarrollo de vanguardia de la IA para permitir que las estructuras sociales y la investigación sigan el ritmo del avance de la tecnología », ha señalado la empresa con sede en San Francisco.«Sin un mecanismo global de coordinación, las empresas y los gobiernos tendrán que tomar decisiones difíciles sobre seguridad mientras enfrentan presiones competitivas y geopolíticas », añade el texto.¿Y si la IA escapa al control humano?La propuesta de Anthropic viene a raíz de una reflexión de cómo la IA se puede llegar a ‘autoentrenar’ , escapando al control de los desarrolladores, y alcanzando lo que los expertos llaman «superación recursiva».Este término define un problema que la empresa ha detectado, y según sus datos internos la IA acelera de manera dramática su propio desarrollo , lo que puede crear un ciclo de retroalimentación que eventualmente lleve a esta «superación recursiva».«El papel humano se está reduciendo en cada paso del proceso de desarrollo de la IA»A pesar de las alarmas aseguran que « aún no hemos llegado a ese punto , y la superación recursiva no es inevitable», pero añade que podría ocurrir antes de que la mayoría de los gobiernos e instituciones estén preparados para afrontarla.«Las pruebas sugieren que el papel humano se está reduciendo en cada paso del proceso de desarrollo de la IA », advierte, y compara una posible solución con los tratados de control de armas nucleares, aunque sería aun más difícil de abordar, ya que el entrenamiento de la IA es mucho más fácil de ocultar que un silo de misiles.Anthropic ya ha movido ficha y planea reunir a funcionarios, científicos, grupos de defensa y empresas de IA competidoras en los próximos meses para determinar cómo podría funcionar un sistema de este tipo.La Casa Blanca mira a ChinaEsta propuesta no ha gustado en las altas esferas del Gobierno estadounidense ni en la industria, pues consideran que se enfoca en los peores escenarios y exagera los riesgos para frenar a sus rivales bajo el pretexto de la seguridad.Aun así, la Casa Blanca ha reconocido el poder del modelo Mythos, que no se ha puesto a disposición del público general y que actualmente solo se utiliza en un pequeño número de organizaciones seleccionadas para detectar «miles de vulnerabilidades de alta gravedad , incluidas algunas en todos los principales sistemas operativos y navegadores web».EE.UU. teme que un frenazo en el desarrollo de ventaja a ChinaLos funcionarios estadounidenses y ejecutivos de las grandes tecnológicas han argumentado además que disminuir el desarrollo de la IA podría ceder una ventaja significativa a China .Sin embargo, el presidente Donald Trump dijo que en su reciente visita a Pekín se discutió la posibilidad de cooperar con el gigante asiático en asuntos de seguridad de la IA.MÁS INFORMACIÓN noticia Si El complejo desafío de atrapar la oportunidad histórica de la IATrump también firmó una orden ejecutiva esta semana que permitirá al gobierno realizar evaluaciones preliminares de los modelos de IA más poderosos de empresas estadounidenses antes de su lanzamiento.
La empresa de inteligencia artificial Anthropic fue fundada con el objetivo de «servir a los intereses a largo plazo de la humanidad». Sin embargo, ahora la compañía propone «pausar temporalmente» el desarrollo de la IA por miedo a que escape del control humano … .
La compañía estadounidense, desarrolladora de Claude o Mythos -que han revolucionado el panorama de la IA-, sugiere en un informe que «probablemente» sea «una buena idea» una desaceleración mundial en el desarrollo de IA de última generación.
Anthropic ha advertido, sin embargo, que este parón debe ser general, pues si solo frena una empresa, sus rivales podrían adelantarse en la carrera.
Noticia relacionada
«Creemos que sería bueno para el mundo tener la opción de disminuir o pausar temporalmente el desarrollo de vanguardia de la IA para permitir que las estructuras sociales y la investigación sigan el ritmo del avance de la tecnología», ha señalado la empresa con sede en San Francisco.
«Sin un mecanismo global de coordinación, las empresas y los gobiernos tendrán que tomar decisiones difíciles sobre seguridad mientras enfrentan presiones competitivas y geopolíticas», añade el texto.
¿Y si la IA escapa al control humano?
La propuesta de Anthropic viene a raíz de una reflexión de cómo la IA se puede llegar a ‘autoentrenar’, escapando al control de los desarrolladores, y alcanzando lo que los expertos llaman «superación recursiva».
Este término define un problema que la empresa ha detectado, y según sus datos internos la IA acelera de manera dramática su propio desarrollo, lo que puede crear un ciclo de retroalimentación que eventualmente lleve a esta «superación recursiva».
«El papel humano se está reduciendo en cada paso del proceso de desarrollo de la IA»
A pesar de las alarmas aseguran que «aún no hemos llegado a ese punto, y la superación recursiva no es inevitable», pero añade que podría ocurrir antes de que la mayoría de los gobiernos e instituciones estén preparados para afrontarla.
«Las pruebas sugieren que el papel humano se está reduciendo en cada paso del proceso de desarrollo de la IA», advierte, y compara una posible solución con los tratados de control de armas nucleares, aunque sería aun más difícil de abordar, ya que el entrenamiento de la IA es mucho más fácil de ocultar que un silo de misiles.
Anthropic ya ha movido ficha y planea reunir a funcionarios, científicos, grupos de defensa y empresas de IA competidoras en los próximos meses para determinar cómo podría funcionar un sistema de este tipo.
La Casa Blanca mira a China
Esta propuesta no ha gustado en las altas esferas del Gobierno estadounidense ni en la industria, pues consideran que se enfoca en los peores escenarios y exagera los riesgos para frenar a sus rivales bajo el pretexto de la seguridad.
Aun así, la Casa Blanca ha reconocido el poder del modelo Mythos, que no se ha puesto a disposición del público general y que actualmente solo se utiliza en un pequeño número de organizaciones seleccionadas para detectar «miles de vulnerabilidades de alta gravedad, incluidas algunas en todos los principales sistemas operativos y navegadores web».
EE.UU. teme que un frenazo en el desarrollo de ventaja a China
Los funcionarios estadounidenses y ejecutivos de las grandes tecnológicas han argumentado además que disminuir el desarrollo de la IA podría ceder una ventaja significativa a China.
Sin embargo, el presidente Donald Trump dijo que en su reciente visita a Pekín se discutió la posibilidad de cooperar con el gigante asiático en asuntos de seguridad de la IA.
Trump también firmó una orden ejecutiva esta semana que permitirá al gobierno realizar evaluaciones preliminares de los modelos de IA más poderosos de empresas estadounidenses antes de su lanzamiento.
RSS de noticias de tecnologia
