La inteligencia artificial es capaz de cosas maravillosas. Si se cumplen los mejores vaticinios de las empresas de Silicon Valley, en cuestión de años permitirá que grandes empresas sean controladas por una sola persona y de que la mayor parte de la población viva, directamente, de la riqueza que generan las máquinas sin tener que mover un dedo. Otros, los más pesimistas, alertan del peligro de que, por el camino, esta tecnología se vuelva contra sus creadores y acabe convirtiéndose en una amenaza para la supervivencia de la humanidad . Y Jacob Coxon, investigador de inteligencia artificial de 27 años que, hasta el momento, trabajaba para Anthropic , es uno de ellos.El ingeniero anunció ayer su decisión de renunciar a su puesto en la empresa dirigida por los hermanos Amodei. Así lo compartió a través de una sucesión de tuits en su cuenta personal de X en los que apunta que ni Anthropic, ni OpenAI, firma para la que trabajó anteriormente, «actúan con responsabilidad»: «Están avanzando a toda velocidad hacia la creación de una superinteligencia artificial -algo así como una IA más lista que cualquier humano- capaz de auto mejorarse y jugando con nuestras vidas».Coxon ha alertado de que, dentro de poco, la inteligencia artificial será capaz de «’hackear’ cualquier cosa» y «adquirir poder y recursos reales». Espera que el avance vertiginoso de la IA no se frene durante los próximos años y avisa de que todos los que trabajan en este campo son conscientes del riesgo que implica su trabajo: «Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros para finales de la década».El ingeniero ha querido dejar claro que su publicación «no responde a una estrategia de marketing». A este respecto, destaca que aunque muchos ejecutivos e investigadores «suavizan sus declaraciones en la prensa para que parecer sensatas», él mismo ha escuchado «a esas mismas personas expresar temor» sobre el futuro de la inteligencia artificial. «¿Si realmente creen esto, por qué siguen construyéndola?», se pregunta Coxon. La respuesta la da él mismo: «En OpenAI, muchos no han interiorizado profundamente lo que está en juego para la civilización. En Anthropic, lo que está en juego se entiende bien, pero están inmersos en una carrera por llegar primero; no creen en nada más». En opinión del experto, participar en la carrera por desarrollar la IA a toda prisa es «una apuesta temeraria» que no debería quedar en manos de una empresa privada. A pesar de estas palabras, el extrabajador de Anthropic se ha mostrado «optimista sobre el potencial que tiene la coordinación» para que diferentes empresas lleguen a acuerdos que permitan que los escenarios más catastróficos se produzcan. A este respecto, hace referencia al resultado del incidente de seguridad sufrido este verano por la plataforma Hugging Face, que fue ‘hackeada’ por varios agentes autónomos de IA desarrollados por OpenAI: «Advertencias como esta han hecho que los acuerdos sobre el ritmo entre laboratorios estadounidenses sean más viables».El ingeniero ha cerrado su publicación haciendo un llamamiento a sus colegas: «Si eres investigador de laboratorio, te insto a que consideres cómo serán realmente los próximos años. ¿Quieres iniciar una fase de aprendizaje por refuerzo superinteligente sin una comprensión rigurosa? ¿Deberías agachar la cabeza porque »va a suceder de todos modos« o aprovechar este momento?». Una probabilidad del 10%La publicación, realizada a modo de hilo, se ha viralizado en la red social propiedad de Elon Musk, donde en apenas medio día consiguió superar los 60 millones de visualizaciones. Coxon contó con el apoyo de Evan Hubinger, director de uno de los equipos de seguridad de Anthropic, quien respondió a los mensajes con un tuit en el que apuntó que «Jacob tiene razón, aquí -es decir, en Anthropic- realmente creemos con sinceridad que la IA podría matar a todos los humanos». Hubinger matizó que, en su opinión, «el riesgo de los modelos actuales de inteligencia artificial es bajo»; sin embargo, le preocupa lo que puede ocurrir en el futuro si las máquinas consiguen alcanzar la superinteligencia y son capaces de mejorar por sí mismas, sin necesidad de que los humanos las capaciten. Desde su punto de vista, hay algo más de un 10% de posibilidades de que en un futuro las máquinas acaben con la humanidad.Las palabras de Coxon y Hubinger, efectivamente, están alineadas con la postura oficial de Anthropic. Darío Amodei , CEO de la empresa, que se prepara para salir a bolsa en los próximos meses, afirmó en una entrevista hace un año que hay un 25% de posibilidades de que, al final, el desarrollo de la inteligencia artificial acabe saliendo «muy, muy mal». Otros ejecutivos del sector, como Elon Musk , han fijado esa probabilidad en torno al 20%. Mientras tanto, Sundar Pichai , CEO de Google, afirmó en una entrevista realizada el año pasado en el podcast tecnológico de Lex Fridman que aunque es «optimista sobre el desarrollo de escenarios catastróficos» tiene la sensación de que el riesgo subyacente en el desarrollo de la inteligencia artificial «es en realidad bastante alto».Coxon no es el primero que critica a las empresas por desarrollar tecnología potencialmente peligrosa. El investigador Nate Soares , una de las voces que durante los últimos años han alertado con más fuerza sobre los riesgos que encierra el desarrollo de la IA, acusó a estas compañías en una recientemente entrevista con ABC de «asumir el riesgo de destruir el mundo con sus propias manos» actuando de forma »loca e inmoral«. Todo por conseguir beneficios.«Un término inventado»A pesar de estas advertencias, la mayoría de la comunidad científica es bastante escéptica sobre la posibilidad de que la inteligencia artificial termine convirtiéndose en una amenaza real para la supervivencia de la humanidad. Incluso de que el surgimiento de la superinteligencia -un termino que ni tiene un origen científico ni está bien definido- sea posible. Por ejemplo, Michael I. Jordan , pionero de la IA y actualmente investigador en el INRIA de París afirmaba en conversación con ABC hace un año que se trata, simplemente, de «un término inventado» por las empresas para conseguir «más financiación procedente del capitalismo de riesgo». Otros científicos reconocidos, como el ganador del premio Turing y exjefe de IA de Meta Yan Lecun han calificado el temor a que la IA acabe con la humanidad como «una completa tontería».Los tuits de Coxon y Hubinger llegan apenas unas semanas después de que empresas de inteligencia artificial como OpenAI, Meta o la propia Anthropic reconocieran que algunos de sus modelos de IA más potentes habían logrado ‘hackear’ a varias empresas reales mientras realizaban pruebas de ciberseguridad. Estos sucesos han provocado que tanto las propias tecnológicas como los gobiernos hayan comenzado a preocuparse más por el potencial riesgo de que, próximamente, esta tecnología convierta la red en un polvorín mediante el desarrollo de ciberataques. La inteligencia artificial es capaz de cosas maravillosas. Si se cumplen los mejores vaticinios de las empresas de Silicon Valley, en cuestión de años permitirá que grandes empresas sean controladas por una sola persona y de que la mayor parte de la población viva, directamente, de la riqueza que generan las máquinas sin tener que mover un dedo. Otros, los más pesimistas, alertan del peligro de que, por el camino, esta tecnología se vuelva contra sus creadores y acabe convirtiéndose en una amenaza para la supervivencia de la humanidad . Y Jacob Coxon, investigador de inteligencia artificial de 27 años que, hasta el momento, trabajaba para Anthropic , es uno de ellos.El ingeniero anunció ayer su decisión de renunciar a su puesto en la empresa dirigida por los hermanos Amodei. Así lo compartió a través de una sucesión de tuits en su cuenta personal de X en los que apunta que ni Anthropic, ni OpenAI, firma para la que trabajó anteriormente, «actúan con responsabilidad»: «Están avanzando a toda velocidad hacia la creación de una superinteligencia artificial -algo así como una IA más lista que cualquier humano- capaz de auto mejorarse y jugando con nuestras vidas».Coxon ha alertado de que, dentro de poco, la inteligencia artificial será capaz de «’hackear’ cualquier cosa» y «adquirir poder y recursos reales». Espera que el avance vertiginoso de la IA no se frene durante los próximos años y avisa de que todos los que trabajan en este campo son conscientes del riesgo que implica su trabajo: «Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros para finales de la década».El ingeniero ha querido dejar claro que su publicación «no responde a una estrategia de marketing». A este respecto, destaca que aunque muchos ejecutivos e investigadores «suavizan sus declaraciones en la prensa para que parecer sensatas», él mismo ha escuchado «a esas mismas personas expresar temor» sobre el futuro de la inteligencia artificial. «¿Si realmente creen esto, por qué siguen construyéndola?», se pregunta Coxon. La respuesta la da él mismo: «En OpenAI, muchos no han interiorizado profundamente lo que está en juego para la civilización. En Anthropic, lo que está en juego se entiende bien, pero están inmersos en una carrera por llegar primero; no creen en nada más». En opinión del experto, participar en la carrera por desarrollar la IA a toda prisa es «una apuesta temeraria» que no debería quedar en manos de una empresa privada. A pesar de estas palabras, el extrabajador de Anthropic se ha mostrado «optimista sobre el potencial que tiene la coordinación» para que diferentes empresas lleguen a acuerdos que permitan que los escenarios más catastróficos se produzcan. A este respecto, hace referencia al resultado del incidente de seguridad sufrido este verano por la plataforma Hugging Face, que fue ‘hackeada’ por varios agentes autónomos de IA desarrollados por OpenAI: «Advertencias como esta han hecho que los acuerdos sobre el ritmo entre laboratorios estadounidenses sean más viables».El ingeniero ha cerrado su publicación haciendo un llamamiento a sus colegas: «Si eres investigador de laboratorio, te insto a que consideres cómo serán realmente los próximos años. ¿Quieres iniciar una fase de aprendizaje por refuerzo superinteligente sin una comprensión rigurosa? ¿Deberías agachar la cabeza porque »va a suceder de todos modos« o aprovechar este momento?». Una probabilidad del 10%La publicación, realizada a modo de hilo, se ha viralizado en la red social propiedad de Elon Musk, donde en apenas medio día consiguió superar los 60 millones de visualizaciones. Coxon contó con el apoyo de Evan Hubinger, director de uno de los equipos de seguridad de Anthropic, quien respondió a los mensajes con un tuit en el que apuntó que «Jacob tiene razón, aquí -es decir, en Anthropic- realmente creemos con sinceridad que la IA podría matar a todos los humanos». Hubinger matizó que, en su opinión, «el riesgo de los modelos actuales de inteligencia artificial es bajo»; sin embargo, le preocupa lo que puede ocurrir en el futuro si las máquinas consiguen alcanzar la superinteligencia y son capaces de mejorar por sí mismas, sin necesidad de que los humanos las capaciten. Desde su punto de vista, hay algo más de un 10% de posibilidades de que en un futuro las máquinas acaben con la humanidad.Las palabras de Coxon y Hubinger, efectivamente, están alineadas con la postura oficial de Anthropic. Darío Amodei , CEO de la empresa, que se prepara para salir a bolsa en los próximos meses, afirmó en una entrevista hace un año que hay un 25% de posibilidades de que, al final, el desarrollo de la inteligencia artificial acabe saliendo «muy, muy mal». Otros ejecutivos del sector, como Elon Musk , han fijado esa probabilidad en torno al 20%. Mientras tanto, Sundar Pichai , CEO de Google, afirmó en una entrevista realizada el año pasado en el podcast tecnológico de Lex Fridman que aunque es «optimista sobre el desarrollo de escenarios catastróficos» tiene la sensación de que el riesgo subyacente en el desarrollo de la inteligencia artificial «es en realidad bastante alto».Coxon no es el primero que critica a las empresas por desarrollar tecnología potencialmente peligrosa. El investigador Nate Soares , una de las voces que durante los últimos años han alertado con más fuerza sobre los riesgos que encierra el desarrollo de la IA, acusó a estas compañías en una recientemente entrevista con ABC de «asumir el riesgo de destruir el mundo con sus propias manos» actuando de forma »loca e inmoral«. Todo por conseguir beneficios.«Un término inventado»A pesar de estas advertencias, la mayoría de la comunidad científica es bastante escéptica sobre la posibilidad de que la inteligencia artificial termine convirtiéndose en una amenaza real para la supervivencia de la humanidad. Incluso de que el surgimiento de la superinteligencia -un termino que ni tiene un origen científico ni está bien definido- sea posible. Por ejemplo, Michael I. Jordan , pionero de la IA y actualmente investigador en el INRIA de París afirmaba en conversación con ABC hace un año que se trata, simplemente, de «un término inventado» por las empresas para conseguir «más financiación procedente del capitalismo de riesgo». Otros científicos reconocidos, como el ganador del premio Turing y exjefe de IA de Meta Yan Lecun han calificado el temor a que la IA acabe con la humanidad como «una completa tontería».Los tuits de Coxon y Hubinger llegan apenas unas semanas después de que empresas de inteligencia artificial como OpenAI, Meta o la propia Anthropic reconocieran que algunos de sus modelos de IA más potentes habían logrado ‘hackear’ a varias empresas reales mientras realizaban pruebas de ciberseguridad. Estos sucesos han provocado que tanto las propias tecnológicas como los gobiernos hayan comenzado a preocuparse más por el potencial riesgo de que, próximamente, esta tecnología convierta la red en un polvorín mediante el desarrollo de ciberataques.
La inteligencia artificial es capaz de cosas maravillosas. Si se cumplen los mejores vaticinios de las empresas de Silicon Valley, en cuestión de años permitirá que grandes empresas sean controladas por una sola persona y de que la mayor parte de la población viva, directamente, … de la riqueza que generan las máquinas sin tener que mover un dedo. Otros, los más pesimistas, alertan del peligro de que, por el camino, esta tecnología se vuelva contra sus creadores y acabe convirtiéndose en una amenaza para la supervivencia de la humanidad. Y Jacob Coxon, investigador de inteligencia artificial de 27 años que, hasta el momento, trabajaba para Anthropic, es uno de ellos.
El ingeniero anunció ayer su decisión de renunciar a su puesto en la empresa dirigida por los hermanos Amodei. Así lo compartió a través de una sucesión de tuits en su cuenta personal de X en los que apunta que ni Anthropic, ni OpenAI, firma para la que trabajó anteriormente, «actúan con responsabilidad»: «Están avanzando a toda velocidad hacia la creación de una superinteligencia artificial -algo así como una IA más lista que cualquier humano- capaz de auto mejorarse y jugando con nuestras vidas».
Coxon ha alertado de que, dentro de poco, la inteligencia artificial será capaz de «’hackear’ cualquier cosa» y «adquirir poder y recursos reales». Espera que el avance vertiginoso de la IA no se frene durante los próximos años y avisa de que todos los que trabajan en este campo son conscientes del riesgo que implica su trabajo: «Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros para finales de la década».
Noticia relacionada
El ingeniero ha querido dejar claro que su publicación «no responde a una estrategia de marketing». A este respecto, destaca que aunque muchos ejecutivos e investigadores «suavizan sus declaraciones en la prensa para que parecer sensatas», él mismo ha escuchado «a esas mismas personas expresar temor» sobre el futuro de la inteligencia artificial.
«¿Si realmente creen esto, por qué siguen construyéndola?», se pregunta Coxon. La respuesta la da él mismo: «En OpenAI, muchos no han interiorizado profundamente lo que está en juego para la civilización. En Anthropic, lo que está en juego se entiende bien, pero están inmersos en una carrera por llegar primero; no creen en nada más». En opinión del experto, participar en la carrera por desarrollar la IA a toda prisa es «una apuesta temeraria» que no debería quedar en manos de una empresa privada.
A pesar de estas palabras, el extrabajador de Anthropic se ha mostrado «optimista sobre el potencial que tiene la coordinación» para que diferentes empresas lleguen a acuerdos que permitan que los escenarios más catastróficos se produzcan. A este respecto, hace referencia al resultado del incidente de seguridad sufrido este verano por la plataforma Hugging Face, que fue ‘hackeada’ por varios agentes autónomos de IA desarrollados por OpenAI: «Advertencias como esta han hecho que los acuerdos sobre el ritmo entre laboratorios estadounidenses sean más viables».
El ingeniero ha cerrado su publicación haciendo un llamamiento a sus colegas: «Si eres investigador de laboratorio, te insto a que consideres cómo serán realmente los próximos años. ¿Quieres iniciar una fase de aprendizaje por refuerzo superinteligente sin una comprensión rigurosa? ¿Deberías agachar la cabeza porque »va a suceder de todos modos« o aprovechar este momento?».
Una probabilidad del 10%
La publicación, realizada a modo de hilo, se ha viralizado en la red social propiedad de Elon Musk, donde en apenas medio día consiguió superar los 60 millones de visualizaciones. Coxon contó con el apoyo de Evan Hubinger, director de uno de los equipos de seguridad de Anthropic, quien respondió a los mensajes con un tuit en el que apuntó que «Jacob tiene razón, aquí -es decir, en Anthropic- realmente creemos con sinceridad que la IA podría matar a todos los humanos».
Hubinger matizó que, en su opinión, «el riesgo de los modelos actuales de inteligencia artificial es bajo»; sin embargo, le preocupa lo que puede ocurrir en el futuro si las máquinas consiguen alcanzar la superinteligencia y son capaces de mejorar por sí mismas, sin necesidad de que los humanos las capaciten. Desde su punto de vista, hay algo más de un 10% de posibilidades de que en un futuro las máquinas acaben con la humanidad.
Las palabras de Coxon y Hubinger, efectivamente, están alineadas con la postura oficial de Anthropic. Darío Amodei, CEO de la empresa, que se prepara para salir a bolsa en los próximos meses, afirmó en una entrevista hace un año que hay un 25% de posibilidades de que, al final, el desarrollo de la inteligencia artificial acabe saliendo «muy, muy mal».
Otros ejecutivos del sector, como Elon Musk, han fijado esa probabilidad en torno al 20%. Mientras tanto, Sundar Pichai, CEO de Google, afirmó en una entrevista realizada el año pasado en el podcast tecnológico de Lex Fridman que aunque es «optimista sobre el desarrollo de escenarios catastróficos» tiene la sensación de que el riesgo subyacente en el desarrollo de la inteligencia artificial «es en realidad bastante alto».
Coxon no es el primero que critica a las empresas por desarrollar tecnología potencialmente peligrosa. El investigador Nate Soares, una de las voces que durante los últimos años han alertado con más fuerza sobre los riesgos que encierra el desarrollo de la IA, acusó a estas compañías en una recientemente entrevista con ABC de «asumir el riesgo de destruir el mundo con sus propias manos» actuando de forma »loca e inmoral«. Todo por conseguir beneficios.
«Un término inventado»
A pesar de estas advertencias, la mayoría de la comunidad científica es bastante escéptica sobre la posibilidad de que la inteligencia artificial termine convirtiéndose en una amenaza real para la supervivencia de la humanidad. Incluso de que el surgimiento de la superinteligencia -un termino que ni tiene un orgien científico ni está bien definido- sea posible. Por ejemplo, Michael I. Jordan, pionero de la IA y actualmente investigador en el INRIA de París afirmaba en conversación con ABC hace un año que se trata, simplemente, de «un término inventado» por las empresas para conseguir «más financiación procedente del capitalismo de riesgo».
Otros científicos reconocidos, como el ganador del premio Turing y exjefe de IA de Meta Yan Lecun han calificado el temor a que la IA acabe con la humanidad como «una completa tontería».
Los tuits de Coxon y Hubinger llegan apenas unas semanas después de que empresas de inteligencia artificial como OpenAI, Meta o la propia Anthropic reconocieran que algunos de sus modelos de IA más potentes habían logrado ‘hackear’ a varias empresas reales mientras realizaban pruebas de ciberseguridad. Estos sucesos han provocado que tanto las propias tecnológicas como los gobiernos hayan comenzado a preocuparse más por el potencial riesgo de que, próximamente, esta tecnología convierta la red en un polvorín mediante el desarrollo de ciberataques.
RSS de noticias de tecnologia
