inoticia

CAMBRIDGE, Massachusetts (AP) — Los informáticos que ayudaron a construir los cimientos de la tecnología de inteligencia artificial actual advierten sobre sus peligros, pero eso no significa que estén de acuerdo sobre cuáles son esos peligros o cómo prevenirlos.

La supervivencia de la humanidad se ve amenazada cuando “las cosas inteligentes pueden ser más astutas que nosotros”, dijo el llamado Padrino de la IA Geoffrey Hinton en una conferencia el miércoles en el Instituto de Tecnología de Massachusetts.

Después de retirarse de Google para poder hablar más librementeHinton, de 75 años, dijo que recientemente cambió su punto de vista sobre las capacidades de razonamiento de los sistemas informáticos que ha investigado durante toda su vida.

“Estas cosas habrán aprendido de nosotros, al leer todas las novelas que alguna vez existieron y todo lo que escribió Maquiavelo, cómo manipular a las personas”, dijo Hinton, dirigiéndose a la multitud que asistía a la conferencia EmTech Digital de MIT Technology Review desde su casa a través de un video. “Incluso si no pueden tirar directamente de las palancas, ciertamente pueden hacer que nosotros tiremos de las palancas”.

“Desearía tener una buena solución simple para esto, pero no la tengo”, agregó. “No estoy seguro de que haya una solución”.

El compañero pionero de la IA Yoshua Bengio, co-ganador con Hinton del premio principal de ciencias de la computacióndijo a The Associated Press el miércoles que está “bastante alineado” con las preocupaciones de Hinton provocadas por chatbots como ChatGPT y tecnología relacionada, pero le preocupa que decir simplemente “Estamos condenados” no va a ayudar.

“Diría que la principal diferencia es que él es una persona pesimista y yo soy más optimista”, dijo Bengio, profesor de la Universidad de Montreal. “Creo que los peligros, los de corto plazo, los de largo plazo, son muy serios y deben ser tomados en serio no solo por unos pocos investigadores, sino también por los gobiernos y la población”.

Hay muchas señales de que los gobiernos están escuchando. La Casa Blanca convocó a los directores ejecutivos de Google, Microsoft y OpenAI, fabricante de ChatGPT, para que se reúnan el jueves con la vicepresidenta Kamala Harris en lo que los funcionarios describen como una discusión franca sobre cómo mitigar los riesgos a corto y largo plazo de su tecnología. Los legisladores europeos también están acelerando las negociaciones para aprobar nuevas reglas de IA.

Pero toda la charla sobre los peligros futuros más terribles a algunos les preocupa que la exageración en torno a las máquinas sobrehumanas, que aún no existen, distraiga los intentos de establecer salvaguardas prácticas en los productos de IA actuales que en gran medida no están regulados.

Margaret Mitchell, exlíder del equipo de ética de IA de Google, dijo que está molesta porque Hinton no habló durante su década en una posición de poder en Google, especialmente después de la expulsión en 2020 del destacado científico negro Timnit Gebru, que había estudiado los daños. de grandes modelos de lenguaje antes de que fueran ampliamente comercializados en productos como ChatGPT y Google’s Bard.

“Es un privilegio que pueda saltar de las realidades de la propagación de la discriminación ahora, la propagación del lenguaje de odio, la toxicidad y la pornografía no consentida de las mujeres., todos estos problemas que están dañando activamente a las personas que están marginadas en la tecnología”, dijo Mitchell, quien también se vio obligado a dejar Google después de la partida de Gebru. “Se está saltando todas esas cosas para preocuparse por algo más lejano”.

Bengio, Hinton y un tercer investigador, Yann LeCun, que trabaja en Meta, matriz de Facebook, recibieron el Premio Turing en 2019 por sus avances en el campo de las redes neuronales artificiales, fundamentales para el desarrollo de las aplicaciones de IA actuales, como ChatGPT.

Bengio, el único de los tres que no aceptó un trabajo con un gigante tecnológico, ha expresado su preocupación durante años por los riesgos de IA a corto plazo, incluida la desestabilización del mercado laboral, el armamento automatizado y los peligros de los conjuntos de datos sesgados.

Pero esas preocupaciones han aumentado recientemente, lo que llevó a Bengio a unirse a otros científicos informáticos y líderes empresariales tecnológicos como Elon Musk y el cofundador de Apple, Steve Wozniak, para pedir una pausa de seis meses en el desarrollo de sistemas de IA más potentes que el último modelo de OpenAI, GPT-4. .

Bengio dijo el miércoles que cree que los últimos modelos de lenguaje de IA ya pasaron la “prueba de Turing” que lleva el nombre del descifrador de códigos británico y el método del pionero de la IA Alan Turing. introducido en 1950 para medir cuándo la IA se vuelve indistinguible de un humano, al menos en la superficie.

“Ese es un hito que puede tener consecuencias drásticas si no tenemos cuidado”, dijo Bengio. “Mi principal preocupación es cómo pueden ser explotados con fines nefastos para desestabilizar las democracias, para ataques cibernéticos, desinformación. Puedes tener una conversación con estos sistemas y pensar que estás interactuando con un humano. Son difíciles de detectar.

Donde es menos probable que los investigadores estén de acuerdo es en cómo los sistemas de lenguaje de IA actuales, que tienen muchas limitaciones, incluida una tendencia a fabricar información, en realidad se volverán más inteligentes que los humanos.

Aidan Gómez fue uno de los coautores del artículo pionero de 2017 que introdujo la llamada técnica transformadora, la “T” al final de ChatGPT, para mejorar el rendimiento de los sistemas de aprendizaje automático, especialmente en la forma en que aprenden de los pasajes. de texto Gómez, entonces un pasante de 20 años en Google, recuerda estar acostado en un sofá en la sede de la compañía en California cuando su equipo envió el periódico alrededor de las 3 a. m., fecha de vencimiento.

“Aidan, esto va a ser enorme”, recuerda que le dijo un colega sobre el trabajo que desde entonces ha ayudado a generar nuevos sistemas que pueden generar prosa e imágenes similares a las humanas.

Seis años más tarde y ahora director ejecutivo de su propia empresa de IA llamada Cohere, en la que Hinton ha invertido, Gómez está entusiasmado con las posibles aplicaciones de estos sistemas, pero molesto por el alarmismo, dice que está “separado de la realidad” de sus verdaderas capacidades y “confía en en extraordinarios saltos de imaginación y razonamiento.”

“La noción de que estos modelos de alguna manera obtendrán acceso a nuestras armas nucleares y lanzarán algún tipo de evento de nivel de extinción no es un discurso productivo”, dijo Gómez. “Es perjudicial para esos esfuerzos de políticas pragmáticas reales que intentan hacer algo bueno”.