inoticia

OpenAI estaba construyendo una reputación en el campo de la inteligencia artificial, pero no era un nombre familiar cuando Mira Murati se unió al laboratorio de investigación sin fines de lucro en 2018.

Poco después, el laboratorio de San Francisco inició una gran transformación. Se convirtió en un negocio que atrajo la atención mundial como creador de ChatGPT.

Ahora su director de tecnología, Murati dirige los equipos de investigación, productos y seguridad de OpenAI. Ha liderado el desarrollo y lanzamiento de sus modelos de IA, incluidos ChatGPT, el generador de imágenes DALL-E y el más nuevo, GPT-4.

Habló con The Associated Press sobre las medidas de seguridad de la IA y la visión de la compañía para el concepto futurista de inteligencia artificial general, conocida como AGI. La entrevista ha sido editada por su extensión y claridad.

P: ¿Qué significa la inteligencia general artificial para OpenAI?

R: Por inteligencia general artificial, generalmente nos referimos a sistemas altamente autónomos que son capaces de producir resultados económicos, resultados económicos significativos. En otras palabras, sistemas que pueden generalizarse en diferentes dominios. Es una capacidad a nivel humano. La visión específica de OpenAI en torno a esto es construirlo de manera segura y descubrir cómo construirlo de una manera que esté alineada con las intenciones humanas, de modo que los sistemas de IA estén haciendo las cosas que queremos que hagan, y que beneficien al máximo a tantas personas por ahí como sea posible, idealmente todos.

P: ¿Existe una ruta entre productos como GPT-4 y AGI?

R: Estamos lejos del punto de tener un sistema AGI seguro, confiable y alineado. Nuestro camino para llegar allí tiene un par de vectores importantes. Desde el punto de vista de la investigación, estamos tratando de construir sistemas que tengan una comprensión sólida del mundo de manera similar a como lo hacemos los humanos. Los sistemas como GPT-3 inicialmente se entrenaron solo con datos de texto, pero nuestro mundo no solo está hecho de texto, también tenemos imágenes y luego comenzamos a introducir otras modalidades. El otro ángulo ha sido escalar estos sistemas para aumentar su generalidad. Con GPT-4, estamos lidiando con un sistema mucho más capaz, específicamente desde el punto de vista del razonamiento sobre las cosas. Esta capacidad es clave. Si el modelo es lo suficientemente inteligente como para comprender una dirección ambigua o una dirección de alto nivel, puede averiguar cómo hacer que siga esta dirección. Pero si ni siquiera entiende ese objetivo de alto nivel o esa dirección de alto nivel, es mucho más difícil alinearlo. No es suficiente construir esta tecnología en el vacío de un laboratorio. Realmente necesitamos este contacto con la realidad, con el mundo real, para ver dónde están las debilidades, dónde están los puntos de ruptura, y tratar de hacerlo de una manera controlada y de bajo riesgo y obtener la mayor cantidad de comentarios posible.

P: ¿Qué medidas de seguridad tomáis?

R: Pensamos en intervenciones en cada etapa. Redactamos ciertos datos del entrenamiento inicial sobre el modelo. Con DALL-E, queríamos reducir los problemas de sesgo dañino que estábamos viendo. Ajustamos la proporción de imágenes de imágenes femeninas y masculinas en el conjunto de datos de entrenamiento. Pero hay que tener mucho cuidado porque se puede crear algún otro desequilibrio. Tienes que auditar constantemente. En ese caso, obtuvimos un sesgo diferente porque muchas de estas imágenes eran de naturaleza sexual. Entonces, debe ajustarlo nuevamente y tener mucho cuidado cada vez que realiza una intervención, viendo qué más se está interrumpiendo. En el entrenamiento del modelo, con ChatGPT en particular, hicimos un aprendizaje reforzado con retroalimentación humana para ayudar a que el modelo se alineara más con las preferencias humanas. Básicamente, lo que intentamos hacer es amplificar lo que se considera un buen comportamiento y luego desamplificar lo que se considera un mal comportamiento.

P: ¿Deberían regularse estos sistemas?

R: Sí, absolutamente. Estos sistemas deben ser regulados. En OpenAI, estamos hablando constantemente con gobiernos y reguladores y otras organizaciones que están desarrollando estos sistemas para, al menos a nivel de empresa, acordar algún nivel de estándares. Hemos trabajado en eso en los últimos dos años con grandes desarrolladores de modelos de lenguaje para alinearnos con algunos estándares básicos de seguridad para la implementación de estos modelos. Pero creo que es necesario que suceda mucho más. Los reguladores gubernamentales ciertamente deberían estar muy involucrados.

P: Una carta que pedía una pausa de la industria de 6 meses en la construcción de modelos de IA más potentes que GPT-4 llamó mucho la atención. ¿Qué opinas de la petición y su suposición sobre los riesgos de la IA?

R: Mire, creo que diseñar mecanismos de seguridad en sistemas complejos es difícil. Aquí hay muchos matices. Algunos de los riesgos que señala la carta son completamente válidos. En OpenAI, hemos estado hablando de ellos abiertamente durante años y también estudiándolos. No creo que firmar una carta sea una forma efectiva de construir mecanismos de seguridad o coordinar a los jugadores en el espacio. Algunas de las declaraciones en la carta eran simplemente falsas sobre el desarrollo de GPT-4 o GPT-5. No estamos entrenando GPT-5. No tenemos planes de hacerlo en los próximos seis meses. Y no nos apresuramos a sacar GPT-4. De hecho, nos tomó seis meses concentrarnos por completo en el desarrollo y la implementación seguros de GPT-4. Incluso entonces, lo implementamos con una gran cantidad de barandas y un despliegue lento y muy coordinado. No es fácilmente accesible para todos, y ciertamente no es de código abierto. Todo esto es para decir que creo que los mecanismos de seguridad y los mecanismos de coordinación en estos sistemas de IA y cualquier sistema tecnológico complejo son difíciles y requieren mucho pensamiento, exploración y coordinación entre los jugadores.

P: ¿Cuánto ha cambiado OpenAI desde que se unió?

R: Cuando me uní a OpenAI, era una organización sin fines de lucro. Pensé que esta era la tecnología más importante que jamás construiremos como humanidad y realmente sentí que una empresa con la misión de OpenAI probablemente se aseguraría de que todo funcione bien. Con el tiempo, cambiamos nuestra estructura porque estos sistemas son caros. Requieren mucha financiación. Nos aseguramos de estructurar los incentivos de tal manera que sirviéramos a la misión sin fines de lucro. Es por eso que tenemos una estructura de “beneficios limitados”. Las personas en OpenAI están intrínsecamente motivadas y alineadas con la misión y eso no ha cambiado desde el principio. Pero en el transcurso de cinco años, nuestro pensamiento ha evolucionado mucho en lo que respecta a cuál es la mejor manera de implementar, cuál es la forma más segura. Esa es probablemente la diferencia más marcada. Creo que es un buen cambio.

P: ¿Anticipó la respuesta a ChatGPT antes de su lanzamiento el 30 de noviembre?

R: La tecnología subyacente había existido durante meses. Teníamos mucha confianza en las limitaciones del modelo de los clientes que ya lo habían estado usando a través de una API. Pero hicimos algunos cambios en la parte superior del modelo base. Lo adaptamos al diálogo. Luego lo pusimos a disposición de los investigadores a través de una nueva interfaz de ChatGPT. Lo habíamos estado explorando internamente con un grupo pequeño y confiable, y nos dimos cuenta de que el cuello de botella era obtener más información y obtener más datos de las personas. Queríamos expandirlo a más personas en lo que llamamos una vista previa de investigación, no un producto. La intención era recopilar comentarios sobre el comportamiento del modelo y utilizar esos datos para mejorar el modelo y hacerlo más alineado. No anticipamos el grado en que las personas estarían tan cautivadas por hablar con un sistema de IA. Era solo una vista previa de la investigación. La cantidad de usuarios y demás, no anticipamos ese nivel de emoción.