En una entrevista reciente con la Universidad de Stanford, el director ejecutivo de OpenAI, Sam Altman, predijo que la seguridad de la IA se convertirá en el problema definitorio de la próxima fase del desarrollo de la IA y dijo que la seguridad de la IA es uno de los mejores campos para estudiar en este momento. También citó la IA personalizada como un ejemplo de un problema de seguridad en el que ha estado pensando últimamente.
¿Qué significa hoy la seguridad de la IA?
Sam Altman dijo que las preocupaciones sobre la seguridad de la IA se replantearán como problemas de seguridad de la IA que la IA puede resolver.
El presentador de la entrevista, Dan Boneh, preguntó:
«Entonces, ¿qué significa que un sistema de IA sea seguro? ¿Qué significa incluso intentar que haga cosas para las que no fue diseñado?
¿Cómo protegemos los sistemas de IA de inyecciones rápidas y otros ataques como ese? ¿Qué opinas de la seguridad de la IA?
Supongo que la pregunta concreta que quiero hacer es que, entre todas las diferentes cosas que podemos hacer con la IA, este curso trata de aprender una pequeña parte del campo. ¿Es esta una buena zona? ¿Debería la gente entrar en esto?
Sam Altman animó a los estudiantes de hoy a estudiar seguridad de la IA.
Él respondió:
«Creo que esta es una de las mejores áreas para estudiar. Creo que pronto nos dirigiremos a un mundo en el que muchos de los problemas de seguridad de la IA de los que la gente ha hablado tradicionalmente se reformularán como problemas de seguridad de la IA de diferentes maneras.
También creo que, dada la capacidad de estos modelos, si queremos poder implementarlos para un uso amplio, los problemas de seguridad se volverán realmente grandes. Mencionaste muchas áreas que creo que es muy importante descubrir. La solidez del adversario en particular parece que se está poniendo bastante seria”.
Lo que Altman quiere decir es que la gente está empezando a encontrar formas de engañar a los sistemas de IA, y el problema se está volviendo lo suficientemente grave como para que los investigadores e ingenieros deban centrarse en hacer que la IA sea resistente a la manipulación y otros tipos de ataques, como las inyecciones rápidas.
La personalización de la IA se está convirtiendo en una preocupación de seguridad
Altman también dijo que algo en lo que ha estado pensando mucho últimamente es en posibles problemas de seguridad con la personalización de la IA. Dijo que la gente aprecia las respuestas personalizadas de la IA, pero dijo que esto podría abrir la puerta a piratas informáticos malintencionados que descubran cómo robar datos confidenciales (exfiltrar).
Él explicó:
«Una cosa más que mencionaré y que mencionaste un poco, pero que ha estado mucho en mi mente recientemente. Hay dos cosas que a la gente realmente le encantan en este momento y que, en conjunto, son un verdadero desafío de seguridad.
Número uno, a la gente le encanta lo personalizados que se vuelven estos modelos. Entonces ChatGPT ahora realmente te conoce. Personaliza su historial de conversaciones, los datos que ha conectado y cualquier otra cosa.
Y luego, la número dos es que puedes conectar estos modelos a otros servicios. Pueden salir y llamar a cosas en la web y, ya sabes, hacer cosas que sean útiles para ti.
Pero lo que realmente no quieres es que alguien pueda extraer datos de tu modelo personal que sabe todo sobre ti.
Y los humanos pueden confiar en que serán razonables en esto. Si le cuenta a su cónyuge un montón de secretos, puede confiar en que sabrá en qué contexto qué contarle a otras personas. Los modelos todavía no lo hacen muy bien.
Entonces, si estás contando como un modelo todo sobre tus, ya sabes, problemas de atención médica privada, y luego se apaga, y tienes ganas de comprar algo para ti, no quieres que ese sitio de comercio electrónico sepa sobre todos tus problemas de salud o lo que sea.
Pero este es un problema de seguridad muy interesante para resolverlo con un 100% de solidez”.
Altman identifica la personalización como un gran avance y una nueva oportunidad para los ciberataques. Las mismas cualidades que hacen que la IA sea más útil también la convierten en un objetivo, ya que los modelos que aprenden de historias individuales podrían manipularse para revelarlas. Altman muestra cómo la comodidad puede convertirse en una fuente de exposición y explica que la privacidad y la usabilidad son ahora desafíos de seguridad.
Por último, Altman volvió a considerar la IA como el problema de seguridad y la solución.
Concluyó:
«Sí, por cierto, funciona en ambas direcciones. Como si pudieras usarlo para proteger sistemas. Creo que será un gran problema para los ataques cibernéticos en varios momentos».
Comidas para llevar
- La seguridad de la IA como próxima fase del desarrollo de la IA
Altman predice que la seguridad de la IA reemplazará a la seguridad de la IA como el desafío y la oportunidad central de la inteligencia artificial. - La personalización como nueva superficie de ataque
La creciente tendencia de los sistemas de inteligencia artificial que aprenden de los datos de los usuarios plantea nuevas preocupaciones de seguridad, ya que la personalización podría exponer oportunidades para que los atacantes extraigan información confidencial. - Doble función de la IA en la ciberseguridad
Altman enfatiza que la IA planteará nuevas amenazas a la seguridad y servirá como una poderosa herramienta para detectarlas y prevenirlas. - Necesidad emergente de experiencia en seguridad de IA
Los comentarios de Altman sugieren que habrá una creciente demanda de profesionales que sepan cómo proteger, probar e implementar la IA de manera responsable.
Mire a Altman hablar aproximadamente en el minuto 15:
