Si bien las empresas de RSAC están haciendo todo lo posible para aprovechar el auge de la IA y llevar al mercado aplicaciones basadas en aprendizaje automático, no están prestando suficiente atención a la seguridad de las aplicaciones, dice el director de seguridad de la información de AWS, Chris Betts.
“En su prisa por utilizar la IA generativa, las empresas se olvidan de la seguridad de las aplicaciones”, dijo Betts a The Register en una entrevista en la conferencia RSA en San Francisco la semana pasada.
Desde el entrenamiento hasta la inferencia, deben existir salvaguardas y otras salvaguardas para evitar que estas sofisticadas redes neuronales sean mal utilizadas o utilizadas de manera inesperada e indeseable. “Los modelos no existen de forma aislada; existen dentro del contexto de una aplicación”.
Betts comparó asegurar una pila de IA con un pastel de tres capas. La capa más baja es el entorno de formación, que alberga los modelos de lenguaje a gran escala (LLM) sobre los que se construyen las aplicaciones de IA generativa. El proceso de capacitación debe ser sólido y, sobre todo, debe garantizar que no entre ni salga basura.
“¿Cómo sabes que estás obteniendo los datos correctos, que esos datos están protegidos, que estás entrenando el modelo correctamente y que el modelo está funcionando de la manera que deseas?”, dijo Betts.
El nivel medio proporciona acceso a las herramientas necesarias para ejecutar y escalar aplicaciones de IA generativa.
“Dedicamos todo este tiempo a entrenar y ajustar modelos. ¿Dónde ejecutamos los modelos? ¿Cómo protegemos los modelos? Estos modelos pasan a través de algunos de los datos más confidenciales que tiene una empresa. Así que es muy interesante”, dijo Betts. .
Por eso es fundamental que entren y salgan del LLM los datos correctos y que estén protegidos durante todo el proceso, explicó.
A menudo se olvida proteger la capa superior (aplicaciones que utilizan LLM o construidas sobre plataformas de inteligencia artificial) durante el lanzamiento al mercado.
“Las dos primeras capas son nuevas y novedosas para los clientes”, añadió Betz. “Todos aprenden sobre la marcha. Pero estamos tratando de lanzar estas aplicaciones rápidamente”. Esta prisa deja vulnerable a la capa superior.
En su evento anual de ciberseguridad, AWS e IBM anunciaron un estudio basado en una encuesta a 200 ejecutivos de nivel C realizada en septiembre de 2023. El 81% de los encuestados dijo que la IA generativa requiere nuevos modelos de gobernanza de la seguridad. De manera similar, el 82% dijo que la IA segura y confiable es fundamental para el éxito empresarial.
Sin embargo, el estudio encontró que sólo el 24% de los proyectos actuales de generación de IA tienen un componente de seguridad, lo que significa que los ejecutivos no están priorizando la seguridad.
“Creo que esta diferencia es parte de la competencia por el mercado”, dijo Betts. “Cuando hablas con los clientes o miras datos públicos, el primer lugar donde ves brechas de seguridad es en la capa de aplicación. Con la tecnología tradicional, la gente se apresura a crear soluciones y comete errores ®”.
Fuente: https://www.theregister.com/AMP/2024/05/13/aws_ciso_ai_security/
