Pocas tecnologías han permeado el mundo empresarial con tanta rapidez y con tanto entusiasmo por parte de los líderes como la inteligencia artificial (IA) y el aprendizaje automático (ML). Según algunos informes, dos tercios de las empresas ya están utilizando IA generativa, citando beneficios como una mayor productividad y una mejor gestión de las relaciones con los clientes.
Pero a medida que aumentan las expectativas sobre la IA y el aprendizaje automático, también aumentan las preocupaciones sobre la seguridad y la privacidad. Los líderes citan constantemente la seguridad como una de las principales preocupaciones al implementar la IA generativa. Incluso los CISO que conocen bien los detalles del cambio tecnológico dentro de sus organizaciones se sienten ansiosos. Deben comprender los entresijos de la IA, equilibrar la innovación con la seguridad y garantizar que cualquier cambio tenga un impacto empresarial positivo a largo plazo. Sin la base adecuada y la comprensión de cómo proteger los sistemas de IA y abordar las principales preocupaciones de seguridad, la innovación se ralentizará o se estancará.
Para abordar esta necesidad, mi equipo recopiló aportes de más de 100 CISO que participaron en un programa de taller itinerante sobre el tema y 15 expertos en IA de la industria para ayudar a los CISO a aprovechar el poder de la IA generada. Hemos desarrollado un marco (Databricks AI Security Framework). ) para guiar a las organizaciones a implementarlo de forma segura y a escala. También desarrollamos un marco para combatir el patrón en el que los equipos de seguridad ralentizan la IA porque carecen de confianza para proteger sus sistemas. Discutimos este tema con CISO de todo el mundo y encontramos algunas ideas interesantes. Esto es lo que aprendimos.
Por qué los CISO están “ralentizando” la IA
Las preocupaciones de los CISO se reducen a dos cuestiones principales. Falta una orientación específica sobre IA y, como resultado, los CISO se ven obligados a operar sin conocimientos suficientes en esta importante área. La gran mayoría de las directrices, incluidos los marcos del NIST, organizaciones internacionales y las principales empresas de tecnología, son excelentes para organizar los riesgos de los sistemas de IA y ML al más alto nivel. Sin embargo, muchos carecen de la especificidad centrada en la ejecución que los líderes tecnológicos necesitan hoy.
A través de una serie de talleres para CISO, quedó claro que debido a que la IA aún es nueva, la mayoría de los CISO no tienen el tiempo ni la inclinación para comprender claramente qué implica el sistema y por dónde empezar con la seguridad. Además, es posible que la parte comercial de una organización no sea tan paciente cuando se trata de la adopción de la IA. Esto es como si a un CISO le dijeran que “asegurara el edificio” sin que se le dijera nada sobre el edificio o lo que se está asegurando. El contexto necesario (¿cuántas plantas hay? ¿Cómo son las puertas? ¿Cómo es el entorno?) es fundamental. También he visto a los CISO debatir hasta la saciedad si proteger la IA es realmente diferente de proteger las aplicaciones de sistemas deterministas tradicionales. Controlar la IA para protegerla es similar a controlar cualquier otro sistema en términos de cómo y qué proteger, pero esta brecha de conocimiento deja a los CISO sin estar seguros de hasta qué punto proteger la IA.
No comprender la diferencia entre datos de prueba y datos de validación, entre un catálogo de características y un catálogo de modelos, y recibir solo orientación de alto nivel, junto con un nuevo paradigma difícil, es un patrón que algunos CISO están haciendo de la vista gorda ante la realidad. puede ser visto. Esto es lo que se espera. Los humanos estamos programados para temer a lo desconocido. Pero no tiene por qué ser así.
Necesidad: un marco técnico integral para la seguridad de la IA
El AI Security Framework tiene como objetivo proporcionar a los equipos CISO la orientación que necesitan para comprender las preguntas centrales que afectan sus esfuerzos de seguridad. Describe 12 componentes fundamentales de los sistemas de IA y ML centrados en datos y mapea un total de 55 riesgos técnicos de seguridad en esos componentes.
Imagen proporcionada por: Khawaja
En cualquier situación dada, en realidad sólo existe una pequeña cantidad de riesgo. El diagrama anterior muestra cómo se ven esos riesgos. Al centrarse en un subconjunto de riesgos, el alcance del control necesario para garantizar la seguridad de los sistemas de IA se vuelve más alcanzable.
Según el marco, los cuatro subsistemas fundamentales de la IA son:
Las operaciones de datos incluyen la ingesta y transformación de datos, y la garantía de la seguridad y la gobernanza de los datos. Las operaciones de modelos incluyen la creación de modelos personalizados, la recuperación de modelos del mercado de modelos o el uso de SaaS LLM (como OpenAI). La implementación y el servicio de modelos incluyen la creación segura de imágenes de modelos, el aislamiento y el servicio seguro de modelos, el escalado automático, la limitación de velocidad y el monitoreo de los modelos implementados. Operaciones y plataforma incluye gestión y parches de vulnerabilidades de la plataforma, separación de modelos y control sobre el sistema.
A partir de ahí, podrá visualizar y comprender los riesgos asociados con cada componente fundamental. Por ejemplo, la manipulación de modelos incluye 13 riesgos potenciales, incluido el robo de modelos, la inversión de modelos y la fuga de activos de modelos.
Este enfoque ayuda a las empresas a abordar una variedad de necesidades cuando se trata de proteger la IA. Al igual que prepararse para desastres naturales como parte del proceso de protección de seguridad de un edificio (¿se encuentra en un área propensa a terremotos o le preocupan más los huracanes?), los CISO deben elegir algunos componentes de sus sistemas de IA más que otros. Volviendo al ejemplo de las operaciones de modelos, las empresas que han invertido mucho en construir sus propios modelos están más preocupadas por el robo de modelos y por protegerlos. Por otro lado, las empresas con grandes cantidades de datos de formación valiosos serán las más preocupadas por proteger sus datos de formación sin procesar.
Barandillas para adaptarse a un paisaje cambiante
Es importante destacar que, al adoptar un marco, es fundamental asegurarse de que sea dinámico y pueda cambiar para adaptarse a la situación. A medida que las regulaciones sobre cómo las empresas utilizan o construyen la IA se vuelven más claras, también lo harán las amenazas y vulnerabilidades. Nuestros marcos, los de pares de la industria y organizaciones de gestión, ayudan a los CISO y otros líderes a identificar áreas específicas de enfoque en un entorno regulatorio cambiante. Puede llegar un momento en que California y Nueva York, o Estados Unidos y Europa, “hagan IA generativa” de manera diferente. Los CISO deben estar bien equipados para responder a las regulaciones cambiantes en cualquier momento. Al desglosar los sistemas y considerar los riesgos a un nivel holístico, los CISO pueden comprender mejor los componentes y riesgos del sistema.
Hay una razón por la que existe tanta incertidumbre con respecto a la seguridad de la IA. Esto se debe a que es difícil, ya sea debido a piezas móviles, sistemas desconocidos o las muchas áreas grises en las regulaciones y el cumplimiento actuales. Al comprender a fondo los componentes que componen la IA, cómo funcionan juntos y los riesgos únicos que plantea, los CISO pueden comprender mejor qué componentes, amenazas y riesgos son una prioridad principal para su organización y garantizar que esos controles estén implementados. Los CISO merecen decir “sí” a la innovación. Y al utilizar un marco sólido y dinámico para trazar un camino a seguir, los CISO pueden guiar de forma segura a sus organizaciones en sus recorridos hacia los datos y la IA, incluso cuando el entorno cambia.
Omar Khawaja es vicepresidente de seguridad y CISO de campo en Databricks. Imagen cortesía de Khawaja
Fuente: https://www.securitymagazine.com/blogs/14-security-blog/post/100589-ai-security-for-cisos-a-dynamic-and-practical-framework
