¿Cuántas empresas se niegan intencionadamente a utilizar la IA para hacer su trabajo de forma más rápida y eficiente? Probablemente ninguna. Porque los beneficios de la IA son innegables.
Los beneficios que los modelos de IA aportan a las organizaciones son innegables, especialmente cuando se trata de optimizar operaciones y resultados críticos. Pero la IA generativa también conlleva riesgos. Según el IBM Institute for Business Value, el 96% de los ejecutivos dice que la implementación de IA generativa aumentará la probabilidad de que se produzca una brecha de seguridad dentro de su organización en los próximos tres años.
“No tenemos un problema cibernético; tenemos un problema de tecnología y cultura. Al final del día, valoramos la velocidad de comercialización y las capacidades”, dijo Jen Easterly, directora de CISA. “Hemos puesto la seguridad y la protección”. en un segundo plano.” Y en ninguna parte de la tecnología es más evidente esta obsesión por la velocidad de comercialización que en la IA generativa.
Los conjuntos de entrenamiento de IA incorporan grandes cantidades de datos valiosos y confidenciales, lo que convierte a los modelos de IA en objetivos atractivos para los ataques. Las organizaciones no pueden introducir IA no segura en sus entornos, pero no pueden prescindir de la tecnología.
Para cerrar la brecha entre la necesidad de IA y los riesgos inherentes a la IA, es esencial establecer un marco sólido para gestionar la seguridad de la IA y el uso de modelos. Para satisfacer esta necesidad, IBM anunció recientemente un marco para proteger la IA generativa. Echemos un vistazo a cómo un marco bien desarrollado puede ayudarle a establecer una ciberseguridad de IA sólida.
Garantizar la seguridad del canal de IA
Los marcos de IA generativa deben diseñarse para ayudar a los clientes, socios y organizaciones a comprender los ataques más probables contra la IA. A partir de ahí, puede priorizar sus enfoques defensivos para proteger rápidamente sus iniciativas de IA generativa.
Proteger su canal de IA incluye cinco áreas de acción:
Proteger los datos: cómo se recopilan y procesan los datos Proteger los modelos: desarrollar y entrenar modelos de IA Proteger el uso: inferir y usar modelos de IA en la práctica Proteger la infraestructura del modelo de IA Establecer una gobernanza saludable de la IA
Echemos un vistazo a cómo cada área aborda las amenazas a la seguridad de la IA.
Obtenga más información sobre la ciberseguridad de la IA
1. Proteja sus datos de IA
Los modelos de IA que procesan grandes cantidades de datos consumen grandes cantidades de datos a los que acceden los científicos, ingenieros y desarrolladores de datos con fines de desarrollo. Sin embargo, es posible que los desarrolladores no estén dando mucha prioridad a la seguridad. La seguridad mal manejada puede exponer datos confidenciales y propiedad intelectual (IP) crítica.
En los ataques a modelos de IA, la exfiltración del conjunto de datos subyacente es probablemente uno de los escenarios de ataque más comunes. Por lo tanto, los fundamentos de seguridad son la primera línea de defensa para proteger estos conjuntos de datos. Los fundamentos de la seguridad de la IA incluyen:
2. Protege tus modelos de IA
Al desarrollar aplicaciones de IA, los científicos de datos suelen utilizar modelos de aprendizaje automático (ML) existentes y disponibles gratuitamente obtenidos de repositorios en línea. Sin embargo, al igual que otras bibliotecas de código abierto, a menudo no tienen seguridad integrada.
Todas las organizaciones deben sopesar los riesgos de seguridad de la IA con los beneficios de un desarrollo de modelos más rápido. Sin embargo, sin una seguridad adecuada del modelo de IA, los riesgos negativos pueden ser significativos. Recuerde que los piratas informáticos también tienen acceso a repositorios en línea y pueden insertar puertas traseras y malware en modelos de código abierto. Las organizaciones que descargan modelos infectados se vuelven vulnerables a los ataques.
Además, los modelos de lenguajes grandes (LLM) habilitados para API tienen riesgos similares. Los piratas informáticos pueden apuntar a las interfaces API para acceder y explotar los datos transferidos a través de la API. Además, los agentes o complementos LLM con privilegios excesivos aumentan aún más el riesgo de compromiso.
Para proteger los modelos de IA, las organizaciones deben:
3.Hacer que el uso de la IA sea seguro
Cuando los modelos de IA estuvieron ampliamente disponibles por primera vez, los usuarios se apresuraron a probar la plataforma en masa. Pero los piratas informáticos no tardaron mucho en engañar a los modelos para que ignoraran las barreras de seguridad y produjeran respuestas sesgadas, erróneas o peligrosas. Todo esto puede provocar daños a la reputación y aumentar el riesgo de costosos problemas legales.
Los atacantes también pueden analizar pares de entrada/salida y entrenar modelos sustitutos para imitar el comportamiento de los modelos de IA de una organización. Esto significa que las empresas pueden perder su ventaja competitiva. Por último, los modelos de IA también son vulnerables a ataques de denegación de servicio, en los que un atacante sobrecarga el LLM con entradas que degradan la calidad del servicio y aumentan el uso de recursos.
Las mejores prácticas de seguridad al utilizar modelos de IA incluyen:
Supervise las inyecciones rápidas, supervise la salida con datos confidenciales o contenido inapropiado, detecte y responda al envenenamiento de datos, la evasión de modelos, la extracción de modelos y la detección y respuesta de aprendizaje automático que se pueden integrar en soluciones de operaciones de seguridad como IBM Security® QRadar® (MLDR). le permite denegar el acceso y aislar o desconectar los modelos comprometidos.
4. Asegure su infraestructura
Una infraestructura segura debe ser la base de cualquier estrategia sólida de ciberseguridad de IA. Fortalecer la seguridad de la red, mejorar los controles de acceso, implementar un cifrado de datos sólido y desplegar sistemas de detección y prevención de intrusiones en todo el entorno de la IA son esenciales para garantizar la seguridad de la infraestructura que respalda la IA. Además, debe priorizar la asignación de recursos a soluciones de seguridad innovadoras y personalizadas para proteger sus activos de IA.
5. Establecer una gobernanza de la IA
La gobernanza de la inteligencia artificial incluye barreras de seguridad que garantizan que las herramientas y los sistemas de IA sigan siendo seguros y éticos. Establecer marcos, reglas y estándares que orienten la investigación, el desarrollo y las aplicaciones de la IA y garanticen la seguridad, la equidad y el respeto de los derechos humanos.
IBM es líder de la industria en gobernanza de IA, como lo demuestra el anuncio del IBM Framework for Securing Generative AI. A medida que las empresas continúan delegando responsabilidades de procesos comerciales y de toma de decisiones a la IA, el comportamiento de los modelos de IA debe verificarse constantemente, monitoreando su imparcialidad, sesgo y deriva con el tiempo. Los modelos que se desvían de su diseño original, ya sea inducido o no, pueden plantear riesgos importantes.
escritor independiente de tecnología
sigue leyendo
Fuente: https://securityintelligence.com/articles/generative-ai-security-requires-solid-framework/
