A medida que evoluciona el uso de GenAI y los modelos de lenguaje a gran escala (LLM), también lo hace la orientación de organizaciones líderes en la industria, como el Open Web Application Security Project (OWASP). OWASP proporciona recursos importantes, incluidos los 10 proyectos principales para aplicaciones de modelos de lenguaje a gran escala (LLM). Recientemente, el proyecto publicó la “Lista de verificación de gobernanza y ciberseguridad de IA del LLM”. Esto es lo que discutiremos en este análisis.
Resumen de la lista de verificación
La lista de verificación de gobernanza y ciberseguridad de LLM AI tiene como objetivo permitir a los líderes identificar rápidamente los riesgos clave asociados con GenAI y LLM y tomar medidas de mitigación relevantes. OWASP enfatiza que esta lista de verificación no es exhaustiva y cambiará a medida que progrese el uso de GenAI y LLM y las herramientas mismas se desarrollen y maduren.
La lista de verificación comienza con una aclaración de la terminología. La IA generativa se define como un tipo de aprendizaje automático (ML) que se centra en la creación de nuevos datos, mientras que el LLM es un tipo de modelo de IA que se utiliza para procesar y generar texto similar al humano.
Existen diferentes categorías de amenazas, que se muestran en la imagen a continuación.
Fuente: Lista de verificación de gobernanza y ciberseguridad de IA de OWASP LLM
La lista de verificación también proporciona un enfoque práctico de seis pasos para que las organizaciones desarrollen su estrategia LLM.
Fuente: Lista de verificación de gobernanza y ciberseguridad de IA de OWASP LLM
Existen diferentes tipos de implementaciones de LLM, cada una con consideraciones únicas. Los tipos van desde modelos de licencia y acceso a programación de aplicaciones públicas (AP) hasta modelos personalizados.
Fuente: Lista de verificación de gobernanza y ciberseguridad de IA de OWASP LLM
Con estas importantes consideraciones en mente, repasemos cada área de la lista de verificación y resaltemos los puntos clave de cada una.
riesgo hostil
Esta área involucra a competidores y atacantes y se centra tanto en el contexto empresarial como en el contexto del ataque. Esto incluye comprender cómo los competidores utilizan la IA para impulsar los resultados comerciales y actualizar los procesos y políticas internos, como los planes de respuesta a incidentes (IRP), para tener en cuenta los ataques e incidentes de GenAI.
modelado de amenazas
El modelado de amenazas es una técnica de seguridad defendida por CISA y otros que continúa ganando terreno en el movimiento más amplio para promover sistemas centrados en la seguridad desde la etapa de diseño. El modelado de amenazas considera cómo los atacantes usan LLM y GenAI para acelerar la explotación, y considera la capacidad de una empresa para detectar el uso malicioso de LLM. El modelado de amenazas también examina si una organización puede asegurar las conexiones a las plataformas LLM y GenAI desde sistemas y entornos internos.
Inventario de activos de IA
El dicho “No puedes proteger lo que no sabes que tienes” se aplica a GenAI y LLM. Esta área de la lista de verificación incluye la creación de un inventario de activos de IA tanto de servicios desarrollados internamente como de herramientas y plataformas externas. Es importante comprender no sólo las herramientas y servicios utilizados en su organización, sino también la “propiedad” de quién es responsable de su uso.
Se recomienda incluir componentes de IA en la lista de materiales del software (SBOM) y también catalogar las fuentes de datos de IA y su respectiva sensibilidad. Además de tener un inventario de las herramientas existentes en uso, también necesita un proceso para incorporar y retirar de forma segura herramientas y servicios futuros del inventario de su organización.
Uno de los formatos SBOM representativos es CycloneDX de OWASP, que anunció soporte para “ML-BOM” (lista de materiales de aprendizaje automático) en 2023.
Capacitación en seguridad y privacidad de la IA
Las organizaciones pueden integrar con éxito la capacitación en seguridad y privacidad de la IA en sus procesos de implementación de GenAI y LLM. Esto requiere ayudar al personal a comprender no solo las iniciativas GenAI/LLM existentes, sino también la tecnología más amplia, sus capacidades y consideraciones de seguridad clave, como la fuga de datos.
Además, es importante establecer una cultura de confianza y transparencia para que el personal se sienta cómodo compartiendo qué y cómo se utilizan las herramientas y servicios de GenAI y LLM. Generar esta confianza y transparencia dentro de su organización es esencial para evitar el uso de “IA en la sombra”. De lo contrario, las personas seguirán utilizando estas plataformas sin notificar a sus equipos de seguridad y TI por temor a consecuencias o castigos.
establecer un caso de negocio
Esto puede resultar una sorpresa, pero al igual que antes con la nube, la mayoría de las organizaciones no han establecido un caso de negocio estratégico coherente para el uso de tecnologías nuevas e innovadoras como GenAI y LLM. Es fácil para las empresas quedar atrapadas en el revuelo y sentir que se quedarán atrás si no se unen a la competencia. Pero sin el caso de negocio adecuado, las organizaciones corren el riesgo de obtener malos resultados, mayores riesgos y objetivos poco claros.
Comuníquese con AI Ecosystem Copilot sobre este análisis
gobernancia
Sin gobernanza, la rendición de cuentas y los objetivos claros son casi imposibles. Esta área de la lista de verificación incluye la creación de un cuadro AI RACI (responsabilidad, rendición de cuentas, consulta e información) para los esfuerzos de IA de su organización, documentando y asignando responsabilidades de riesgo y gobernanza, y políticas y procesos de IA en toda la organización. Esto incluye el establecimiento. de
legal
Esta área incluye una amplia gama de actividades relacionadas con la IA, incluidas garantías de productos, EULA (acuerdos de licencia de usuario final) de IA, propiedad del código desarrollado con herramientas de IA, riesgos de propiedad intelectual y disposiciones de indemnización contractual. Las empresas deben trabajar con sus equipos legales o expertos para determinar las diversas actividades legales que las organizaciones deben realizar como parte de la adopción y el uso de GenAI y LLM.
regulación
Regulaciones como la ley de IA de la UE están avanzando rápidamente y pronto seguirán otras. Las organizaciones deben determinar los requisitos de cumplimiento de la IA a nivel nacional, estatal y gubernamental, dar consentimiento para el uso de la IA para fines específicos, como el seguimiento de los empleados, y controlar cómo los proveedores de IA almacenan y eliminan datos y controlan su uso. lo que se está regulando.
Usar o implementar herramientas LLM
El uso de herramientas LLM requiere consideración y control de ciertos riesgos. La lista de verificación incluye elementos como control de acceso, capacitación en seguridad de tuberías, mapeo del flujo de trabajo de datos y comprensión de las vulnerabilidades existentes o potenciales en el modelo LLM y la cadena de suministro. Además, debe exigir auditorías de terceros, pruebas de penetración e incluso revisiones de código a sus proveedores, tanto inicialmente como de forma continua.
Prueba, Evaluación, Verificación y Validación (TEVV)
Otra consideración importante son las pruebas, evaluaciones y validaciones suficientes durante todo el ciclo de vida del modelo de IA. Es por eso que se recomienda el proceso NIST TEVV en la lista de verificación de IA de OWASP. Este proceso establece pruebas, evaluaciones, validaciones y validaciones continuas durante todo el ciclo de vida de un modelo de IA, además de proporcionar métricas de ejecución con respecto a la funcionalidad, seguridad y confiabilidad del modelo de IA.
tarjetas modelo y tarjetas de riesgo
Para implementar el LLM de manera ética, la lista de verificación exige el uso de tarjetas modelo y tarjetas de riesgo. Estas tarjetas permiten a los usuarios comprender y confiar en los sistemas de inteligencia artificial y abordar abiertamente los posibles impactos negativos, como los prejuicios y la privacidad. Estas tarjetas pueden incluir elementos como detalles del modelo, arquitectura, metodología de datos de entrenamiento y métricas de rendimiento. También se hace hincapié en tener en cuenta consideraciones de IA responsable y preocupaciones sobre la equidad y la transparencia.
RAG: optimización LLM
La generación de aumento de búsqueda (RAG) es una forma de optimizar la funcionalidad LLM para recuperar datos relevantes de fuentes específicas. Esto es parte de optimizar un modelo previamente entrenado o volver a entrenar un modelo existente con nuevos datos para mejorar el rendimiento. La lista de verificación recomienda implementar un RAG para maximizar el valor y la eficacia del LLM para fines organizacionales.
Equipo rojo de IA
Finalmente, la lista de verificación recomienda el uso de equipos rojos de IA. Emula ataques adversarios contra sistemas de inteligencia artificial para identificar vulnerabilidades y validar controles y defensas existentes. Hacemos hincapié en que el equipo rojo por sí solo no es una respuesta o un enfoque integral para proteger GenAI y LLM y debe ser parte de un enfoque integral para proteger las implementaciones de GenAI y LLM.
Dicho esto, las organizaciones deben tener en cuenta que para evitar infracciones de políticas y problemas legales, deben comprender claramente los requisitos y capacidades del equipo rojo para los servicios y sistemas de proveedores externos de GenAI y LLM.
Otras fuentes, como la guía de IA de la UE y el NIST antes mencionada, también exigen la formación de equipos rojos de IA y las pruebas de penetración.
conclusión
La lista de verificación de gobernanza y ciberseguridad de IA de OWASP LLM no cubre todas las amenazas potenciales y consideraciones de riesgo para GenAI y LLM, pero es un recurso conciso para organizaciones y líderes de seguridad. Esta lista de verificación proporciona información fundamental para ayudar a proteger y habilitar su negocio a medida que los profesionales identifican amenazas clave y las organizaciones maduran en su enfoque para adoptar herramientas, servicios y productos GenAI y LLM. Ayuda a garantizar que existan controles de seguridad.
Fuente: https://accelerationeconomy.com/ai/ciso-perspective-10-critical-cybersecurity-considerations-for-the-genai-era/
