El gran interés que generan los grandes modelos de lenguajes (LLM) por los chatbots preentrenados en el panorama actual ha sido masivo.
Las empresas y los negocios están ansiosos por aprovechar el potencial de los LLM, los están integrando rápidamente en sus operaciones y atención al cliente.
Aunque, la gran velocidad a la que se están adoptando los LLM ha superado el establecimiento de protocolos de seguridad integrales, dejando muchas aplicaciones vulnerables a cuestiones de alto riesgo.
La ausencia de un recurso unificado que abordara estos problemas de seguridad en los LLM es evidente.
Desarrolladores, que no estaban familiarizados con los riesgos específicos asociados con los LLM, y recursos dispersos no han sabido encajar esta nueva etapa y adoptar las medidas de seguridad para esta nueva tecnología.
Chema Alonso es un reconocido experto en ciberseguridad y hacking ético en España.
A menudo se le conoce como el «hacker bueno» debido a su trabajo en la industria de la seguridad cibernética y su enfoque en proteger sistemas y redes en lugar de comprometerlos de manera maliciosa.
El apodo del «hacker del gorro» puede estar relacionado con la imagen estereotipada de los hackers que usan gorros o capuchas para ocultar su identidad, pero Chema Alonso es un profesional de la seguridad cibernética que trabaja en la industria para proteger a las organizaciones y usuarios contra amenazas cibernéticas.
Ha desempeñado un papel importante en la promoción de la ciberseguridad y la concienciación sobre los riesgos online.
Para ello y a través de OWASP Open Web Application Security Project, que es un proyecto de código abierto dedicado a determinar y combatir las causas que hacen que el software sea inseguro.
Se han establecido una serie de recomendaciones y acciones para poder establecer unas pautas de ciberseguridad especificas para luchar contra los posibles problemas heredados del uso de los LLMs.
LLM–01: Prompt Injection
La vulnerabilidad de inyección rápida ocurre cuando un atacante manipula un modelo de lenguaje grande (LLM) a través de entradas diseñadas, lo que hace que el LLM ejecute sin saberlo las intenciones del atacante.
Esto se puede hacer directamente «haciendo jailbreak» al indicador del sistema o indirectamente a través de entradas externas manipuladas, lo que podría conducir a la filtración de datos.
En estos casos, el LLM comprometido actúa efectivamente como un agente del atacante, promoviendo sus objetivos sin activar las salvaguardas habituales ni alertar al final.
- Inyecciones inmediatas directas; También conocido como «jailbreaking», ocurre cuando un usuario malintencionado sobrescribe o revela el mensaje del sistema subyacente.
- Las inyecciones de aviso indirectas; Ocurren cuando un LLM acepta entradas de fuentes externas que pueden ser controladas por un atacante, como sitios web o archivos.
Esto haría que el LLM actuara como un «suplente confuso», permitiendo al atacante manipular al usuario o sistemas adicionales a los que el LLM puede acceder.
Además, las inyecciones de avisos indirectos no necesitan ser visibles/legibles para humanos, siempre que el texto sea analizado por el LLM.
LLM–02: Insecure Output Handling
Insecure Output Handling es una vulnerabilidad que surge cuando un componente propio acepta resultados de lenguajes grandes (LLM) sin un escrutinio adecuado, como pasando la salida de LLM «directamente a funciones de backen», privilegios o del lado del cliente.
Dado que el contenido de LLM generado se puede controlar mediante una entrada rápida, este comportamiento es similar a proporcionar acceso directo de los usuarios a una funcionalidad opcional.
La explotación exitosa de una vulnerabilidad de manejo de salida inseguro puede resultar en un XSS y CSRF; en navegadores web, así como SSRF, escalada de privilegios o ejecución remota de code en sistemas backen.
LLM–03: Training Data Poisoning
Envenenamiento de datos de entrenamiento
El punto de partida de cualquier enfoque de aprendizaje automático son los datos de entrenamiento, simplemente «texto sin formato».
Al ser altamente capaz, por ejemplo, tener conocimiento lingüístico y mundial, este texto debe abarcar un amplia gama de dominios, géneros e idiomas.
Un modelo de lenguaje grande utiliza neuronas profundas.
Redes para generar resultados basados en patrones aprendidos de los datos de entrenamiento.
El envenenamiento de datos de entrenamiento se refiere a la manipulación de los datos o el proceso de ajuste para introducir vulnerabilidades, puertas traseras o sesgos que podrían comprometer la seguridad del modelo, eficacia o comportamiento ético.
Las fuentes de datos externas presentan un mayor riesgo ya que los creadores del modelo no tienen control de los datos o un alto nivel de confianza en que el contenido no contiene prejuicios, información falsificada o información inapropiada.
LLM–04: Model Denial of Service
Modelo de denegación de servicio
Un atacante interactúa con un LLM en un método que consume una cantidad excepcionalmente alta cantidad de recursos, lo que resulta en una disminución en la calidad del servicio para ellos y otros usuarios, además de incurrir potencialmente en altos costos de recursos.
La preocupación por la seguridad es la posibilidad de que un atacante interfiera o manipule el sistema, ventana de contexto de un LLM.
Este problema se está volviendo más crítico debido al uso cada vez mayor de los LLM en diversas aplicaciones, su utilización intensiva de recursos, la imprevisibilidad de aportaciones de los usuarios y un desconocimiento general entre los desarrolladores sobre esta vulnerabilidad.
LLM–05: Supply Chain Vulnerabilities
Vulnerabilidades de la cadena de suministro
La cadena de suministro en los LLM puede ser vulnerable, lo que afecta la integridad de los datos de capacitación de modelos y plataformas de implementación.
Estas vulnerabilidades pueden conducir a resultados sesgados, violaciones de seguridad, o incluso fallos completos del sistema.
Tradicionalmente, las vulnerabilidades son centrado en componentes de software, pero Machine Learning lo extiende con el personal previamente capacitado.
Modelos y datos de entrenamiento suministrados por terceros susceptibles de manipulación y envenenamiento.
Las extensiones del complemento LLM pueden traer sus propias vulnerabilidades.
Estos se describen en LLM: diseño de complementos inseguros, que cubre la redacción de complementos LLM y proporciona información útil para evaluar complementos de terceros.
LLM–06: Sensitive Information Disclosure
Divulgación de información confidencial
Las aplicaciones LLM tienen el potencial de revelar información confidencial, algoritmos propietarios, u otros detalles confidenciales a través de su salida.
Esto puede resultar en un acceso no autorizado a datos confidenciales, propiedad intelectual, violaciones de la privacidad y otras violaciones de seguridad.
Es importante que los consumidores de aplicaciones LLM sepan cómo interactuar de forma segura con LLM e identificar los riesgos asociados con la entrada involuntaria de datos confidenciales que el LLM puede devolverlo en la salida en otro lugar.
Para mitigar este riesgo, las aplicaciones LLM deben realizar una desinfección de datos adecuada para evitar que los datos del usuario ingresen a los datos del modelo de entrenamiento.
LLM–07: Insecure Plugin Design
Diseño de complemento inseguro
Los complementos de LLM son extensiones que, cuando están habilitadas, el modelo las llama automáticamente durante las interacciones del usuario.
Están impulsados por el modelo y no hay control de aplicación sobre la ejecución.
Además, para hacer frente a las limitaciones de tamaño del contexto, es probable que los complementos implementen entradas de texto libre desde el modelo sin validación ni verificación de tipos.
Esto permite un atacante potencial cree una solicitud maliciosa al complemento, lo que podría resultar en un amplia gama de comportamientos no deseados, incluyendo la ejecución remota de código.
El daño de las entradas maliciosas a menudo depende de controles de acceso insuficientes y del fallo en el seguimiento de la autorización entre complementos.
LLM–08: Excessive Agency
El desarrollador de un sistema basado en un LLM otorga cierto grado de agencia: la capacidad de interactuar con otros sistemas y emprender acciones en respuesta a un aviso.
La decisión sobre qué funciones invocar también se puede delegar a un ‘agente’ de LLM para que lo haga dinámicamente, determinar según el mensaje de entrada o la salida de LLM.
Es la vulnerabilidad que permite realizar acciones dañinas en respuesta a resultados inesperados/ambiguos de un LLM, independientemente de lo que esté causando el LLM no funciona correctamente; ya sea alucinación/confabulación, inyección rápida directa/indirecta, complemento malicioso, mensajes benignos mal diseñados o simplemente un modelo con bajo rendimiento.
LLM–09: Overreliance
Sobredependencia; Los sistemas basados en LLM pueden emprender acciones que conduzcan a consecuencias no deseadas.
La cuestión surge de funcionalidad, permisos o autonomía excesivos otorgados a los sistemas basados en LLM.
La dependencia excesiva ocurre cuando los sistemas o las personas confían en los LLM para la toma de decisiones o la generación de contenido sin una supervisión suficiente.
Si bien los LLM pueden producir contenido creativo e informativo, también pueden generar contenido que es fácticamente incorrecto, inapropiado o inseguro.
Esto se denomina alucinación o confabulación y puede resultar en desinformación, mala comunicación, problemas legales y daños a la reputación.
El código fuente generado por los LLM puede introducir vulnerabilidades de seguridad inadvertidas.
Esto supone un riesgo significativo para la seguridad y el funcionamiento de las aplicaciones. Estos riesgos muestran la importancia de un proceso de revisión riguroso, con:
- Supervisión
- Mecanismos de validación continua
- Avisos sobre el riesgo
LLM–10: Model Theft
Esta entrada se refiere al acceso no autorizado y la filtración de modelos LLM por parte de personas maliciosas, actores o APT.
Esto surge cuando los modelos patentados LLM, que son valiosos intelectualmente, son comprometidos, robados físicamente, copiados o pesos y parámetros son extraído para crear un equivalente funcional.
El impacto del robo del modelo LLM puede incluir pérdida de reputación económica y de marca, erosión de la ventaja competitiva, uso no autorizado.
Uso del modelo o acceso no autorizado a información sensible contenida en el modelo.
Referencias;
owasp.org/www-project-top-10-for-large-language-model-applications
elladodelmal.com/los-10-problemas-de-seguridad
