LLMs propensos a envenenamiento de datos y riesgos de inyección rápida, advierte la autoridad del Reino Unido

UK authority warns of LLMs' data poisoning and fast injection risks

El Centro Nacional de Ciberseguridad (NCSC, por sus siglas en inglés) del Reino Unido está advirtiendo a las organizaciones que tengan cuidado con los inminentes riesgos cibernéticos asociados a la integración de los Modelos de Lenguaje (LLMs, por sus siglas en inglés) de gran tamaño, como ChatGPT, en sus negocios, productos o servicios.

En una serie de publicaciones de blog, el NCSC enfatizó que la comunidad tecnológica global aún no comprende completamente las capacidades, debilidades y (lo más importante) vulnerabilidades de los LLMs. “Podría decirse que nuestra comprensión de los LLMs todavía está en beta”, dijo la autoridad.

Una de las debilidades de seguridad más ampliamente reportadas de los LLMs existentes es su susceptibilidad a los ataques maliciosos de “inyección de comandos”. Estos ocurren cuando un usuario crea una entrada con el objetivo de hacer que el modelo de IA se comporte de manera no deseada, como generar contenido ofensivo o revelar información confidencial.

Además, los datos en los que se entrenan los LLMs plantean un riesgo doble. En primer lugar, una gran cantidad de estos datos se recopila de internet abierto, lo que significa que puede incluir contenido que es inexacto, controvertido o sesgado.

En segundo lugar, los ciberdelincuentes no solo pueden distorsionar los datos disponibles para prácticas maliciosas (también conocido como “envenenamiento de datos”), sino que también pueden utilizarlos para ocultar ataques de inyección de comandos. De esta manera, por ejemplo, el asistente de IA de un banco para sus titulares de cuentas puede ser engañado para transferir dinero a los atacantes.

“El surgimiento de los LLMs es sin duda un momento muy emocionante en la tecnología, y mucha gente y organizaciones (incluido el NCSC) quieren explorarlo y beneficiarse de él”, dijo la autoridad.

“Sin embargo, las organizaciones que construyen servicios que utilizan LLMs deben tener cuidado, de la misma manera que lo harían si estuvieran utilizando un producto o una biblioteca de código que estuviera en beta”, agregó el NCSC. Es decir, con precaución.

La autoridad del Reino Unido insta a las organizaciones a establecer principios de ciberseguridad y asegurarse de que incluso el “peor caso” de lo que sus aplicaciones impulsadas por LLMs estén permitidas a hacer sea algo con lo que puedan lidiar.