La inteligencia artificial generativa (IA) es muy prometedora en muchas industrias y disciplinas. Sin embargo, como ocurre con cualquier nueva tecnología potente, también conlleva nuevos riesgos de seguridad. Dediquemos unos minutos a sumergirnos en el panorama emergente de amenazas de IA generativa, centrándonos específicamente en las áreas de seguridad de datos y sistemas. Esta entrada del blog también destacará cómo las organizaciones pueden adoptar estas herramientas de forma segura, incluso con estos riesgos.
¿En qué se diferencia la IA generativa?
Para comprender cómo la IA generativa cambia el panorama de las amenazas, primero debemos considerar cómo estos nuevos sistemas difieren de los sistemas tradicionales que han servido como columna vertebral de los sistemas de la cadena de suministro durante los últimos 50 años. Las cinco principales diferencias son:
- Las herramientas y prácticas de seguridad para la IA generativa aún están madurando, en comparación con las tecnologías ya disponibles para las bases de datos. Las vulnerabilidades de seguridad de las bases de datos, como la inyección SQL, son bien conocidas, después de décadas de enfoque. Los desarrolladores reciben una amplia formación sobre estas amenazas y se integran sólidas herramientas de auditoría en las canalizaciones de CI/CD. Sin embargo, el viaje de la IA generativa no ha hecho más que empezar, y el modelado de amenazas y las herramientas siguen surgiendo.
- La IA generativa ofrece información novedosa, en lugar de limitarse a recuperar registros. Mientras que las bases de datos devuelven datos que han almacenado previamente, posiblemente con transformaciones o cálculos, la IA generativa sintetiza datos novedosos en función de su entrenamiento. Esto es análogo a un analista que genera información frente a un empleado que obtiene registros.
- Los lenguajes de programación formales son predecibles e inequívocos, a diferencia de los matices y la ambigüedad presentes en el lenguaje natural utilizado por la IA generativa. Las bases de datos utilizan lenguajes formales, como SQL, que aprovechan una sintaxis formal y comprensible para acceder a los datos. Una sentencia SQL dada, tomada en el contexto de los datos ya almacenados, siempre producirá el mismo resultado. Sin embargo, la IA generativa utiliza un lenguaje natural "cotidiano", con todos sus matices y ambigüedades, para todas las entradas y salidas. Al igual que dos personas que negocian un contrato, pueden producirse malentendidos entre los humanos y las aplicaciones de IA. Además, los resultados de la IA generativa no son deterministas, lo que significa que entradas idénticas pueden producir resultados distintos en la redacción, la redacción o el significado.
- La IA generativa puede carecer de capacidades de trazabilidad y auditoría, en comparación con las bases de datos con controles más estrictos. Con las bases de datos, los usuarios autorizados pueden auditar fácilmente los datos almacenados y rastrear su origen. Por el contrario, los modelos de IA generativa almacenan el conocimiento en una red neuronal, de una forma que es incomprensible para la mayoría de las personas. Además, actualmente no existen técnicas sólidas disponibles para auditar el "conocimiento" adquirido por los modelos de IA generativa o los posibles sesgos de sus datos de entrenamiento.
- Actualmente, la IA generativa tiene menos controles de acceso a datos incorporados que las bases de datos. Las bases de datos tienen controles de autorización sólidos que rigen el acceso a los datos. Sin embargo, la IA generativa carece actualmente de estos controles integrados. Los usuarios autenticados pueden acceder a cualquier dato.
El examen de las diferencias entre los sistemas tradicionales y la IA generativa revela nuevas vulnerabilidades de seguridad y las mitigaciones necesarias, que se pueden clasificar en tres dominios clave: proteger los datos confidenciales, proteger los sistemas y los datos del uso malintencionado y gobernar adecuadamente los agentes y complementos de IA.
