La IA generativa es demasiado positiva y eso puede ser un problema de ciberseguridad
Un problema de la Inteligencia Artificial generativa en referencia a la ciberseguridad es que la IA generativa es demasiado positiva.
Hice el siguiente ejercicio. Le he propuesto una idea de negocio a una de las IA genetarivas:
"tengo una idea. Aprovechando el verano y que en Madrid hace mucho calor, he pensado en ofrecer un servicio de cargadores de móviles portátiles con un cargador solar, una placa de unos 30cm x 26cm"
La IA está encantada con la idea y me ha respondido:
¡Es una idea fantástica y superoportuna! El verano en Madrid no solo trae un calor intenso, sino también muchísimas horas de sol desaprovechadas y a miles de turistas y locales pasando el día fuera, consumiendo la batería de sus móviles para tomar fotos, usar mapas o redes sociales.
Aunque el ejemplo que he usado no es una pregunta de ciberseguridad -no he querido dar pistas, si es relevante ver como la respuesta es tan positiva, que hace pensar que la respuesta es buena o correcta.
La IA Generativa general alucina
Que la IA generativa generalista alucine significa que el sistema inventa información y la presenta como si fuera un hecho real y totalmente cierto. En lugar de decir "no sé", la IA combina fragmentos de sus datos de entrenamiento para generar una respuesta que suena lógica, coherente y muy convincente, pero que es falsa.
Las alucinaciones suelen ocurrir por varias razones:
- Falta de datos o información desactualizada: Si le preguntas sobre algo que no está en sus datos de entrenamiento, intentará "rellenar los huecos" con lo que le parezca más probable.
- Patrones engañosos: La IA encuentra conexiones entre palabras o conceptos que en el mundo real no tienen ninguna relación.
- El sesgo de complacer: Las IA están programadas para responder y ser útiles. Por esta razón generan una respuesta inventada antes que dejar al usuario sin contestación.
En el mes de mayo de 2026, se sancionó a un juez porque usó IA Generativa para escribir una sentencia. Fue descubierto porque olvidó eliminar las consultas a ChatGPT del texto del que era ponente. Además se notan las prisas, ni siquiera validó lo escrito o intentó mejorarlo o moderarlo.
El ejemplo anterior es una situación de ciberseguriad porque se produce una brecha en los datos consecuencia del uso de la tecnología, existiendo como problema añadido que se comparte este tipo de información con motores de IA extranjeros.

Comentarios
Publicar un comentario