Seguridad de la IA
Todo lo que he escrito sobre Seguridad de la IA, con los artículos de investigación en primer lugar. Cada uno termina con algo que puede hacer el lunes.
¿Se enfrenta a alguno de estos problemas? Trabajo con organizaciones que necesitan respuestas, no otra presentación. Hablemos.
Qué incluye un artículo breve de cinco enfoques
La mayoría de los temas se presentan en una página con cinco secciones breves, siempre en este orden. Cada una tiene su propio color dentro del artículo para que pueda ir directamente a la que necesite.
- 1Por dónde empezaría: el primer paso que daría y la pregunta que haría antes de gastar nada.
- 2Dónde fallan los planes: dónde suelen venirse abajo los planes sobre este tema y qué supuesto pondría primero a prueba.
- 3Más allá de la jerga: qué significa realmente el tema cuando quitamos el lenguaje comercial de los proveedores.
- 4Cómo se ve un buen resultado: qué resultado demostraría que funcionó y qué cifra vigilaría.
- 5La decisión que los líderes no pueden eludir: la decisión que debe asumir la dirección y qué información necesita para tomarla.
Contráteme para comentarios en los medios sobre Seguridad de la IA →
-
Antes de dar permiso a un agente de IA para actuar
Los agentes de IA pueden actuar, no solo responder preguntas. Analizo los permisos, el acceso a herramientas, la supervisión humana y lo necesario para que la automatización rinda cuentas.
-
Antes de que un agente de IA pueda actuar, decide qué no debe tocar jamás
Qué examino en los permisos de los agentes de IA, las decisiones que obligan a tomar y cómo reconocer pruebas fiables antes de invertir.
-
¿Cómo se garantiza que un agente de IA actúe dentro de los límites de la aprobación humana?
Vincule la autorización del agente de IA a la acción, el objetivo y la carga útil exactos. Gestione los datos modificados, las credenciales delegadas, los reintentos y la ejecución incierta sin ampliar el consentimiento.
-
¿Cómo se evita que los agentes de IA actúen siguiendo instrucciones contenidas en documentos?
Limite el contenido recuperado mediante la autorización de herramientas vinculadas a tareas, destinatarios verificados, controles de flujo de datos y comprobaciones de aprobación que resistan los errores del modelo.
-
¿Cómo se evita que un asistente RAG revele documentos una vez revocado el acceso?
Realice un seguimiento del acceso a documentos revocados a través de los permisos RAG, los índices, las cachés y las conversaciones. Defina un límite de revocación justificable y pruébelo con datos sintéticos.
-
¿Cómo debería una empresa autorizar el uso de la IA generativa por parte de sus empleados?
Autorice el uso de la IA por parte de los empleados en función de la tarea, los datos y la cuenta, y no únicamente en función de la marca. Evalúe los contratos y los conectores, y revise la capacidad y las condiciones para retirar el permiso.
-
Gobernanza de la IA: ¿Quién puede realmente detener el sistema?
Es fácil redactar una política que afirme que los seres humanos mantienen el control. Quiero saber qué ocurre cuando un sistema de IA genera resultados que satisfacen a todos, el plazo vence...
-
Permisos de los agentes de IA
No comenzaría a definir los permisos de los agentes de IA adquiriendo otra plataforma ni poniendo en marcha un programa de gran envergadura. Lo primero que haría sería determinar el ámbito de aplicación, identificar al responsable y...
-
Gobernanza de la IA
No comenzaría la gobernanza de la IA adquiriendo otra plataforma ni poniendo en marcha un programa de gran envergadura. Buscaría el ámbito de aplicación, el responsable a quien rendir cuentas y un escenario...
-
Phishing mediante IA
No comenzaría a abordar el phishing basado en IA adquiriendo otra plataforma ni poniendo en marcha un programa de gran envergadura. Buscaría el ámbito de actuación, el responsable y un escenario en el que...
-
Comunicación de riesgos relacionados con la IA
No comenzaría la comunicación de riesgos relacionados con la IA adquiriendo otra plataforma ni poniendo en marcha un programa de gran envergadura. Buscaría el ámbito de actuación, el responsable y una...
-
Un agente de IA con permiso para actuar es un problema de arquitectura de seguridad
Un asistente de IA que responde a una pregunta supone un tipo de riesgo. Un agente de IA capaz de leer una base de datos de clientes, enviar mensajes, modificar permisos y ejecutar tareas...
-
Antes de conceder permiso a un agente de IA para actuar
Un sistema de IA que responde a una pregunta puede inducirle a error. Un sistema de IA que puede abrir un ticket, modificar una configuración, recuperar registros privados o enviar un mensaje...
-
¿Se puede controlar la IA sin comprender todas las respuestas?
Descubra cómo el control de la IA puede centrarse en la autoridad, la evidencia y las consecuencias sin requerir una comprensión completa de cada cálculo interno.
-
¿Se considera un segundo modelo de IA como una verificación independiente?
El hecho de que dos modelos de IA coincidan no constituye una verificación independiente. Examine su evidencia, las dependencias compartidas y lo que podría revelar un error común.
-
¿Cómo se pueden conservar las ventajas de la IA sin concederle todos los permisos?
Mantenga las capacidades útiles de la IA al tiempo que limita los poderes innecesarios. Realice revisiones cuando ello afecte a las consecuencias y tenga en cuenta el coste de la espera.
-
Fuga de datos en LLM
No abordaría la fuga de datos de LLM adquiriendo otra plataforma ni poniendo en marcha un programa de gran envergadura. Determinaría el perímetro, el responsable y un escenario...
-
Evaluación del modelo
No comenzaría la evaluación del modelo adquiriendo otra plataforma ni poniendo en marcha un programa de gran envergadura. Determinaría el ámbito de aplicación, el responsable y un escenario...
-
Supervisión de modelos de modelos
No comenzaría la supervisión del modelo adquiriendo otra plataforma ni poniendo en marcha un programa de gran envergadura. Determinaría el ámbito de aplicación, el responsable y un escenario...
-
Cadena de suministro modelo
No comenzaría a crear un modelo de la cadena de suministro comprando otra plataforma o poniendo en marcha un programa de gran envergadura. Buscaría el ámbito de actuación, el responsable y un escenario...
-
Inyección de instrucciones
No comenzaría la inyección de instrucciones adquiriendo otra plataforma ni poniendo en marcha un programa de gran envergadura. Buscaría el ámbito de actuación, el responsable y un escenario...
-
Seguridad RAG
No comenzaría la seguridad RAG adquiriendo otra plataforma ni poniendo en marcha un programa de seguridad de gran envergadura. Buscaría el perímetro, el responsable y un escenario...
-
¿Debería permitir que un proveedor de IA entrene sus modelos con los datos de su empresa?
Evalúe las solicitudes de formación de los proveedores teniendo en cuenta la autoridad sobre los datos, el aislamiento de los modelos, la evidencia de privacidad, el valor empresarial y un plan de salida que abarque los modelos derivados.
-
¿Qué cambia cuando un asistente de IA obtiene permiso para actuar?
Pasar de la IA como herramienta de asesoramiento a la IA como herramienta de acción cambia el problema del control. Revise las herramientas, las credenciales, las acciones delegadas y los permisos que una tarea realmente necesita.
-
¿Qué podría enseñarnos hoy un análisis de un fallo de la IA en el año 2035?
Un análisis ficticio de un fallo de la IA en el año 2035 puede poner de manifiesto las dependencias actuales. Utilice este escenario para poner a prueba los controles, no como una predicción ni como una estimación de probabilidad.
-
¿Qué debe incluir un resumen de decisiones basado en IA?
Un resumen de la decisión tomada por la IA debería preservar la incertidumbre, la evidencia y los desacuerdos que podrían modificar la acción, y no limitarse a dar una luz verde más clara.
-
¿Qué se necesitaría para detener realmente su sistema de IA?
Compruebe qué es lo que realmente detiene un mecanismo de parada basado en IA, quién puede activarlo y qué elementos siguen operativos. La autoridad encargada de la parada debe contar con una vía de recuperación fiable.
-
¿Cuándo se convierte una alerta de IA en un control operativo?
Convierta las alertas de riesgo de la IA en controles propios, financiados y verificables. Un breve vídeo de «Boxing Einstein» sobre la brecha que existe entre reconocer un problema y solucionarlo.
-
¿Cuándo la aprobación humana no es más que un mero trámite?
Un botón de aprobación humana es solo una parte de la supervisión de la IA. Examine la evidencia, el tiempo, la autoridad y las alternativas que hacen que un veto sea viable.
-
Por qué la IA útil puede resultar más difícil de gestionar
Por qué una respuesta útil de la IA sigue necesitando evidencia antes de su uso generalizado: distinga entre los beneficios observados, las consecuencias ocultas y el coste de la espera.
-
Su personal ya está utilizando la IA. ¿Y ahora qué?
Prohibirlo no sirve de nada. Todavía no he visto ninguna organización en la que una política haya impedido que la gente pegue un contrato en un chatbot para resumirlo. Lo que hace la prohibición es...
No hay resultados. Pruebe con otra palabra o pregúnteme directamente.