Sécurité de l'IA
Tout ce que j’ai écrit sur la sécurité de l’IA, en commençant par les articles de recherche. Chacun d’entre eux se termine par une action concrète que vous pouvez mettre en œuvre dès lundi.
Vous êtes confronté à l’un de ces problèmes ? Je travaille avec des organisations qui ont besoin de réponses, pas d’une énième présentation PowerPoint. Discutons-en.
Que contient un court métrage à cinq angles ?
La plupart des sujets présentés ici occupent une page et comportent cinq courtes sections, toujours dans cet ordre. Chacune est identifiée par une couleur spécifique au sein de l’article, ce qui vous permet d’accéder directement à celle qui vous intéresse.
- 1Par où je commencerais : la première mesure que je prendrais et la question que je poserais avant de dépenser quoi que ce soit.
- 2 Lorsque les plans échouent : les points sur lesquels les plans relatifs à ce sujet échouent généralement, et l’hypothèse que je vérifierais en premier lieu.
- 3Au-delà du jargon : ce que le sujet signifie réellement une fois le langage commercial mis de côté.
- 4 À quoi ressemble un bon résultat : le résultat qui vous indiquerait que cela a fonctionné, et le chiffre que je surveillerais.
- 5 Le défi que les dirigeants ne peuvent éluder : la décision que la direction doit prendre, et les éléments dont elle a besoin pour la prendre.
Contactez-moi pour un commentaire dans les médias sur la sécurité de l’IA →
-
Avant d’autoriser un agent d’IA à agir
Les agents d’IA peuvent agir, et pas seulement répondre à des questions. J’examine les autorisations, l’accès aux outils, la supervision humaine et ce qu’il faut pour garantir la responsabilité de l’automatisation.
-
Avant qu’un agent d’IA puisse agir, déterminez ce qu’il ne doit en aucun cas toucher
Ce que j’examine concernant les autorisations des agents d’IA, les décisions qu’elles imposent, et à quoi ressemblent des preuves crédibles avant que vous n’engagiez des dépenses.
-
Comment maintenir un agent d’IA sous le contrôle d’un humain ?
Lier l’autorisation d’un agent d’IA à l’action, à la cible et à la charge utile précises. Gérer les données modifiées, les identifiants délégués, les nouvelles tentatives et les exécutions incertaines sans élargir le champ du consentement.
-
Comment empêcher les agents d'IA d’agir en fonction des instructions contenues dans des documents ?
Limiter le contenu récupéré grâce à une autorisation des outils liée aux tâches, à la vérification des destinataires, à des contrôles des flux de données et à des vérifications d’approbation qui résistent aux erreurs du modèle.
-
Comment empêcher un assistant RAG de divulguer des documents une fois l’accès révoqué ?
Suivez l’accès aux documents révoqués via les autorisations RAG, les index, les caches et les conversations. Définissez une limite de révocation défendable et testez-la à l’aide de données synthétiques.
-
Comment une entreprise devrait-elle autoriser l’utilisation de l’IA générative par ses employés ?
Autorisez l’utilisation de l’IA par les employés en fonction des tâches, des données et des comptes, et non pas uniquement en fonction de la marque. Évaluez les contrats et les connecteurs, et examinez les modalités et les conditions de retrait de l’autorisation.
-
Gouvernance de l’IA : qui peut réellement arrêter le système ?
Il est facile de rédiger une politique affirmant que les humains gardent le contrôle. Je voudrais savoir ce qui se passe lorsqu’un système d’IA produit des résultats qui satisfont tout le monde, que le délai est…
-
Autorisations des agents d'IA
Je ne commencerais pas à définir les autorisations des agents d’IA en achetant une autre plateforme ou en lançant un vaste programme. Je commencerais par déterminer le périmètre, le responsable et un...
-
Gouvernance de l’IA
Je ne commencerais pas la gouvernance de l’IA en achetant une nouvelle plateforme ou en lançant un vaste programme. Je commencerais par définir le périmètre, identifier le responsable et envisager un scénario…
-
Hameçonnage par IA
Je ne commencerais pas à m’attaquer au hameçonnage par l’IA en achetant une autre plateforme ou en lançant un vaste programme. Je commencerais par définir le périmètre, identifier le responsable et élaborer un scénario…
-
Communication des risques liés à l’IA
Je ne commencerais pas la communication sur les risques liés à l’IA en achetant une nouvelle plateforme ou en lançant un vaste programme. Je commencerais par définir le périmètre, identifier le responsable et trouver une personne…
-
Un agent d’IA doté d’une autorisation d’agir constitue un problème d’architecture de sécurité
Un assistant IA capable de répondre à une question représente un type de risque. Un Agent d'IA capable de consulter une base de données clients, d’envoyer des messages, de modifier des autorisations et d’exécuter des tâches…
-
Avant d’autoriser un agent d’IA à agir
Un système d’IA capable de répondre à une question peut vous induire en erreur. Un système d’IA capable d’ouvrir un ticket, de modifier une configuration, de récupérer des données confidentielles ou d’envoyer un message…
-
Peut-on contrôler l’IA sans en comprendre toutes les réponses ?
Découvrez comment le contrôle de l’IA peut se concentrer sur l’autorité, les preuves et les conséquences sans nécessiter une compréhension complète de chaque calcul interne.
-
Un deuxième modèle d’IA peut-il être considéré comme une vérification indépendante ?
Le fait que deux modèles d’IA parviennent à un accord ne constitue pas une vérification indépendante. Examinez leurs preuves, leurs dépendances communes et ce qui pourrait révéler une erreur commune.
-
Comment tirer parti des avantages de l’IA sans lui accorder tous les droits ?
Conservez les capacités utiles de l’IA tout en limitant les pouvoirs superflus. Prévoyez des contrôles là où ils modifient les conséquences et tenez compte du coût de l’attente.
-
Fuite de données LLM
Je ne commencerais pas à traiter les fuites de données dans le cadre du LLM en achetant une autre plateforme ou en lançant un vaste programme. Je commencerais par définir le périmètre, identifier le responsable et un scénario...
-
Évaluation du modèle
Je ne commencerais pas l’évaluation du modèle en achetant une autre plateforme ou en lançant un vaste programme. Je déterminerais d’abord le périmètre, le responsable, et un scénario…
-
Suivi des modèles
Je ne commencerais pas la surveillance du modèle en achetant une autre plateforme ou en lançant un vaste programme. Je déterminerais d’abord le périmètre, le responsable et un scénario...
-
Modèle de chaîne d’approvisionnement
Je ne commencerais pas à mettre en place une chaîne logistique modèle en achetant une autre plateforme ou en lançant un programme de grande envergure. Je commencerais par définir le périmètre, désigner le responsable et choisir un scénario...
-
Prompt injection
Je ne commencerais pas la prompt injection en achetant une autre plateforme ou en lançant un programme de grande envergure. Je commencerais par définir le périmètre, identifier le responsable et un scénario...
-
Sécurité RAG
Je ne commencerais pas la sécurité RAG en achetant une autre plateforme ou en lançant un vaste programme de sécurité. Je commencerais par définir le périmètre, identifier le responsable et définir un scénario…
-
Devriez-vous autoriser un fournisseur d’IA à entraîner son modèle sur les données de votre entreprise ?
Évaluer les demandes de formation des fournisseurs à l’aune de l’autorité sur les données, de l’isolation des modèles, des preuves de respect de la vie privée, de la valeur métier et d’un plan de sortie couvrant les modèles dérivés.
-
Qu’est-ce qui change lorsqu’un assistant IA obtient l’autorisation d’agir ?
Faire passer l’IA du stade du conseil à celui de l’action modifie le problème de contrôle. Passez en revue les outils, les identifiants, les actions déléguées et les autorisations dont une tâche a réellement besoin.
-
Que pourrait nous apprendre aujourd’hui une analyse d’une défaillance de l’IA en 2035 ?
Une analyse fictive d’une défaillance de l’IA en 2035 peut mettre en évidence les dépendances actuelles. Utilisez ce scénario pour tester les contrôles, et non comme une prédiction ou une estimation de probabilité.
-
Que doit contenir un résumé de décision généré par l’IA ?
Un résumé de décision issu de l’IA doit préserver l’incertitude, les preuves et les divergences susceptibles de modifier l’action, et non se contenter de donner un feu vert sans réserve.
-
Que faudrait-il pour réellement mettre votre système d’IA hors service ?
Vérifiez ce qu’un mécanisme d’arrêt de l’IA bloque réellement, qui peut l’activer et ce qui reste opérationnel. L’autorité chargée de l’arrêt doit disposer d’un plan de reprise crédible.
-
À quel moment une alerte générée par l’IA devient-elle un contrôle opérationnel ?
Transformez les alertes sur les risques liés à l’IA en contrôles pris en charge, financés et vérifiables. Un court extrait de « Boxing Einstein » sur le fossé qui existe entre la reconnaissance d’un problème et sa résolution.
-
Quand l’approbation humaine n’est-elle qu’un simple formalisme ?
Un bouton de validation humaine ne constitue qu’une partie du contrôle de l’IA. Examinez les éléments de preuve, le délai, l’autorité et les alternatives qui rendent un droit de veto utilisable.
-
Pourquoi une IA utile peut-elle être plus difficile à réguler ?
Pourquoi une réponse utile issue de l’IA doit encore être étayée par des preuves avant d’être largement utilisée : distinguer les avantages observés, les conséquences cachées et le coût de l’inaction.
-
Vos collaborateurs utilisent déjà l’IA. Et maintenant ?
L'interdire ne fonctionne pas. Je n’ai encore jamais vu d’organisation où une politique ait empêché les gens de coller un contrat dans un chatbot pour en faire un résumé. Ce que fait cette interdiction, c’est...
Aucune correspondance. Essayez un autre mot ou posez-moi directement la question.