Sans reporting lisible, la sécurité IA ne se finance pas. Sans reporting honnête, le programme dérive et la direction perd confiance. Voilà les trois formats que j'utilise en mission pour adresser CISO, CTO/CIO et board avec une seule source de vérité.
Le principe — un seul socle, trois lectures
Une seule base de données (collecte KPI), trois vues :
- CISO — niveau de risque par cas d'usage, statut conformité, posture menace.
- CTO / CIO — qualité technique, dette, MTTR, intégration au cycle dev.
- Board / COMEX — risque résiduel, conformité régulateur, position vs pairs.
Si la base est commune, les trois vues sont cohérentes. Si chaque audience a son rapport indépendant, vous passez plus de temps à les réconcilier qu'à corriger les vrais sujets.
La base — douze KPI utiles
Je ne propose jamais plus que ça. Au-delà, plus personne ne lit.
Posture et couverture
- Couverture OWASP LLM Top 10 — pourcentage de risques traités sur l'inventaire des cas d'usage.
- Couverture techniques MITRE ATLAS applicables — pourcentage de techniques avec contrôle en place.
- Inventaire à jour — date de dernier audit du registre des modèles, agents, RAGs en prod.
Détection et qualité
- Findings ouverts par criticité — critical / high / medium / low, avec ancienneté.
- MTTR moyen par criticité — temps moyen de remédiation.
- Régressions détectées dernier trimestre — issues réintroduites après correction.
Continuité et tests
- Suite continue passing rate — pourcentage de tests adversariaux verts à chaque release.
- Campagnes ponctuelles terminées — par an, avec rapport disponible.
- Coverage tests memorization / leakage — pourcentage de modèles avec tests en place.
Conformité
- Posture ISO 27001 / 42001 — clauses Annexe A en place / partielles / absentes.
- DPIA réalisées sur cas d'usage à risque RGPD.
- Incidents IA déclarés — total et notification CNIL / autorité compétente.
C'est tout. Les KPI au-delà soit dupliquent, soit n'apportent pas de décision.
Format CISO — rapport mensuel
8-12 pages, structuré :
- Synthèse 1 page (vert / orange / rouge sur les 12 KPI).
- Évolution mois-1 / mois-3 / YTD.
- Top 5 risques par cas d'usage critique.
- Statut campagnes red team en cours.
- Conformité par référentiel (1 page par référentiel pertinent).
- Roadmap remédiation actualisée.
- Décisions à prendre + budget engagé / restant.
Rythme : envoi mensuel, point trimestriel avec direction technique.
Format CTO / CIO — dashboard temps réel + brief mensuel
Dashboard (Grafana, Datadog, custom) avec :
- Suite continue tests adversariaux : vert / rouge par release.
- Findings par module avec criticité et owner.
- Coût LLM par jour + alerting cost runaway.
- Métriques cost-runaway et tool abuse.
- Volume agents / sessions / tools calls.
Brief mensuel (1 page) :
- Régressions détectées + statut.
- Top 3 dettes techniques en sécu IA.
- Prochaines évolutions du pipeline.
Rythme : dashboard temps réel + brief écrit mensuel.
Format Board / COMEX — semestriel, 2 slides + voix
Slide 1 — Posture
- Une jauge vert / orange / rouge globale.
- Trois indicateurs métier : conformité régulateur, incidents survenus, risque résiduel critique.
- Évolution vs semestre précédent.
Slide 2 — Décisions
- 2-3 décisions à prendre (budget, priorité, gouvernance).
- Le coût de la non-décision (incident potentiel, sanction régulateur, perte commerciale).
- Engagement et calendrier.
Voix : 15 minutes, dont 5 sur les chiffres, 10 sur les décisions et l'arbitrage. Pas de tableau qui scrolle.
Rythme : semestriel + exceptionnel sur incident majeur ou évolution régulateur.
Voir comex cybersécurité IA préparer en 2h pour le format slides.
Les pièges classiques
Trop de KPI
50 KPI = personne ne lit. Tenir à 10-12 maximum. Si un KPI ne déclenche pas une décision, il ne sert à rien.
KPI vanity (théâtre)
"Nombre de prompts testés" — vanity. "Pourcentage de tests passing à chaque release" — utile. La différence : un KPI utile change de couleur quand quelque chose va mal.
Reporting non transversal
Le CISO a son rapport, le CTO a son rapport, le COMEX a son rapport. Si les chiffres ne coïncident pas (parce que mesurés à des dates différentes ou par des outils différents), la direction se méfie de tout.
Pas de plan de correction
Reporter un orange sans dire ce qu'on fait pour passer au vert = inutile. Chaque indicateur orange/rouge doit être accompagné d'une action et d'une échéance.
Pas d'historique
Si vous ne montrez que le mois courant, impossible de voir une tendance. Toujours montrer la trajectoire (3 mois, 6 mois, 12 mois).
Le réflexe de discipline
Avant chaque envoi, je passe ce test :
- Chaque KPI a-t-il déclenché ou pourrait-il déclencher une décision ?
- Le rapport est-il lisible en 10 minutes par l'audience cible ?
- Les chiffres sont-ils traçables à une source unique ?
- Y a-t-il au moins une mauvaise nouvelle (sinon le rapport est fake) ?
Si une réponse est non, on ré-itère.
Mon avis en 1 ligne
Trois formats, douze KPI, une base de vérité unique. C'est ce qui rend la sécurité IA pilotable et finançable. Compter 2-3 semaines pour outiller le reporting initial, puis discipline mensuelle. Sans ça, vous avez de la sécurité IA invisible — donc rapidement de la sécurité IA non financée.