Audits de sécurité IA SaaS / Rubrex

Testez les limites. Tracez les données.

Évaluations LLM de la sécurité et de la gestion des données pour les applications d'IA, les produits SaaS et les agents. Identifiez les problèmes d'accès, d'actions et de données clients, puis donnez à votre équipe la preuve qu'elle peut agir.

L’évaluation et l’ingénierie de l’IA constituent notre fondement. L'évaluation de la sécurité apporte la même discipline aux limites autour de votre produit.

Le modèle est une partie du système.

Un audit de sécurité IA SaaS examine l'application, ses flux de travail IA et les données qu'ils touchent. Nous convenons des contrôles applicables à votre produit et signalons explicitement les zones non testées.

Injection rapide et limites des agents

Testez si des invites non fiables, des documents récupérés ou des sorties d'outils peuvent modifier la tâche autorisée d'un assistant.

  • Injection rapide directe et indirecte
  • Autorisations des outils et limites d'approbation
  • Actions, tentatives et effets secondaires involontaires

Isolement des clients et des locataires

Vérifiez si les utilisateurs et les agents peuvent accéder uniquement aux enregistrements, documents et actions autorisés par leurs rôles.

  • Authentification et autorisation au niveau de l'objet
  • Récupération entre locataires, caches et accès aux fichiers
  • Gestion de session et opérations privilégiées

Traitement des données et paramètres du fournisseur

Suivez les données client via l'application, les fournisseurs de modèles, la journalisation, l'analyse et le stockage.

  • Chemins de collecte, de conservation et de suppression
  • Paramètres d'utilisation de la formation et conditions du fournisseur associées
  • Partage par des tiers, journaux et exposition de données sensibles

Sécurité des applications et des API

Passez en revue l'application autour du modèle, y compris les interfaces qui acceptent les données et exécutent les actions.

  • Validation des entrées et gestion des sorties générées
  • Secrets, dépendances, téléchargements et configuration
  • Limites de débit, limites de ressources et contrôles des abus

Récupération et qualité des données

Évaluez si le système récupère des preuves autorisées et pertinentes et préserve la signification lorsqu'il traite les données.

  • Provenance de la source et documents périmés ou contradictoires
  • Prise en charge des citations et réponses non prises en charge
  • Précision de l'extraction, exhaustivité et signification du schéma

Comportement du produit en cas de panne

Mesurez le comportement du flux de travail de l'IA en cas d'échec des preuves, des outils ou des fournisseurs, et après une proposition de correctif.

  • Tâches représentatives et cas de régression
  • Abstention, escalade et comportement d'échec sûr
  • Répétabilité, achèvement des tâches et limites de fonctionnement

Qu'arrive-t-il aux données clients ?

Traiter une demande, conserver un journal, partager des données avec un fournisseur et utiliser des données pour la formation sont des activités différentes. Une évaluation utile identifie la réclamation, les preuves et les limites.

Questions sur lesquelles nous pouvons enquêter dans un cadre convenu
QuestionPreuve à examinerCe que le rapport distingue
Le contenu client est-il utilisé pour la formation ?Chemins de données, paramètres du fournisseur, conditions applicables et enregistrements disponibles.Configuration observée, déclarations contractuelles et comportement que nous ne pouvons pas inspecter.
Un client peut-il accéder aux données d’un autre ?Tests d'autorisation sur les API, la récupération, le stockage et les caches.Les rôles et chemins testés, y compris les éventuelles lacunes d'accès ou de couverture.
Que reste-t-il après la suppression ?Workflows de suppression, journaux, conservation du fournisseur, sauvegardes et exceptions documentées.Comportement de suppression vérifié par rapport à la conservation qui dépend de la politique ou d'un tiers.
Les données extraites ou générées sont-elles correctes ?Cas de référence représentatifs, vérifications sur le terrain et assistance à la source.Qualité mesurée sur l’ensemble d’évaluation, distincte des résultats de sécurité et de confidentialité.

Résultats sur lesquels vous pouvez enquêter. Correctifs que vous pouvez retester.

Carte de portée et de flux de données

La version du produit évalué, les environnements, les systèmes autorisés, les chemins de données et les exclusions.

Résultats fondés sur des preuves

Problèmes prioritaires avec les composants concernés, preuves de reproduction, impact commercial et correctifs recommandés.

Dossier d'évaluation et de retest

Cas convenus, comportement observé, configurations, questions non résolues et résultats des correctifs retestés dans le cadre de la portée.

Transfert prêt à la décision

Un résumé, un rapport technique et les prochaines actions. Un résumé public distinct peut être préparé lorsqu’il est convenu et étayé par des preuves.

Inspecter le plan du rapport

Acceptez la portée. Suivez les preuves.

Les tests commencent par une autorisation écrite, les systèmes cibles, les actions autorisées et les conditions d'arrêt. Nous utilisons des données synthétiques ou approuvées et enregistrons les limites de l'accès disponible.

Le champ d'application mappe les contrôles pertinents à l'OWASP ASVS et prend en compte les directives de l'OWASP pour les risques LLM et agents. Le rapport nomme les versions et les exigences réellement utilisées.

Lire la méthode d'évaluation
  1. Définir le système et les revendications

    Cartographiez le flux de travail de l'IA, les flux de données, les autorisations et les questions auxquelles l'évaluation doit répondre.

  2. Test et révision

    Effectuez des vérifications convenues, examinez les preuves à l’appui et séparez les problèmes observés des problèmes non vérifiés.

  3. Prioriser et retester

    Expliquez l'impact, proposez des correctifs et enregistrez le résultat des nouveaux tests convenus sur le système mis à jour.

  4. Remettre la décision

    Fournir les résultats, les limites restantes et un prochain plan d'action pratique.

Une réclamation doit conduire à sa preuve.

Un badge d'évaluation Rubrex doit identifier un produit spécifique examiné et être lié à un dossier public avec la portée, les dates, le résumé des preuves et l'état actuel. Cela ne peut pas signifier « risque zéro » ou « aucune utilisation de données ».

L’éligibilité au badge dépend de critères documentés et de preuves de nouveau test. Tout changement important apporté au système évalué nécessite un examen des réclamations concernées.

Lisez les exigences du badge

Quelques réponses utiles.

Qu'est-ce qu'un audit de sécurité IA SaaS ?

Il s’agit d’une évaluation étendue de la sécurité des applications d’un produit d’IA, des limites du modèle et de l’agent, ainsi que de la gestion des données client. Rubrex peut également évaluer la récupération, les données structurées et la qualité de sortie par rapport aux exigences convenues. Le rapport sépare les résultats de sécurité des résultats de qualité.

Pouvez-vous vérifier que les données client ne sont pas utilisées pour la formation du modèle ?

Nous pouvons examiner les flux de données de l’application, les paramètres des fournisseurs pertinents, les contrats et les preuves techniques disponibles pour une demande d’utilisation de formation définie avec précision. Une instruction de fournisseur est étiquetée comme telle. Nous ne pouvons pas prouver le comportement interne non divulgué d’un fournisseur à partir d’un test d’application ou étendre une conclusion au-delà de la configuration évaluée.

Cela fait-il partie du AI Reliability Sprint ?

Les audits de sécurité sont couverts séparément. Le Sprint reste une évaluation de 10 jours ouvrables d'un cas d'utilisation. Si les deux sont nécessaires, nous convenons de la manière dont les cas d’évaluation, les contrôles de sécurité et les livrables s’articulent avant le début des travaux.

Utilisez-vous l’IA pour réaliser l’audit ?

L’automatisation et l’analyse assistée par l’IA peuvent soutenir le travail convenu. Les résultats nécessitent des preuves et un examen reproductibles ; les jugements générés par le modèle ou les résultats du scanner ne suffisent pas à eux seuls à étayer une affirmation d’évaluation. Tous les outils qui traitent les données des clients doivent être acceptés avant utilisation.

De quels accès et autorisation avez-vous besoin ?

Nous convenons par écrit des systèmes cibles, des tests autorisés, des comptes de test, du calendrier, des conditions d'arrêt et des données. Selon la portée, les entrées utiles incluent l'architecture, le code, la configuration du fournisseur et un environnement de test avec des données synthétiques ou approuvées. Les limitations d'accès sont enregistrées dans le rapport.

Un badge d’évaluation garantit-il la sécurité ou la conformité ?

Non. Un badge doit faire référence à une évaluation spécifique et datée et à un acte public de vérification expliquant sa portée et son statut. Il ne peut pas promettre l’absence de vulnérabilité, établir une conformité légale ou remplacer la certification SOC 2 ou ISO. Le paiement achète l’évaluation, pas un résultat réussi.

Tests de sécurité LLM et d'abus de robots.

L’injection rapide, les actions d’outils non autorisées et l’abus de coûts automatisé affectent différentes limites. Une évaluation convenue peut examiner les décisions d’accès, les limites des ressources et les résultats des outils ainsi que le comportement du modèle. Notre guide pratique montre comment définir un test, collecter des preuves et vérifier un correctif proposé.

Commencez par
un appel de cadrage.

Dites-nous ce que vous construisez et la décision que vous devez prendre. Si cela vous convient, nous vous enverrons un e-mail pour organiser un appel de cadrage de 20 minutes. Aucun accès au système n'est nécessaire pour cette première conversation.

Ce dont nous discuterons
  • Votre cas d’utilisation et le problème que vous rencontrez.
  • Les preuves dont vous disposez et ce qu’il faut tester en premier.
  • Qu'il s'agisse d'une mission de sprint, d'audit ou d'ingénierie.
evals@rubrex.ai
QUE SE PASSE-T-IL EN SUIVANT
  1. Nous examinons votre demande et voyons si nous pouvons vous aider.
  2. En cas de besoin, nous convenons d’une heure d’appel avec vous par email.
  3. Un cahier des charges écrit et un devis avant le début des travaux.

Gardez-le à un niveau élevé. Pas d'informations d'identification, d'ensembles de données sensibles ou d'enregistrements clients. Comment nous traitons ce message.