एआई अनुप्रयोगों, सास उत्पादों और एजेंटों के लिए एलएलएम सुरक्षा और डेटा-हैंडलिंग आकलन। पता लगाएं कि पहुंच, कार्रवाई और ग्राहक डेटा कहां गलत हो सकता है, फिर अपनी टीम को सबूत दें कि वह कार्रवाई कर सकती है।
एआई मूल्यांकन और इंजीनियरिंग हमारी नींव है। सुरक्षा मूल्यांकन आपके उत्पाद की सीमाओं पर समान अनुशासन लाता है।
01मूल्यांकन
मॉडल सिस्टम का एक हिस्सा है।
AI SaaS सुरक्षा ऑडिट एप्लिकेशन, उसके AI वर्कफ़्लो और उनके द्वारा स्पर्श किए गए डेटा की जांच करता है। हम इस बात से सहमत हैं कि कौन सी जाँचें आपके उत्पाद पर लागू होती हैं और परीक्षण न किए गए क्षेत्रों की स्पष्ट रूप से रिपोर्ट करते हैं।
शीघ्र इंजेक्शन और एजेंट सीमाएँ
परीक्षण करें कि क्या अविश्वसनीय संकेत, पुनर्प्राप्त दस्तावेज़, या टूल आउटपुट किसी सहायक के अधिकृत कार्य को बदल सकते हैं।
प्रत्यक्ष और अप्रत्यक्ष त्वरित इंजेक्शन
टूल अनुमतियाँ और अनुमोदन सीमाएँ
अनपेक्षित कार्रवाइयाँ, पुनः प्रयास और दुष्प्रभाव
ग्राहक और किरायेदार अलगाव
जांचें कि क्या उपयोगकर्ता और एजेंट केवल उन रिकॉर्ड, दस्तावेज़ों और कार्यों तक पहुंच सकते हैं जिनकी उनकी भूमिकाएं अनुमति देती हैं।
प्रमाणीकरण और ऑब्जेक्ट-स्तरीय प्राधिकरण
क्रॉस-टेनेंट पुनर्प्राप्ति, कैश और फ़ाइल पहुंच
सत्र प्रबंधन और विशेषाधिकार प्राप्त संचालन
डेटा प्रबंधन और प्रदाता सेटिंग्स
एप्लिकेशन, मॉडल प्रदाताओं, लॉगिंग, एनालिटिक्स और स्टोरेज के माध्यम से ग्राहक डेटा का पता लगाएं।
संग्रहण, अवधारण और विलोपन पथ
प्रशिक्षण-उपयोग सेटिंग्स और सहायक प्रदाता शर्तें
तृतीय-पक्ष साझाकरण, लॉग और संवेदनशील-डेटा एक्सपोज़र
एप्लिकेशन और एपीआई सुरक्षा
मॉडल के आसपास एप्लिकेशन की समीक्षा करें, जिसमें डेटा स्वीकार करने और कार्रवाई निष्पादित करने वाले इंटरफ़ेस भी शामिल हैं।
इनपुट सत्यापन और जेनरेट-आउटपुट हैंडलिंग
रहस्य, निर्भरताएँ, अपलोड और कॉन्फ़िगरेशन
दर सीमाएँ, संसाधन सीमाएँ और दुरुपयोग नियंत्रण
पुनर्प्राप्ति और डेटा गुणवत्ता
मूल्यांकन करें कि क्या सिस्टम डेटा संसाधित करते समय अनुमत, प्रासंगिक साक्ष्य पुनर्प्राप्त करता है और अर्थ सुरक्षित रखता है।
स्रोत उद्गम और पुराने या परस्पर विरोधी दस्तावेज़
उद्धरण समर्थन और असमर्थित उत्तर
निष्कर्षण सटीकता, पूर्णता, और स्कीमा अर्थ
विफलता के तहत उत्पाद व्यवहार
मापें कि साक्ष्य, उपकरण या प्रदाता विफल होने पर और प्रस्तावित सुधार के बाद एआई वर्कफ़्लो कैसे व्यवहार करता है।
प्रतिनिधि कार्य और प्रतिगमन मामले
संयम, वृद्धि, और सुरक्षित विफलता व्यवहार
दोहराव योग्यता, कार्य पूर्णता, और संचालन सीमाएँ
02डेटा दावे, विशिष्ट बनाये गये
ग्राहक डेटा का क्या होता है?
अनुरोध संसाधित करना, लॉग बनाए रखना, प्रदाता के साथ डेटा साझा करना और प्रशिक्षण के लिए डेटा का उपयोग करना अलग-अलग गतिविधियां हैं। एक उपयोगी मूल्यांकन दावे, साक्ष्य और सीमाओं की पहचान करता है।
हम सहमत दायरे में प्रश्नों की जांच कर सकते हैं
प्रश्न
जांच के लिए साक्ष्य
रिपोर्ट में क्या अंतर है
क्या ग्राहक सामग्री का उपयोग प्रशिक्षण के लिए किया जाता है?
डेटा पथ, प्रदाता सेटिंग्स, लागू शर्तें और उपलब्ध रिकॉर्ड।
देखे गए कॉन्फ़िगरेशन, संविदात्मक कथन और व्यवहार का हम निरीक्षण नहीं कर सकते।
क्या एक ग्राहक दूसरे के डेटा तक पहुंच सकता है?
एपीआई, पुनर्प्राप्ति, भंडारण और कैश में प्राधिकरण परीक्षण।
परीक्षण की गई भूमिकाएं और पथ, जिसमें पहुंच या कवरेज में कोई अंतराल शामिल है।
हटाने के बाद क्या बचता है?
वर्कफ़्लो, लॉग, प्रदाता प्रतिधारण, बैकअप और दस्तावेज़ अपवादों को हटाना।
सत्यापित विलोपन व्यवहार बनाम अवधारण जो नीति या किसी तीसरे पक्ष पर निर्भर करता है।
क्या निकाला गया या जेनरेट किया गया डेटा सही है?
प्रतिनिधि संदर्भ मामले, क्षेत्र-स्तरीय जांच और स्रोत समर्थन।
सुरक्षा और गोपनीयता निष्कर्षों से अलग, मूल्यांकन सेट पर मापी गई गुणवत्ता।
03आपकी टीम क्या रखती है
जिन निष्कर्षों की आप जांच कर सकते हैं। सुधार आप पुनः परीक्षण कर सकते हैं।
दायरा और डेटा-प्रवाह मानचित्र
मूल्यांकित उत्पाद संस्करण, परिवेश, अधिकृत सिस्टम, डेटा पथ और बहिष्करण।
साक्ष्य-समर्थित निष्कर्ष
प्रभावित घटकों, पुनरुत्पादन साक्ष्य, व्यावसायिक प्रभाव और अनुशंसित सुधारों के साथ प्राथमिकता वाले मुद्दे।
मूल्यांकन और पुन: परीक्षण रिकॉर्ड
सहमत मामले, देखे गए व्यवहार, कॉन्फ़िगरेशन, अनसुलझे प्रश्न और दायरे के भीतर पुन: परीक्षण किए गए सुधारों के परिणाम।
निर्णय-तैयार हैंडऑफ़
एक कार्यकारी सारांश, तकनीकी रिपोर्ट और अगली कार्रवाइयां। साक्ष्य द्वारा सहमत और समर्थित होने पर एक अलग सार्वजनिक सारांश तैयार किया जा सकता है।
परीक्षण लिखित प्राधिकरण, लक्ष्य प्रणाली, अनुमत कार्रवाइयों और रोक शर्तों के साथ शुरू होता है। हम सिंथेटिक या स्वीकृत डेटा का उपयोग करते हैं और उपलब्ध पहुंच की सीमाएं रिकॉर्ड करते हैं।
यह दायरा OWASP ASVS के लिए प्रासंगिक जांचों को मैप करता है और LLM और एजेंटिक जोखिमों के लिए OWASP मार्गदर्शन पर विचार करता है। रिपोर्ट वास्तव में उपयोग किए गए संस्करणों और आवश्यकताओं का नाम देती है।
एआई वर्कफ़्लो, डेटा प्रवाह, अनुमतियाँ और मूल्यांकन को उत्तर देने वाले प्रश्नों को मैप करें।
परीक्षण और समीक्षा
सहमत जाँच चलाएँ, सहायक साक्ष्यों की जाँच करें, और देखे गए मुद्दों को असत्यापित चिंताओं से अलग करें।
प्राथमिकता दें और पुनः परीक्षण करें
प्रभाव स्पष्ट करें, समाधान प्रस्तावित करें, और अद्यतन प्रणाली के विरुद्ध सहमत पुनर्परीक्षणों के परिणाम रिकॉर्ड करें।
निर्णय सौंपें
निष्कर्ष, शेष सीमाएँ और एक व्यावहारिक अगली कार्य योजना प्रदान करें।
05मूल्यांकन बैज
किसी दावे को उसके साक्ष्य के रूप में प्रस्तुत किया जाना चाहिए।
रूब्रेक्स मूल्यांकन बैज को एक विशिष्ट समीक्षा किए गए उत्पाद की पहचान करनी चाहिए और दायरे, तिथियों, साक्ष्य सारांश और वर्तमान स्थिति के साथ सार्वजनिक रिकॉर्ड से लिंक करना चाहिए। यह "शून्य जोखिम" या "कोई डेटा उपयोग नहीं" के लिए खड़ा नहीं हो सकता।
बैज पात्रता दस्तावेजी मानदंडों और पुनः परीक्षण साक्ष्यों पर निर्भर करती है। मूल्यांकन प्रणाली में किसी भी महत्वपूर्ण परिवर्तन के लिए प्रभावित दावों की समीक्षा की आवश्यकता होती है।
यह एआई उत्पाद की एप्लिकेशन सुरक्षा, मॉडल और एजेंट सीमाओं और ग्राहक-डेटा हैंडलिंग का एक विस्तृत मूल्यांकन है। रूब्रेक्स सहमत आवश्यकताओं के विरुद्ध पुनर्प्राप्ति, संरचित डेटा और आउटपुट गुणवत्ता का भी मूल्यांकन कर सकता है। रिपोर्ट सुरक्षा निष्कर्षों को गुणवत्ता परिणामों से अलग करती है।
क्या आप सत्यापित कर सकते हैं कि ग्राहक डेटा का उपयोग मॉडल प्रशिक्षण के लिए नहीं किया जाता है?+
हम सटीक रूप से परिभाषित प्रशिक्षण-उपयोग दावे के लिए एप्लिकेशन के डेटा प्रवाह, प्रासंगिक प्रदाता सेटिंग्स, अनुबंध और उपलब्ध तकनीकी साक्ष्य की समीक्षा कर सकते हैं। एक प्रदाता कथन को इस प्रकार लेबल किया गया है। हम किसी एप्लिकेशन परीक्षण से किसी प्रदाता के अज्ञात आंतरिक व्यवहार को साबित नहीं कर सकते हैं या मूल्यांकन किए गए सेटअप से परे किसी निष्कर्ष का विस्तार नहीं कर सकते हैं।
क्या यह एआई विश्वसनीयता स्प्रिंट का हिस्सा है?+
सुरक्षा ऑडिट का दायरा अलग से होता है। स्प्रिंट एक उपयोग के मामले का 10-कार्य-दिवसीय मूल्यांकन बना हुआ है। यदि दोनों की आवश्यकता है, तो हम सहमत हैं कि काम शुरू होने से पहले मूल्यांकन मामले, सुरक्षा जांच और डिलिवरेबल्स एक साथ कैसे फिट होते हैं।
क्या आप ऑडिट चलाने के लिए AI का उपयोग करते हैं?+
स्वचालन और एआई-सहायता प्राप्त विश्लेषण सहमत कार्य का समर्थन कर सकते हैं। निष्कर्षों को प्रतिलिपि प्रस्तुत करने योग्य साक्ष्य और समीक्षा की आवश्यकता है; अकेले मॉडल-जनरेटेड निर्णय या स्कैनर आउटपुट किसी मूल्यांकन दावे को प्रमाणित करने के लिए पर्याप्त नहीं हैं। क्लाइंट डेटा को संसाधित करने वाले किसी भी उपकरण का उपयोग करने से पहले सहमति होनी चाहिए।
आपको किस पहुंच और प्राधिकरण की आवश्यकता है?+
हम लक्ष्य प्रणालियों, अनुमत परीक्षणों, परीक्षण खातों, समय, रोक की शर्तों और डेटा शर्तों से लिखित रूप में सहमत हैं। दायरे के आधार पर, उपयोगी इनपुट में आर्किटेक्चर, कोड, प्रदाता कॉन्फ़िगरेशन और सिंथेटिक या अनुमोदित डेटा के साथ एक परीक्षण वातावरण शामिल है। पहुंच सीमाएं रिपोर्ट में दर्ज की गई हैं।
क्या मूल्यांकन बैज सुरक्षा या अनुपालन की गारंटी देता है?+
नहीं। एक बैज में एक विशिष्ट, दिनांकित मूल्यांकन और एक सार्वजनिक सत्यापन रिकॉर्ड का उल्लेख होना चाहिए जो इसके दायरे और स्थिति को समझाता हो। यह शून्य कमजोरियों का वादा नहीं कर सकता, कानूनी अनुपालन स्थापित नहीं कर सकता, या एसओसी 2 या आईएसओ प्रमाणन के लिए खड़ा नहीं हो सकता। भुगतान से मूल्यांकन खरीदा जाता है, उत्तीर्ण परिणाम नहीं।
संबंधित अनुसंधान
एलएलएम सुरक्षा और बॉट-दुरुपयोग परीक्षण।
शीघ्र इंजेक्शन, अनधिकृत उपकरण क्रियाएँ, और स्वचालित लागत दुरुपयोग विभिन्न सीमाओं को प्रभावित करते हैं। एक सहमत मूल्यांकन मॉडल व्यवहार के साथ-साथ पहुंच निर्णय, संसाधन सीमा और उपकरण परिणामों की जांच कर सकता है। हमारा व्यावहारिक मार्गदर्शक दिखाता है कि परीक्षण को कैसे परिभाषित किया जाए, साक्ष्य कैसे एकत्र किया जाए और प्रस्तावित सुधार को सत्यापित किया जाए।
हमें बताएं कि आप क्या बना रहे हैं और आपको क्या निर्णय लेना है। यदि कोई समस्या है, तो हम आपको 20 मिनट की स्कोपिंग कॉल की व्यवस्था करने के लिए ईमेल करेंगे। इस पहली बातचीत के लिए किसी सिस्टम एक्सेस की आवश्यकता नहीं है।
हम क्या चर्चा करेंगे
आपका उपयोग मामला और समस्या जो आप देख रहे हैं।
आपके पास क्या सबूत हैं और पहले क्या परीक्षण करना है।
क्या स्प्रिंट, ऑडिट, या इंजीनियरिंग सहभागिता उपयुक्त है।