מה הבדיקה בוחנת
הערכת אבטחת ה-LLM של SEYA Group היא מבחן צוות אדום בהיקף קבוע של פיצ'ר מודל שפה אחד: אנחנו בודקים את הפרומפטים, את הכלים שהמודל יכול לקרוא להם ואת נתיבי הנתונים שאליהם הכלים האלה יכולים להגיע, ולאחר מכן כותבים דוח שבעלי האבטחה וההנדסה שלכם יכולים לפעול לפיו. הערכה טיפוסית נמשכת שבועיים עד ארבעה שבועות ומובלת ממשרדנו בוונקובר. זוהי בדיקה ודוח, לא הסמכה.
למי זה מיועד
בעלי אבטחה ומוצר שיש להם תאריך השקה לצ'אטבוט, לאסיסטנט אחזור או לסוכן פנימי, ושנדרשים עבורו אישור עצמאי לפני התאריך. צוותים שכבר רצו שאלון ספק ועדיין אינם יכולים לנסח מה קורה אם משתמש, או מסמך שהמודל קורא, אומרים למודל להתעלם מהוראותיו.
מה תקבלו
- הערת היקף. הפיצ'ר, הסביבות, הזהויות, הכלים בפעולה ומה שמחוץ להיקף. נתוני לקוחות מסביבת הייצור אינם מועתקים ל-SEYA.
- שיטת בדיקה. מקרים שנלקחו מ- OWASP Top 10 for LLM Applications: הזרקת פרומפטים ישירה ועקיפה, ניסיונות לחלץ סודות או תוכן של משתמשים אחרים, קריאות לכלים מחוץ לרשימת ההרשאות, ותוכן מורעל או בלתי צפוי באינדקס האחזור. אנחנו מתעדים כל מקרה, את הקלט ואת ההתנהגות שנצפתה.
- דוח. ממצאים מדורגים לפי מה שהמודל הצליח לעשות, עם הראיות המצורפות ורשימה קצרה של שינויי בקרות. הדוח אינו קובע שהפיצ'ר בטוח באופן כללי. הוא מפרט מה הבדיקות השיגו ומה לא.
- מסירת ממצאים. מפגש עבודה אחד עם בעלי האבטחה וההנדסה שלכם. תיקונים שתבחרו לפתח יכולים להמשיך כתכנון בקרות של אבטחת AI או כבדיקות DevSecOps ב-Pipeline.
איך מתקיים הפרויקט
- שבוע 0, תיחום. גישה לבנייה שאינה סביבת ייצור, ה-system prompt או המדיניות שאתם מוכנים לשתף, ורשימת הכלים.
- שבועות 1 עד 3, בדיקות. אנחנו מריצים את המקרים, מתאימים אותם כאשר בקרה חוסמת את הצורה הגלויה של ההתקפה, ועוצרים בגבול ההיקף. אנחנו לא תוקפים מערכות שלא נקראו בשמן.
- שבוע אחרון, דוח ומסירה. אתם מקבלים את הדוח הכתוב ואת המפגש. שבועיים עד ארבעה שבועות הוא הטווח הרגיל לפיצ'ר אחד. מוצר שני הוא היקף שני.
מה צריך להיות מוכן מצדכם
בנייה שניתן לקרוא אליה, בעלים שיכולים להסביר את מדיניות הכלים המיועדת, והסכמה שממצאים ייכתבו בשפה ישירה. אם עדיין אין לכם מדיניות למה שהאסיסטנט רשאי לעשות, שאלות הממשל שייכות לדף ממשל AI ויכולות לרוץ לפני או לצד הבדיקה הזו.
מחוץ להיקף: אימון מודל, התחייבות שלא יצליח פרומפט עתידי כלשהו, וכל טענה ש-SEYA או הפיצ'ר מחזיקים בהסמכת אבטחה. לדוגמה לסקירת אבטחה של לקוח על עבודת SEYA, ראו את סקירת Boeing InfoSec על התשתית ב-Azure עבור GoldCare. הסקירה הייתה של פלטפורמת ענן, לא של LLM. אנחנו מצטטים אותה רק כדפוס: צוות האבטחה של הלקוח רואה ראיות לפני עלייה לאוויר.
שאלות נפוצות
האם זו בדיקת חדירות לכל הארגון?
לא. ההיקף הוא פיצ'ר ה-LLM שאתם מגדירים: הפרומפטים שלו, הכלים ונתיבי הנתונים. בדיקות חדירה לרשת בכלל נכסי ה-IT בארגון הן פרויקט נפרד ואינן כלולות בשבועיים עד ארבעה השבועות האלה.
איך נראה הדוח?
הצהרת היקף, מקרי הבדיקה, מה עשה כל מקרה והמלצות לשינויי בקרות. הוא נכתב לבעל אבטחה ולבעל הנדסה. אינו מכתב אישור ואין בו סימן הסמכה.
האם אפשר לבצע בדיקה חוזרת אחרי שמתקנים את הממצאים?
כן, כמעקב קצר מול אותם מקרים, בתיחום נפרד. הדוח הראשון נשאר קו הבסיס. עמידה בבדיקה החוזרת פירושה שבאותם מקרים ההתקפה כבר לא הצליחה, לא שהפיצ'ר בטוח מפני כל פרומפט עתידי.
אם תאריך ההשקה כבר בלוח השנה, לתיאום הערכת אבטחת ענן ושלחו את תיאור הפיצ'ר. נאמר אם שבועיים עד ארבעה שבועות מספיקים להיקף הזה.
צור קשר
שלחו פנייה בנוגע להתקשרות בענן, בפלטפורמה, בנתונים או באמינות. דוא"ל שיווקי הוא בחירה נפרדת בטופס.