אבטחת AI: הגנה על מודלים, נתונים וסוכנים בסביבת הייצור

ייעוץ אבטחת ה-AI של SEYA Group מסייע לארגונים קנדיים לפרוס יישומי LLM וסוכני AI מבלי לחשוף נתונים או מערכות: אנחנו מעריכים סיכוני הזרקת פרומפטים ודליפת נתונים, מתכננים בקרות ומנטרים מודלים בסביבת הייצור. פרויקט טיפוסי נמשך ארבעה עד שנים-עשר שבועות ומובל על ידי מהנדסי אבטחה בכירים ממשרדנו בוונקובר.

למי זה מיועד

מנהלי אבטחת מידע (CISO) וארכיטקטי אבטחה שהצוותים שלהם עומדים להציב מודל שפה גדול, מערכת אחזור או סוכן מול עובדים או לקוחות. מנהלי מערכות מידע (CIO) שהתבקשו לאשר פיצ'ר AI ועדיין אין בידיהם תמונה כתובה של מה שהמודל יכול להגיע אליו. ראשי צוותי הנדסה שכבר משחררים על AWS, Microsoft Azure או Google Cloud ורוצים שעבודת האבטחה תיעשה על ידי אנשים שגם קוראים את ה-Pipeline.

זהו פרויקט ייעוץ. SEYA אינה מוכרת מודל, אינה מפעילה מרכז תפעול אבטחה, ואינה מסמיכה שמערכת היא בטוחה או עומדת בדרישות. הממצאים הם מה שהסקירה והבדיקות המוסכמות מדווחים.

האיומים שהסקירה מכסה

הסקירה משתמשת בשני מקורות ציבוריים כרשימת תיוג, לא כתו תקן. OWASP Top 10 for LLM Applications מגדיר את דפוסי הכשל שמופיעים בעוזרים שנפרסו: הזרקת פרומפטים, חשיפת מידע רגיש, חולשות בשרשרת האספקה של מודלים ותוספים, ושימוש לא מאובטח בתוספים או בכלים. NIST AI Risk Management Framework הוא המבנה שבו אנחנו כותבים את הסיכון כך שוועדת אבטחה תוכל לקרוא אותו: govern, map, measure, manage.

• הזרקת פרומפטים. הוראות המוסתרות במסמך, בדף אינטרנט, בדוא"ל או בהודעת משתמש, שמנסות לעקוף את ה-System Prompt או את מדיניות הכלים.
• דליפת נתונים. נתוני אימון, אינדקסי אחזור, פרומפטים ופלטי כלים שעלולים להחזיר נתוני לקוחות, סודות או תוכן של דייר אחר לגורם הלא נכון.
• שרשרת האספקה של המודל. משקלים, קונטיינרים, תוספים וסטים של הערכה שנכנסים לסביבה ללא תיעוד של מקור, גרסה או הבדיקות שרצו לפני הקידום.
• ניצול כלים על ידי סוכנים. סוכן שיכול לקרוא ל-API פנימיים, למערכות טיקטים או לחשבונות ענן עם הרשאה רחבה יותר מזו של האדם ששאל את השאלה.

מה תקבלו

• הערכה כתובה. המערכות שבהיקף, הנתונים שהן יכולות להגיע אליהם, הזהויות שתחתיהן הן רצות, ורשימת ממצאים מדורגת. כל ממצא מציין מה נצפה ואיזה שינוי אנחנו ממליצים עליו. הוא אינו קובע שהמערכת מוסמכת.
• תכנון בקרות. סינון קלט, בדיקות פלט, רשימות כלים מורשים, טיפול בסודות ורישום לוגים, ממופים ל-Pipeline ולחשבונות הענן שבהם אתם כבר משתמשים. אם תרצו שהבקרות ייבנו, הבנייה היא היקף נפרד ומוסכם, והיא יושבת לצד עבודת DevSecOps כך שהבדיקות ירוצו על כל שינוי.
• תוכנית ניטור. מה לרשום בלוג (פרומפטים הם לעיתים קרובות רגישים; התוכנית מציינת מה אסור לאחסן), אילו התראות מצדיקות הקפצת אדם, ומי סוקר אותן.
• חבילת מסירה. ההערכה, רשימת הבקרות ומפגש עבודה עם בעלי האבטחה וההנדסה שלכם. המסמכים והחשבונות נשארים אצלכם.

איך הפרויקט מתנהל

• שיחת תיחום. אתם מגדירים את היישום, מי משתמש בו, אילו נתונים הוא יכול לאחזר ולאילו כלים הוא יכול לקרוא. אנחנו אומרים אם חלק העבודה הראשון הוא הערכה, תכנון בקרות או שניהם.
• הערכה. אנחנו קוראים את הארכיטקטורה, את מודל הזהויות ומדגם של פרומפטים ועקבות כלים יחד עם המהנדסים שלכם. אין צורך להעתיק נתוני לקוחות מסביבת הייצור ל-SEYA.
• בקרות. אנחנו כותבים את תכנון הבקרות מול הממצאים. הבעלים שלכם מחליטים מה חוסם שחרור. SEYA ממליצה; תהליך החריגים נשאר שלכם.
• ניטור. רישום לוגים וסקירה מוסכמים לפני שסוכן כלשהו מקבל כלי חדש. אם היישום עדיין לא בסביבת הייצור, שלב זה הוא תכנון, לא הזנה חיה.
• מסירה. הצוות שלכם יוצא עם המסמכים, ובמקום שבו בנייה הייתה בהיקף, גם עם בדיקות ה-Pipeline. סקירה מאוחרת יותר יכולה לחזור על אותו קו בסיס אחרי שהמערכת משתנה.

מה צריך להיות מוכן מצדכם

בעלים מטעם האבטחה ובעלים מטעם ההנדסה, תיאור של המודל או הסוכן, וגישה לתכנון ולסביבה שאינה סביבת ייצור. אם המודל עצמו עדיין בבנייה, הבנייה הזו היא פרויקט מוצר. SEYA סוקרת כיצד הוא נפרס ובמה מותר לו לגעת. אם השאלה הפתוחה היא מדיניות וראיות עבור ועדה, התחילו עם ממשל AI. אם אתם רוצים שהפרומפטים והכלים יותקפו במסגרת זמן קצובה לפני ההשקה, התחילו עם הערכת אבטחת LLM.

מחוץ להיקף: ערובה לכך שלא ניתן להטעות מודל, טענה ש-SEYA או המערכת שלכם מוסמכות לפי NIST, ISO או כל תקן אחר, ושירות זיהוי מנוהל. ההוכחה שפורסמה לאופן שבו SEYA מטפלת בסקירת אבטחה של לקוח היא המעבר של Boeing GoldCare ל-Azure, שבו התשתית נבדקה על ידי Boeing InfoSec לפני שעומסי העבודה עלו לאוויר. אותו פרויקט היה הגירה לענן עם שער אבטחה, לא פריסת LLM. אנחנו מצטטים אותו כי דפוס הסקירה זהה: צוות האבטחה של הלקוח רואה את התכנון לפני סביבת הייצור.

שאלות נפוצות

האם אתם מסמיכים את מערכת ה-AI שלנו?

לא. SEYA כותבת ממצאים, תכנון בקרות והראיות שהבקרות האלה מפיקות. הסמכה, אם תרצו כזו, היא עניין שבינכם לבין הגוף שמנפיק אותה. לא נציב סימן הסמכה על הדוח.

כמה זמן נמשך פרויקט אבטחת AI?

הערכה ראשונה של יישום אחד מסתיימת לרוב בתוך ארבעה עד שנים-עשר שבועות, בהתאם למספר הכלים שהסוכן יכול לקרוא להם ולכמות התכנון שכבר כתובה. תוכנית מרובת מוצרים מתוחמת כשלבים, לא כסקירה אחת פתוחה.

האם תאמנו או תארחו את המודל?

לא. הפרויקט מכסה כיצד מגיעים למודל או לסוכן, אילו נתונים הוא יכול לראות ואילו פעולות הוא יכול לבצע. בניית המוצר היא החלטה נפרדת ואינה חלק משירות זה.

אילו עננים הסקירה מניחה?

AWS, Microsoft Azure ו-Google Cloud, כי שם כבר רצה עבודת המסירה של SEYA. רשימת האיומים זהה אם המודל נקרא כ-API. תכנון הבקרות עוקב אחר כלי הזהויות והלוגים שכבר יש לפלטפורמה שלכם.

אם פיצ'ר LLM קרוב להשקה וסקירת האבטחה היא עדיין שקף, תאמו הערכת אבטחת ענן ונאמר מה ארבעת השבועות הראשונים יכסו.