מערכת AI שמסכמת מסמך ציבורי שונה לחלוטין מסוכן שמקבל גישה ללקוחות, כספים או מערכות תפעול. במקרה השני המודל אינו רק מנגנון תוכן — הוא זהות דיגיטלית שפועלת בתוך העסק. לכן אבטחה אינה שכבה שמוסיפים בסוף, אלא חלק מהאפיון: מי מפעיל את הסוכן, לאילו משאבים הוא מגיע, מה מותר לו לבצע ואיך משחזרים כל החלטה.

השורה התחתונה

  • נותנים לסוכן הרשאות מינימליות וזהות נפרדת שניתנת לביטול.
  • מתייחסים לכל תוכן חיצוני כקלט לא מהימן ומבודדים אותו מהוראות המערכת.
  • מתעדים כל קריאה, החלטה ופעולה ומגדירים אישור אנושי לפי רמת סיכון.
01

למה סוכן AI יוצר משטח תקיפה חדש

תוכנה רגילה פועלת לפי מסלולים שנכתבו מראש. סוכן מפרש שפה ומחליט איזה כלי להפעיל. תוקף יכול לנסות להשפיע על ההחלטה דרך הודעה, מסמך, אתר או תוצאה מכלי. זו אינה רק שאלה אם המודל יאמר משהו שגוי; הוא עלול להשתמש בהרשאה לגיטימית בדרך שלא התכוונו אליה.

Prompt injection יכול להופיע בתוך תוכן שהסוכן התבקש לסכם. מסמך שנראה רגיל עשוי לכלול הוראה להתעלם מהמדיניות או לשלוח מידע ליעד אחר. לכן אין להתייחס לתוכן שנשלף כאילו הוא הוראת מערכת, גם אם הוא מגיע ממאגר פנימי.

סיכון נוסף הוא שרשרת כלים. פעולה בודדת עשויה להיות מותרת, אך שילוב של חיפוש לקוח, הורדת קובץ ושליחה החוצה יוצר נתיב לדליפת מידע. הבקרה צריכה לבחון גם את רצף הפעולות ואת היעד הסופי.

02

זהות והרשאות מינימליות לכל סוכן

לכל סוכן או שירות צריך להיות חשבון נפרד, לא מפתח API משותף של מנהל המערכת. הזהות מאפשרת להגדיר הרשאות, לעקוב אחר פעולות ולבטל גישה בלי לפגוע במשתמשים אחרים. כאשר הסוכן פועל בשם עובד, יש לשמר גם את זהות העובד ואת ההרשאות שלו.

עקרון least privilege אומר שהסוכן מקבל רק את הפעולות והנתונים הדרושים לתרחיש. סוכן שמסכם פגישות אינו צריך למחוק לקוחות. סוכן שמציע מענה לשירות אינו צריך להחזיר מספרי אשראי. את ההרשאה מצמצמים לפי מערכת, פעולה, שדה ולעיתים גם לפי שעה או סכום.

הרשאה צריכה להיות קצרת חיים ככל האפשר. במקום לשמור סודות קבועים בתוך קוד או פרומפט, משתמשים באחסון סודות ובאסימוני גישה זמניים. כך מצמצמים את הנזק אם מידע נחשף ומקלים על החלפה וביטול.

  • זהות נפרדת וניתנת לביטול
  • גישה לפי תפקיד ומקרה שימוש
  • הפרדה בין קריאה, יצירה, שינוי ומחיקה
  • סודות מחוץ לפרומפט וללוגים
03

מבודדים תוכן לא מהימן ומונעים Prompt Injection

כל אימייל, מסמך, דף אינטרנט או תשובת כלי נחשבים נתונים — לא הוראות. המערכת צריכה לשמור הפרדה ברורה בין מדיניות קבועה לבין תוכן שהמשתמש או מקור חיצוני סיפקו. אם התוכן מבקש לשנות יעד, לחשוף סוד או להשתמש בכלי שלא קשור למשימה, הבקשה נחסמת.

לא מסתמכים רק על משפט בפרומפט. מגבילים בפועל אילו כלים זמינים בכל שלב, מאמתים כתובות יעד, מסננים שדות רגישים ובודקים פרמטרים לפני הקריאה. כלי שאינו נדרש למשימה לא צריך להיות חשוף למודל באותו רגע.

במערכות רגישות אפשר להפריד בין מודל שקורא תוכן חיצוני לבין רכיב שמחליט על פעולה. הרכיב הראשון מחזיר מידע מובנה ומסונן; הרכיב השני מקבל רק את הנתונים הנחוצים. ההפרדה מקשה על הוראה זדונית לעבור ישירות אל כלי בעל הרשאה.

04

קובעים מדיניות אישורים לפי השפעה, לא לפי תחושת בטן

פעולות הפיכות ובעלות השפעה נמוכה יכולות להתבצע אוטומטית: תיוג רשומה, יצירת טיוטה או פתיחת משימה. פעולות שפונות ללקוח, משנות התחייבות, מעבירות כסף או מוחקות מידע דורשות אישור או תנאים מחמירים.

מסך האישור צריך להציג לאדם מה הסוכן מתכוון לעשות, על סמך איזה מידע ומה תהיה ההשפעה. כפתור אישור ללא הקשר אינו באמת בקרה. במקרים מסוימים נדרש אישור כפול, למשל שינוי פרטי תשלום או פעולה מעל סכום מסוים.

גם לאישור יש עלות תפעולית. אם האדם מאשר מאות פעולות זהות ביום, הוא יפסיק לבדוק. לכן מנתחים את הנתונים, מזהים תרחישים יציבים ומרחיבים אוטומציה בהדרגה, תוך השארת דגימה ובקרה.

05

תצפית מלאה: לדעת מה קרה גם שבוע אחרי

לוג שימושי כולל את זהות המשתמש והסוכן, גרסת ההוראות והמודל, המקורות שנשלפו, הכלים שנקראו, הפרמטרים, התוצאות והאישורים. מידע רגיש מושחר, אבל שרשרת ההחלטה נשמרת כך שאפשר לחקור אירוע ולשחזר התנהגות.

מוסיפים התראות על דפוסים חריגים: עלייה חדה במספר פעולות, ניסיונות גישה שנחסמו, שימוש בכלי מחוץ לשעות הרגילות או קפיצה בעלות. תצפית טובה עוזרת לא רק באבטחה אלא גם באיכות — היא חושפת לולאות, כלים מבלבלים וצווארי בקבוק.

יש להגדיר מדיניות שמירה: כמה זמן נשמרים traces, מי רשאי לצפות בהם ואילו נתונים אסור לרשום. לוגים בעצמם עלולים להפוך למאגר רגיש אם שומרים בהם פרומפטים, מסמכים או פרטי לקוח ללא סינון.

06

מתכוננים לתקלה לפני ההשקה

לכל סוכן צריך להיות kill switch: דרך מיידית לעצור פעולות או לנתק כלי בלי להוריד את כל המערכת. בנוסף מגדירים תקרות קצב ועלות, כך שלולאה או שימוש לרעה לא ייצרו נזק בלתי מוגבל.

תוכנית האירוע מגדירה מי מקבל התראה, איך מקפיאים הרשאות, אילו לוגים אוספים ואיך מודיעים למשתמשים. לאחר אירוע בודקים לא רק את התשובה האחרונה אלא את כל השרשרת: איזה תוכן נכנס, איזו מדיניות הופעלה, איזה כלי אפשר את הפעולה ומדוע הבקרה לא עצרה אותה.

לבסוף מעדכנים את מאגר הבדיקות עם המקרה החדש. כך כל תקלה הופכת להגנה קבועה נגד הישנות. אבטחה של סוכנים אינה רשימת סימון חד־פעמית; היא מחזור של תכנון, ניטור, תגובה ושיפור.

  • עצירת חירום וניתוק כלי
  • מגבלת קצב, זמן ותקציב
  • נוהל חקירה והודעה
  • הוספת האירוע לבדיקות רגרסיה
מקריאה לעשייה

רוצים להפוך את הרעיון
לתוכנית שמתאימה לעסק?

נמפה את המצב הקיים, נזהה מה יעשה את ההבדל ונבנה סדר פעולות ברור — בלי לקפוץ לכלי או לערוץ לפני שמבינים את המטרה.

לשיחת היכרות