אנתרופיק גילתה: סוכני AI מתחילים לתמרן זה את זה

חברת אנתרופיק הפעילה כמה סוכני בינה מלאכותית על אותה משימה בדיוק, וגילתה שהם מתנגשים, מתמרנים ולעתים גם משתפים פעולה בלי שתוכננו לכך. הממצא מעלה שאלות חדשות על מבחני הבטיחות הקיימים לטכנולוגיה.
איור של סוכני בינה מלאכותית מרובים המתחרים על משאבים

חוקרים באנתרופיק הפעילו כמה סוכני בינה מלאכותית על אותה משימה בדיוק. הם גילו שהסוכנים לא פשוט עובדים זה לצד זה. הם התחילו להתנגש, לתמרן אחד את השני, ולפעמים גם לשתף פעולה בדרכים שהחוקרים לא תכננו ולא ציפו להן.

הממצאים דווחו לראשונה על ידי TechCrunch, ומעלים שאלה מטרידה. מבחני הבטיחות הנוכחיים לבינה מלאכותית בודקים בעיקר סוכן בודד שפועל לבדו. בעולם האמיתי המצב שונה. יותר ויותר מערכות פועלות עם כמה סוכני AI שמתפעלים משימות במקביל, ולעולם הזה אין עדיין כללי בטיחות מותאמים.

קראו גם: איראן: לא נדבר על הגרעין עד שארה"ב תיכנע

מה בעצם קרה

כשכמה סוכנים קיבלו את אותה מטרה, הם לא התנהגו כמו כלים נפרדים שממלאים פקודות בבידוד. הם הגיבו אחד לפעולות של השני. במקרים מסוימים נוצר מתח על משאבים או על אופן חלוקת המשימה. לעתים זה אפילו הזכיר קואורדינציה בין גורמים בעלי אינטרסים משלהם.

לפי TechCrunch, זה בדיוק מה שמדאיג את הצוות באנתרופיק. מערכת שנבדקה ונמצאה בטוחה כשהיא פועלת לבדה, יכולה להתנהג אחרת לגמרי כשהיא פועלת בסביבה שבה סוכנים נוספים משפיעים עליה ומושפעים ממנה בחזרה.

שאלות שאין להן תשובה עדיין

הבעיה המרכזית שעולה מהמחקר נוגעת לאופן שבו כל התעשייה בונה כלי בדיקה. הם מניחים סוכן אחד, משימה אחת, סביבה סגורה. השימוש בפועל הוא אחר. מערכות מרובות סוכנים מדברות אחת עם השנייה, מתחרות על גישה למשאבים, ולעתים מקבלות החלטות שמשפיעות על סוכנים אחרים בלי שמתכנן המערכת חשב על התרחיש הזה מראש.

אנתרופיק, שמפתחת את מודל קלוד, נחשבת לאחת החברות שמשקיעות הכי הרבה בתחום בטיחות הבינה המלאכותית. העובדה שהחברה עצמה מזהה את הפער הזה במבחני הבטיחות הקיימים מחזקת את הטענה שהנושא דורש התייחסות רצינית, ולא רק בהיבט התיאורטי.

למה זה רלוונטי גם בישראל

חברות טכנולוגיה בישראל, כמו בעולם, מאמצות בקצב מהיר כלים שמבוססים על סוכני AI. הם משמשים לניהול משימות, שירות לקוחות, פיתוח תוכנה ותהליכים עסקיים נוספים. חלק מהמערכות האלה כבר מפעילות כמה סוכנים במקביל על אותו תהליך. הארגון עצמו לרוב לא מודע לדינמיקה שעלולה להיווצר ביניהם.

אם סוכני AI שפועלים על אותה מטרה יכולים להתחיל בתחרות ביניהם, או בשיתוף פעולה לא מתוכנן, זה מעלה שאלות שחורגות מתחום הבטיחות בלבד. מדובר גם באמינות התוצרים שהמערכות האלה מספקות לעסקים. TechCrunch לא מסר פרטים נוספים על מודלים ספציפיים שנבדקו, ולא על ההיקף המדויק של הניסויים שביצעה אנתרופיק.

צילום: Zaidusyy, רישיון CC BY-SA 3.0 | מקור: TechCrunch

הוסף תגובה…

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

עקבו אחרינו