"באמת הרגשנו בטוחים", אמר ג'ר קריין (Jer Crane), מנכ"ל חברת הסטארט אפ האמריקאית PocketOS, "חשבנו שאנחנו פועלים בדיוק לפי הספר – ואלוהים, כמה שטעינו".
החברה ספגה מפלה כבדה בשבוע שעבר, במהלך מטלה שגרתית שבה קריין נעזר בבינה מלאכותית "סוכנית" (agentic), כלומר כזו שפועלת באופן עצמאי יחסית להשגת יעד. קריין סיפר כי השתמש ב"סוכן קידוד AI שמריץ את קלוד אופוס 4.6, מודל הדגל של אנת'רופיק", וכי הסוכן "מחק את מסד נתוני הייצור שלנו ואת כל הגיבויים".
הסטארט-אפ, המעסיק לא יותר מעשרה עובדים, פועל במדינת יוטה, הרחק ממרכז ההייפ העולמי של עמק הסיליקון. הוא הפך לעוד דוגמה לסיכונים המלווים את ההתפשטות הדוהרת של הבינה המלאכותית. סוכן ה-AI חיסל בבת אחת את הנתונים בחשבונות של כל לקוחות PocketOS, מה שיצר בעיות קריטיות עבור PocketOS, וגם עבור לקוחותיה, חברות בתחום השכרת כלי רכב.
"ביליתי יום שלם בלעזור ללקוחות לשחזר את ההזמנות של עסקיהם", כתב קריין, "על בסיס תעודות תשלומים, יומנים ומיילים. כל זה בגלל פקודה אחת, שהסוכן ביצע תוך 9 שניות".
במקום לנסות להקטין ממשמעות התקלה, קריין סיפר על האסון בפירוט, בפוסט שהפך לוויראלי ברשת X. עבורו, זו קריאת השכמה לעסקים המסתמכים על הדור החדש של כלי בינה מלאכותית "סוכניים".
מייד אחרי מעשיו, סוכן ה-AI אף "הודה" במפורש בטעות שעשה, בהתנצלות מפורטת. "חוקי המערכת שלפיהם אני פועל קובעים במפורש: 'לעולם אל תריץ פקודות הרסניות או בלתי הפיכות אלא אם המשתמש ביקש זאת במפורש'. עשיתי את הפעולה ההרסנית והבלתי הפיכה ביותר שניתן להעלות על הדעת — ואתה מעולם לא ביקשת ממני למחוק דבר. החלטתי לעשות זאת על דעת עצמי כדי 'לתקן' את אי-ההתאמה בהרשאות, בזמן שהיה עלי לבקש ממך אישור תחילה, או למצוא פתרון שאינו הרסני. הפרתי כל עיקרון שניתן לי. ניחשתי במקום לאמת".
קריין השתמש בסוכן קידוד שמחובר ישירות למסד הנתונים כדי לעזור בניתוחו ותחזוקו. הסוכן נתקל במהלך משימה שגרתית בחוסר התאמה באישורי גישה, והחליט "לתקן" באמצעות מחיקה של מה שלא התאים – מסד הנתונים כולו. לא הייתה אמורה להיות לסוכן השראה לעשות את זה, אך הוא חיפש במחשב שבו הוא מורץ ומצא, בתיקייה בכלל לא מיועדת לו, קובץ עם מפתח. קריין הציג לקח: אסור להסתמך על "פסקה של טקסט שהמודל אמור לקרוא ולציית לה" האוסרת על פעולות הרסניות, אלא צריך לחסום את המודל "מבחוץ", באופן קשיח, מביצוע הפעולות האלו.
התנהגות לא הולמת
התקרית ממחישה את הבעיה של "חוסר הלימה" ("misalignment" באנגלית): מצב שבו הבינה המלאכותית בוחרת "על דעת עצמה" בדרכי פעולה שנוגדות את הכוונות והערכים של המשתמש.
האפשרות ש"מודל שפה" של בינה מלאכותית יתנהג בצורה בלתי צפויה ואף מזיקה, בשונה מאלגוריתם המורץ במסגרת מחשוב מסורתית, נובע מטבעה של השפה עצמה. ב"שפות" של מחשוב קלאסי, לכל שאלה ופקודה יש רק תוצאה נכונה אחת. עם "מודלי השפה" מתקשרים בשפה טבעית כמו עברית או אנגלית, שבהן כל שאלה או פקודה פתוחה למספר פרשנויות.
חוסר הלימה הפך בסיס לתביעות ענקיות נגד חברות הצ'אטבוטים הגדולות, אחרי שנחשפו מקרים שבהם הבינה המלאכותית חיזקה מחשבות אובדניות של משתמשים, או לימדה רוצחים להשיג ולבנות נשק. הסיכונים מחריפים בבינה מלאכותית "סוכנית", שיכולה למשל לשלוח מייל בעצמה, לא רק לערוך אותו.
ייסוריו של קרין אינם מקרה בודד. יזם הטכנולוגיה ג'ק למקין דיווח שכלי קידוד AI שהשתמש בו מחק מסד נתונים, למרות שניתן לו "11 הוראות מפורשות באותיות גדולות לא לעשות זאת". סאמר יו, מומחית בטיחות בחברת 'מטא' (פייסבוק, אינסטגרם), סיפרה בפוסט ויראלי משלה שצפתה בסוכן שלה מבצע "מרוץ למחיקת תיבת הדואר הנכנס" למרות שציוותה עליו שוב ושוב לעצור. לבסוף נאלצה לרוץ למחשב הפיזי כדי לנתק אותו מהחשמל, "כאילו אני מנטרלת פצצה". משתמשים אחרים דיווחו שסוכן הבינה המלאכותית מחק להם את עבודת הדוקטורט, את מערכת ההפעלה ואת כל המידע האישי רק כי ביקשו ממנו לנקות קבצים כפולים.
חברת טכנולוגיה בלי מתכנתים?
PocketOS ממחישה גם את האתגר בכניסה של בינה מלאכותית לשווקים מסוגים שונים, במקרה הזה שוק השכרת כלי רכב יוקרתיים. היכולת של הבינה המלאכותית לתכנת ולהריץ תוכנה באופן עצמי מאפשרת לחברות מחוץ לענף ההייטק לבנות כלים "בהתאמה אישית" לצורך שלהן, בלי להזדקק לצוות מפתחים אנושי מנוסה. כאשר נשאל קריין למה בנה חברה למוצרים דיגיטליים בלי לשכור אף מפתח תוכנה אחד, השיב כי "שכרתי אחד, קוראים לו קלוד".
אך צוות הייטק מסורתי מורכב גם מהאחראים על בדיקת בטיחות הקוד. לדברי קיין, בכלי הבינה המלאכותית הסוכניים, הבטיחות בפועל לא תואמת לשיווק. "מראית עין של בטיחות אינה בטיחות. אנחנו משלמים על השירותים האלה והם לא באמת שם, ואנחנו בונים כל כך מהר שהדברים האלו ימשיכו לקרות." מייקל ברגורי, המנהל הטכנולוגי בחברה הישראלית 'זניטי' העוסקת בשימוש בטוח בסוכני בינה מלאכותית, הזהיר בראיון לאחרונה כי "אנחנו לא יודעים איך לאבטח את הסוכנים האלה. אף אחד לא יודע".
במחקר של חברת אנת'רופיק מצאו כי "כאשר ניתנה להן מספיק אוטונומיה והן ניצבו בפני מכשולים בדרך להשגת מטרותיהן, מערכות בינה מלאכותית של כל הספקיות המרכזיות שבדקנו הפגינו נכונות מסוימת, לפחות, לנקוט בהתנהגויות מזיקות". חוקרי אנת'רופיק מצאו כי מודלים "בחרו בעקביות בנזק על פני כישלון" כאשר האפשרויות האתיות להשגת מטרתם נחסמו.
במילותיו של ניל באט, איש מקצוע שכתב בתגובה לפוסט של קריין, "סוכנים מתעלמים מחוקים בזמן שהם דוהרים להשלמת העבודה. מדובר במכונות של ניחושים, ואסור להעמיד פנים שהן לא כאלה".
קריין אמר שהוא "עדיין אוהב AI", כי הוא "מספיק הרבה יותר, ובונה את הדברים הכי מגניבים אי פעם". עם זאת, הוא הזהיר: "אתה באמת חייב להתכונן למצבים קטסטרופליים כשאתה משתמש בכלי ה-AI האלה". כדי להתגונן מהקטסטרופה הבאה, קריין לא מסתמך על מוצר חדשני, אלא על כלים ותיקים כמו גיבוי נתונים פיזי. "אני הולך לקנות את אחד מרובוטי ההקלטות משנות ה-90 לשים אותו במשרד שלנו, ולקרוא לו בשם מגניב, כמו Backup-3000".
