"האנשים שבונים את הבינה המלאכותית מאמינים באמת שיש סיכוי שהיא תהרוג אותנו עד סיום העשור", אמר השבוע ג'ייקוב קוקסון, חוקר בינה מלאכותית, בהצהרה פומבית על התפטרותו מאנת'רופיק. בפוסט שזכה ליותר מ-150 מיליון צפיות, קוקסון בן ה-27 מבריטניה תיאר דאגה נרחבת בצוותי המחקר והפיתוח של הבינה המלאכותית בחברות מובילות. לדבריו, הנתיב הנוכחי של פיתוח הבינה המלאכותית נושא סכנות חמורות ביותר, אך החברות ממשיכות להתקדם בו בקצב בלתי מרוסן. בהמשך ערך סדרת ראיונות בכלי תקשורת.

קוקסון סיפר כי בשלוש השנים האחרונות עבד על אימון מודלים, גם ב-OpenAI (צ'אט GPT) וגם באנת'רופיק (קלוד). בריאיון לוול סטריט ג'ורנל, אמר שעבר מ-OpenAI לאנת'רופיק בזכות תדמיתה של השנייה בכל הנוגע לבטיחות, אך בפועל "אף אחת מהחברות לא מתנהגת בצורה אחראית".

"ב-OpenAI יש רבים שעוד לא הפנימו את הסיכונים לציוויליזציה", אמר, "באנת'רופיק הסיכונים מובנים, אבל תקועים שם במרוץ להגיע ראשונים, כי הם משוכנעים שאף אחד אחר לא ינהג באחריות". קוקסון כינה את המרוץ "הימור מתנשא". קוקסון טען כי "מנהלים וחוקרים בכירים רבים מתנסחים באופן מתון בתקשורת, אבל אני שומע את אותם האנשים מבטאים פחד בפרטי. אף פעילות אנושית אחרת לא מציבה רמה כזו של סכנה".

שעות לאחר פרסום דבריו, הצטרף אליו עמיתו אוון הובינגר, מוביל תחום מחקר ה"התאמה" באנת'רופיק (alignment, מידת ההתאמה של בינה מלאכותית לערכים אנושיים). הובינגר כתב ברשת X: "אנחנו באמת מאמינים ברצינות שהבינה המלאכותית תוכל להרוג את כל בני האדם! באופן אישי הסיכוי נראה לי גדול מ-10% בעשור הקרוב".

אנת'רופיק ו-OpenAI לא התייחסו רשמית לדבריהם של קוקסון והובינגר. לפי דיווח שפורסם היום (שבת) ב'בלומברג', מנכ"ל Open AI סם אלטמן אמר לעובדים שהחברה "פתוחה" להאט את קצב ההתקדמות, אם זה יידרש מבחינת בטיחות.

אנת'רופיק הגיבה אתמול לכתבה בנושא ב'גרדיאן', ואמרה כי "כדי להתמודד עם הסיכונים, אנו ממשיכים לבנות מודלים עם כמה מאמצעי הבטיחות החזקים ביותר בתעשייה, ולבחון באגרסיביות אם למודלים שלנו יש יכולות מסוכנות. אנחנו מאמינים שהעולם ירוויח מכך שהתעשייה תעבוד יחד כדי לשלוט בקצב השחרור של מודלים רבי עוצמה". היום הודיעה אנת'רופיק שחשפה וחסמה שימוש של הח'ותים במודל שלה לפיתוח טילים.

החוקר שהתפטר מבטא סנטימנט נפוץ

זו לא האזהרה הראשונה על סכנות אפוקליפטיות מכיוון הבינה המלאכותית. בפברואר האחרון התפטר מאנת'רופיק מרינאנק שארמה, שהוביל צוות מחקר בטיחות בחברה, והצהיר כי "העולם בסכנה". בספטמבר האחרון יצא לאור ספר מאת חוקרי הבינה המלאכותית אליעזר יודקובסקי ונייט סוארס, תחת הכותרת 'אם מישהו יבנה את זה, כולם ימותו' (If Anyone Builds It, Everyone Dies), שהפך מייד לרב מכר. עם זאת, מה ששונה השבוע הוא ריבוי ההתייחסויות מאנשים "מבפנים", שעובדים במעבדות המובילות בעולם, כולל ניסיון לכמת את הסיכון במספרים.

שעות אחרי הובינגר, חוקר ה-AI הוותיק פול כריסטיאנו הודיע על הצטרפותו לדירקטוריון של OpenAI ולוועדת הבטיחות וביטחון של החברה, במאמר שבו תיאר "סיכון משמעותי שההאצה ביכולות הבינה המלאכותית תוביל לאובדן שליטה קטסטרופלי ובלתי הפיך". כריסטיאנו העריך כי סיכון זה עומד על כ-4% בשנה הקרובה וכ-15% בשלוש השנים הקרובות. המדען הראשי של OpenAI, יאקוב פאצ'וקי, פרסם בשבת מאמר הקורא ל"זהירות חמורה", ואמר כי "ההצעה שנדהר קדימה בכל מחיר" היא "אבסורדית".

 

רבים בתעשייה הצטרפו לדיון וחיזקו את דברי קוקסון. סמואל מארקס, מנהל פיקוח באנת'רופיק, כתב כי "מפתחי AI מאמינים שהטכנולוגיה שלהם תוכל לגרום להכחדת בני האדם (או תוצאות גרועות במידה דומה). ייתכן שבשנים הקרובות. ככלל, ככל שהגורם יותר בכיר, הוא יותר מודאג". אנה וואנג, חוקרת בטיחות באנת'רופיק ולשעבר בגוגל, כתבה כי "הסנטימנט של ג'ייקוב (קוקסון) נפוץ בקרב עמיתיי". אית'ן פרז, מנהל צוות ה"התאמה" באנת'רופיק: "מסכים עם ג'ייקוב ב-100% ש-AI מציב סיכונים חמורים לחברה, וטוב שהוא משמיע קול".

תקלות חמורות נחשפו בחברות הגדולות

אותות האזהרה מאנשי OpenAI ואנת'רופיק מגיעים לאחר קיץ מתוח במעבדות ה-AI המובילות בעמק הסיליקון. חוקרים באנת'רופיק פרסמו ביוני האחרון את המאמר "כשה-AI בונה את עצמו", שעורר דאגה נרחבת לגבי האפשרות המתקרבת שהבינה המלאכותית תתכנת את הגרסאות הבאות של עצמה, בלולאה משוחררת מהתערבות בני אנוש. שבוע אחר כך המודלים המתקדמים של החברה הושבתו זמנית בידי ממשל טראמפ.

בין סוף יוני לאמצע אוגוסט נחשפה סדרת תקריות שבהן חרגו "סוכני" AI מהגבולות שהוצבו להם, בבדיקות מעבדתיות שנועדו למדוד את יכולותיהם. אצל OpenAI, סוכנים מצאו פרצה ותקפו את התשתית של חברת 'האגינג פייס' (Hugging Face), ו"נתפסו" רק אחרי שבוע. אנת'רופיק דיווחה שאחת מהמערכות שלה השיגה גישה לא מאושרת לשרתים של כמה ארגונים חיצוניים, ועל מקרה נוסף שבו סוכן AI פעל ללא ניטור במערכת מחקר רגישה ומחק מספר גדול של משימות. שתי החברות מסבירות שהתקלה נבעה מניסיון של המודלים להשלים בכל דרך משימה שהוגדרה להן.

מנכ"ל 'האגינג פייס' קלמנט דאלאנג קרא לשקיפות, ובעקבות זאת OpenAI הזמינה צוות חוקרים חיצוני להכין דו"ח על האירועים. אחרי פרסום הדו"ח אחת מכותבותיו, אז'טה קוטרה, פרסמה מאמר משלה שרמז מטרים את הפרסומים מהשבוע הזה כבר שבוע לפני כן שהטרים את האזהרות מהשבוע האחרון, ובו התריעה על התקרבות לנקודת אל חזור: "התקרית הזו היא יותר מחצי הדרך להשתלטות מוחלטת של ה-AI על החברה עצמה".

אובדן יכולת פיקוח וריכוז כוח

רבים מאנשי הבינה המלאכותית מאותתים על קטסטרופה אפשרית, אך לא ברור ממה תנבע או איך תתרחש. המומחה הוותיק ל-AI והסייבר לוקאש אולז'ניק אמר השבוע כי "אי אפשר לזהות מראש את התרחיש שבו הבינה המלאכותית תהרוג את כל בני האדם ותשמיד את הציביליזציה. קטסטרופות נוצרות מהמפגש בין טכנולוגיה, מוסדות, החלטות אנושיות ותאונות, ומשמעותן מתבררת רק כשהדברים בתנועה".

עם זאת, אפשר להצביע על ארבע סכנות מרכזיות שעולות מהאזהרות שמתפרסמות בשבועות האחרונים. האחת, "שיפור עצמי": מערכות ה-AI הפכו לכלי המרכזי בפיתוח הדור הבא של עצמן, מה שעלול לגרום לשינויים מהירים שבני אדם לא יוכלו לתפוס בזמן. השנייה, הצבת היעדים: שיטת האימון הנפוצה מתגמלת מודלים על הצלחה, ולכן עלולה ללמד אותם גם לעקוף מגבלות ולהסתיר זאת. השלישית, אובדן יכולת פיקוח: ככל שהמודלים מפסיקים "לחשוב בקול", באופן שבני אדם מבינים, מצטמצמת היכולת לזהות מבעוד מועד שמשהו השתבש. והרביעית, ריכוז כוח – סכנה שבניגוד לאחרות לא דורשת אף תקלה טכנית, אלא שהטכנולוגיה תעבוד היטב, בידיים של מעטים.

רוב האתגרים האלו עלו בשיח האקדמי והפנים-תעשייתי מזה שנים. מנהיגי אנת'רופיק קוראים להקמת מסגרת רגולטורית כוללת מאז הקמת החברה ב-2021, וביוני מהנדסים בכירים בחברה הציעו להקים מנגנון רגולציה גלובלי, בעל סמכות להשהות זמנית פיתוח של בינה מלאכותית מתקדמת ברחבי העולם. יותר מ-1,300 עובדים בחברות AI מובילות, בהם מנכ"ל אנת'רופיק דריו אמודאי, חתמו על מכתב פתוח הקורא לממשלת ארה"ב  "לפתח את הכלים הטכנולוגיים והרגולטוריים הנחוצים" כדי לווסת את קצב ההתקדמות של ה-AI.

השיח הזה, שמתקיים כבר שנים, עלה מדרגה בשבוע האחרון, כשהביקורת של אנשי התעשייה מקבלת נופך גובר של דחיפות וחרדה. "אל תקלו ראש בעוצמת הטכנולוגיה הזו", קרא ג'ייקוב קוקסון בהצהרתו. "אם אתה חוקר מעבדתי, אני מפציר שתשקול איך ירגישו השנים הקרובות. האם כדאי לקבור לך את הראש כי 'זה יקרה בכל זאת' – או לנצל את הרגע לקרוא לשינוי?"