אתם מוקפים מוחות חייזריים. לא היצורים הירוקים הקטנים מהמדע הבדיוני, אלא מוחות חייזריים שמפעילים את זיהוי הפנים בסמארטפון שלכם, קובעים את דירוג האשראי שלכם וכותבים שירה או קוד מחשב. המוחות האלה הם מערכות בינה מלאכותית (AI), רוח הרפאים שבתוך המחשבים שסביבנו.

אבל למערכות AI יש חיסרון משמעותי: חלק גדול מהפעולות הפנימיות שלהן לא שקוף לנו, מה שהופך אותן לבלתי ניתנות להסבר ולבלתי צפויות. יותר מכך, תכנון מערכות AI כך שיתנהגו באופן שמותאם לציפיות של בני אדם, הוא אתגר של ממש.

אם אין לנו דרך להבין בינה מלאכותית, ואם היא כה בלתי צפויה, איך נוכל לסמוך עליה?

מדוע מערכות AI הן בלתי צפויות

אמון מבוסס על יכולת חיזוי. הוא תלוי ביכולת שלנו לצפות מראש כיצד מי שמולנו יגיב. אם מישהו שסמכתם עליו התנהג לפתע לא כפי שציפיתם ממנו, האמון שלכם בו ייפגע.

ברשתות נוירונים מלאכותיות הנתונים עוברים משכבת הקלט, דרך השכבות החבויות, לשכבת הפלט, ותוך כדי כך עוצמת הקשרים בין ה'נוירונים' משתנה. כך הרשת 'לומדת' דפוסים.

מערכות בינה מלאכותיות מתבססות ברובן על רשתות נוירונים של "למידה עמוקה", שבמובנים מסוימים מחקות את המוח האנושי. רשתות אלה בנויות מ"נוירונים" המחוברים זה לזה דרך משתנים, או "פרמטרים", הקובעים את עוצמת הקשר בין הנוירונים. כשרשת חדשה (נאיבית) מוזנת בנתוני אימון, היא "לומדת" באמצעותם כיצד לסווג את הנתונים על ידי כוונון הפרמטרים האלה. בהמשך, מערכת הבינה המלאכותית כבר תדע לבד לסווג נתונים שלא ראתה בעבר. המערכת לא משננת את סיווג הנתונים, אלא מנבאת מה יהיה הסיווג.

מערכות בינה מלאכותית חזקות כבר מכילות טריליוני פרמטרים. זו הסיבה שאין לנו דרך להבין מדוע מערכת ה-AI עשתה את ההחלטה שעשתה. זוהי "בעיית ההסבר של ה-AI" – הקופסה השחורה האטומה של תהליך קבלת ההחלטות בבינה המלאכותית.

לצורך העניין, נדמיין גרסה של "בעיית הקרונית". תארו לעצמכם שאתם נוסעים בכלי רכב אוטונומי, שנשלט על ידי AI, ולפתע ילד קטן פורץ אל הכביש. מערכת ה-AI של הרכב חייבת לעשות החלטה מהירה: אם לדרוס את הילד, או לסטות מהכביש ולהתרסק תוך סכנה לפציעת הנוסעים. זו החלטה שקשה יהיה גם לאדם לעשות, אך לאדם יש יתרון ביכולת להסביר את החלטתו. הרציונליזציה שאנחנו עושים כבני אדם, המעוצבת על פי נורמות אתיות, התפיסות שלנו את האחר והציפיות שלנו להתנהגות מסוימת – היא שיוצרת את אותו אמון חמקמק.

לעומת זאת, מערכת AI לא יכולה לספק הסבר רציונלי לקבלת ההחלטות שלה. לא תוכלו להרים את מכסה המנוע של הרכב האוטונומי, ולהבין מטריליוני הפרמטרים שלו מדוע הוא עשה את ההחלטה שעשה. AI נכשלת בתנאי החיוני לאמון: היכולת לנבא אותה.

התנהגות AI וציפיות אנושיות

אמון מסתמך לא רק על יכולת חיזוי, אלא גם על מניעים נורמטיביים ואתיים. בדרך כלל נצפה מאנשים לפעול לא רק לפי הציפיות שלנו, אלא גם לפי הכללים. ערכים אנושיים נובעים מניסיון אנושי משותף, והיגיון מוסרי הוא תהליך דינמי, שמעוצב על פי אמות מידה אתיות ותפיסות של הזולת.

בניגוד לבני אדם, בינה מלאכותית לא מתאימה את התנהגותה על סמך האופן שהיא נתפסת בו על ידי אחרים או עומדת בנורמות אתיות. במערכותAI , הייצוג הפנימי של העולם הוא סטטי ברובו, ונקבע לפי נתוני האימון שהוזנו להן. תהליך קבלת ההחלטות של AI מבוסס על מודל בלתי משתנה של העולם, שלא מושפע מהאינטראקציות החברתיות הדינמיות ומהניואנסים שמשפיעים ללא הרף על התנהגות אנושית. חוקרים עובדים על תכנות בינה מלאכותית כך שתכלול אתיקה, אבל מתברר שזה אתגר קשה.

תרחיש המכונית האוטונומית ממחיש את הבעיה. כיצד ניתן יהיה להבטיח שמערכת ה-AI במכונית תעשה החלטה שמותאמת לציפייה האנושית? לדוגמה, המכונית יכולה להחליט שפגיעה בילד היא דרך הפעולה האופטימלית – החלטה שרוב הנהגים האנושיים היו נמנעים ממנה באופן אינסטינקטיבי. בעיה זו נקראת בעיית ההתאמה (alignment) בבינה המלאכותית, והיא מקור נוסף לאי-ודאות ועוד מחסום לאמון.

מערכות קריטיות והאמון ב-AI

אחת הדרכים לצמצם את אי-הוודאות ולהגביר את האמון, היא להבטיח מעורבות של גורם אנושי בשלבי קבלת ההחלטות שעושות מערכות בינה מלאכותית. זו הגישה שנקט משרד ההגנה האמריקני, שמחייבת שבכל החלטה שעושה מערכת בינה מלאכותית, חייב להיות גורם אנושי בתוך מעגל ההחלטה (מערכת ה-AI תפיק המלצה אבל האדם יידרש ליזום פעולה), או על מעגל ההחלטה (מערכת AI יכולה ליזום פעולה בעצמה, אך יש גורם אנושי שיכול לעצור את הפעולה או לשנות אותה).

אף שהכללת מעורבות אנושית היא צעד ראשון מצוין, אני לא משוכנע שהוא בר קיימא לטווח הארוך. ככל שחברות וממשלות ימשיכו לאמץ בינה מלאכותית, סביר להניח שהיא תתפתח למערכות בינה מלאכותיות בשכבות, שבהן קבלת החלטות כה מהירה שהיא מגבילה את היכולת האנושית להתערב. חשוב לפתור את בעיית ההסבר ובעיית ההתאמה לפני שמגיעים לנקודה הקריטית שבה התערבות אנושית תהפוך לבלתי אפשרית. כשנגיע לנקודה כזו, כבר לא תהיה ברירה אלא לבטוח בבינה מלאכותית.

אי-חציית הסף חשובה במיוחד מאחר שבינה מלאכותית משולבת יותר ויותר במערכות קריטיות, כמו רשתות חשמל, אינטרנט ומערכות צבאיות. במערכות קריטיות, אמון הוא ערך עליון, ולהתנהגות לא רצויה עלולות להיות השלכות קטלניות. ככל ששילוב הבינה המלאכותית הופך מורכב יותר, כך נעשה דוחק לפתור את הבעיות שמגבילות את האמון.

האם אי פעם נגיע למצב שבו נוכל לתת אמון ב-AI?

בינה מלאכותית היא בינה מרוחקת – מערכת חכמה שבני אדם לא יודעים הרבה על המתרחש בתוכה. בני אדם מצליחים לצפות התנהגות של בני אדם אחרים במידה רבה בזכות העובדה שכולנו חולקים את אותה חוויה אנושית, אבל זה לא המקרה עם בינה מלאכותית, אף שבני אדם הם שיצרו אותה.

אם ניבוי וערכים נורמטיביים הם חלק בלתי נפרד מהיכולת לתת אמון, למערכת AI חסרות תכונות היסוד שיהפכו אותה ראויה לאמון. התקווה היא שמחקר נוסף בתחום ישפוך אור חדש על הנושא, ויבטיח שמערכות הבינה המלאכותית של העתיד יהיו ראויות לאמון שלנו.

***

הכותב הוא חבר סגל ויו"ר מודיעין סייבר ומדעי נתונים, אוניברסיטת הבינה הלאומית (National Intelligence University)

מאמר זה פורסם באתר Theconversation.com, ומתפרסם ב'דבר' בכפוף לרשיון Creative Commons. לקריאת המאמר המקורי (באנגלית) הקישו כאן.