אל"מ במיל' ראובן גל, דוקטור לפסיכולוגיה וחוקר ותיק של יחסי צבא-חברה, מוטרד מטוהר הנשק בעידן הבינה המלאכותית. "יש פה שאלה שהיא גם טקטית ומבצעית, גם טכנולוגית, וגם ערכית-אתית", הוא אומר ל'דבר', "ובמקרה הזה, השאלה הערכית-אתית היא הסבוכה ביותר. העניין הוא קבלת ההחלטה, השיפוט".

מה שמטריד את גל בעיקר הוא השימוש ב-AI לצורך זיהוי מטרות וקבלת החלטות בשדה הקרב. הנושא היה במוקד שיח ציבורי בישראל ובעולם סביב השימוש הנרחב של צה"ל במערכות 'לבנדר' ו'בשורה' בלחימה ברצועת עזה, שזכה לביקורת חריפה בין היתר בתחקירים ב'ניו יורק טיימס' וב'גרדיאן' הבריטי. גל קורא לצה"ל לקיים תהליך גיבוש של תורת לחימה חדשה לעידן ה-AI, תורה שתתייחס גם להיבטים המוסריים, ולא להסתפק בהחלת הכלים הקיימים על המציאות הטכנולוגית החדשה.

"יש מערכות שבאמצעות בינה מלאכותית אוספות מידע בכל מיני צורות, חלקן בעייתיות", הוא אומר, "ולפי זה קובעות מטרות. איסוף האינפורמציה הזה יכול להיות לפי מראה של אנשים: אם הוא הולך עם סוג מדים מסוים, הוא חמאסניק. כמו שתאתר לי נער גבעות לפי מי שהולך עם כיפה. יש פער עצום בין הגדרה לבין המטרה. וההחלטה בסוף נופלת על מי שצריך לקרוא לזה מטרה, על סמך אינפורמציה חלקית, וגם על סמך זה שיש לחץ לספק מטרות. אנחנו יודעים שבאזור צריכים להיות אנשי חמאס, אז נסתפק גם בביטחון של 60%".

שדה הקרב תמיד משתנה

גל, בן 83, הוא עמית בכיר במוסד שמואל נאמן בטכניון. בצעירותו שירת כמ"פ בצה"ל ולחם במלחמת ששת הימים, ולאחר מכן היה הפסיכולוג הראשי של חיל הים, וכן ראש מחלקת מדעי ההתנהגות (ממד"ה) בצה"ל. הוא היה סגן ראש המועצה לביטחון לאומי, וייסד את אגודת חוקרי צבא-חברה בישראל. לאחרונה פרסם מאמר תחת הכותרת 'ללא מצפן: הצורך הדחוף של צה״ל בדוקטרינה אתית לשימוש במערכות נשק אוטונומיות ובינה מלאכותית', בקובץ מאמרים של האוניברסיטה הפתוחה בשם 'המלחמה האלגוריתמית'.

למה צריך תורה מיוחדת ל–AI? במה היא שונה מכל מערכת טכנולוגית אחרת, שצריך להשתמש בה בהתאם לעקרונות מוסריים וצבאיים מקובלים?
"שדה הקרב כל הזמן משתנה, ותמיד צריך לפתח תורת לחימה שמתייחסת לשינוי. במלחמת העולם הראשונה נכנס גז חרדל, ואז עלתה השאלה, מתי מותר להשתמש בזה? האם מול אזרחים, מול בית ספר? לא בטוח שלגרמנים היה אכפת משיקולים אתיים. לבריטים, למשל, יותר.

"ברגע שהתחילה לחימה עם מל"טים ומזל"טים, גם שם נוצר צורך בחידוש תורת הלחימה. גם בצדדים הטכנולוגיים והטקטיים, וגם בשאלות המוסריות והאתיות. מי אחראי אם תהיה תקלה? ואם יתגלה שבגלל המערכת הרגו בטעות 100 ילדים בבית ספר? המפעיל שהחזיק את ה"ג'ויסטיק", המפקד שלו, מפקד הגזרה שנתן הוראה לירות באזור, או בכלל ממציא האפליקציה ברפאל?"

גם מעורבות אדם במערכת אינה מונעת את הכשלים

מומחים לבינה מלאכותית מזהירים שעצם מעורבותו של אדם בקבלת ההחלטות לא מחסנת מפני כשלי הבינה המלאכותית, במיוחד בתנאי לחץ. הפסיכולוג החברתי ניקולס ספטולה מסביר כי "אדם עשוי להישאר אחראי על הנייר תוך הסתמכות יתר על תוצאות שנוצרו בידי מכונה בפועל. סיוע של בינה מלאכותית משנה את התנאים הקוגניטיביים שבהם מתקבלות החלטות. מערכת עשויה להיראות מוצלחת משום שהיא משפרת את התפוקה בטווח הקצר ובמקביל מחלישה את הערנות הנדרשת לשיפוט אחראי בהמשך".

גל מתאר את הנסיבות הצבאיות שעלולות לדעתו לתמרץ שימוש לא אתי בבינה מלאכותית. "בימי הלחימה בעזה הצבא חטף מכל הכיוונים. חיל האוויר ואחרים מופקדים על לאתר מטרות בעמדות חמאס שמנסים לירות על כוחותינו ולפגוע בהם. איך? מספיק שיחידה זזה 100 מטר, מחפשים מטרות חדשות באזור שלהם. יש לחץ טקטי והשעון מתקתק, מה יקדים את מה – איתור המטרה וחיסולה, או שהמטרה תפתח באש על כוחותינו? זה לחץ אמיתי, וביחד עם האפליקציות שאינן מספיק מדויקות – אדם מחיל האוויר לא בטוח ב-100% ששם יש חמאסניק. זו יכולה להיות אישה שהולכת למכולת ורק נראית כמו חמאסניק".

השימוש בבינה מלאכותית בשדה הקרב אינו בלעדי לצה"ל, וגם לא השאלות האתיות שהוא מעלה. משרד ההגנה האמריקאי וחברת אנתרופיק, למשל, התעמתו השנה באופן מתוקשר, על רקע דרישת החברה להגביל את השימוש במוצריה לטובת נשק אוטונומי לחלוטין ומעקב המוני אחרי אזרחי ארה"ב. 'הקמפיין לעצירת רובוטים קטלניים' (stop killer robots), שהושק ב-2013 בידי קואליציה של ארגונים לא ממשלתיים, קורא ליצירת דין בינלאומי חדש שיגביל את השימוש במערכות נשק אוטונומיות ויבטיח שליטה אנושית בשימוש בכוח. עם זאת, כמו ביחס לדין הבינלאומי הקיים, ביקורת אפשרית היא שמדינות המערב יחילו על עצמן סטנדרטים מגבילים – ואילו מדינות כמו רוסיה וסין לא יאמצו אותם באותה מידה, ויזכו ביתרון.

הפחתת המעורבות האנושית היא בהכרח חיסרון? יכול להיות שלמכונה יהיה יותר מידע, והיא תפעל פחות מתוך רגש, תדבוק בכללים.
"זו שאלה מצוינת. יש כאלו שטוענים בדיוק את זה: במקום להלחיץ אנשים עם התלבטויות מוסריות, ניתן למכונה לעשות את זה, ואולי היא תעשה את זה יותר מדויק. זה יכול להיות נכון בתנאים מסוימים: צריך לתת למכונה את ההוראות המדויקות. אלו יהיו מנוסחות על ידי בני אדם, מפקדים. אז גם אם נלך בכיוון הזה, צריך קודם לעשות את הבירור המוסרי, כדי לדעת איך לכתוב את ההוראות לאפליקציה".

"בצה"ל יש תורה לכל דבר. על הבינה המלאכותית אין"

איך צריכה להיכתב אתיקה כזו?
"יש שלושה שלבים. בשלב הראשון, אני חושב שצריך לקיים על זה דיונים, ולערוך סימולציות: תצוגות תכלית, וגם משחקי מלחמה ותפקידים שבהם מריצים תרחישים שונים ומעלים שאלות. לשאול מה נכון ולא נכון?  צריך לקיים דיונים עם מגוון בעלי המקצוע הרלוונטיים לנושא, להתייעץ עם אנשי הפרקליטות הצבאית בשאלות משפטיות.

"השלב השני הוא כתיבת תורה על סמך הדיונים האלו. מהם כללי הפתיחה באש, על סמך מידע מבינה מלאכותית? אילו צעדים צריך לנקוט? והשלב השלישי הוא שלב ההטמעה: צריך להעביר את התורה לכל המפעילים, למפקדים, לחיילים בכל הרמות. בצה"ל יש תורה לכל דבר. על השאלה איך ומתי לירות ברובה פשוט יש מערכי שיעור. ועל הבינה המלאכותית אין".

גל מפנה במאמרו ביקורת כלפי חיל החינוך וקצין חינוך ראשי תא"ל סמואל בומנדיל, שלטענתו נמנע מעיסוק מערכתי בנושא. לפי המאמר, "ב-2016 פרסם סמואל בומנדיל, אז סא"ל בתפקיד פיקודי־חינוכי כמפקד בסיס "חוות השומר", מאמר בביטאון 'בין הקטבים', שכותרתו 'במקום בו אין אנשים: על האתגרים הצפויים לצה"ל כתוצאה מהשימוש הגובר בכלי נשק בלתי מאוישים'. בומנדיל כלל במאמרו את סיפור הגולם מפראג, כ־'מעֵין אבטיפוס קסום וראשוני של רובוט צבאי'".

למרות זאת, כותב גל במאמר, "כפי שנמסר לנו, מפקדת קצין חינוך ראשי לא יזמה עד היום כל פעילות מערכתית מסוג ההמלצות שהוזכרו לעיל". בראיון גל מבקש להבהיר שהדבר נכון לזמן כתיבת המאמר, וכי ייתכן שבחודשים האחרונים חלה התקדמות. בדובר צה"ל בחרו לא להשיב לפניית 'דבר' בנושא.

"מי שעוסק בצה"ל בשאלות האתיות היא מערכת החינוך שמשתתפת בכתיבת התורה", הוא אומר, "סדנאות החינוך למיניהן וכל קורסי הפיקוד. אותו בומבנדיל כתב שזה גולם שאנחנו לא יודעים לטפל בו, אבל בתור קצין חינוך ראשי הודה שלא עשינו די, או לא עשינו בכלל".

למאמר המלא

יואל רוטשילד סייע בהכנת הכתבה.