שנת 2018 תיזכר כשנה שבה ראינו את הפוטנציאל הדיסטופי שטמון בטכנולוגיה. זו השנה בה גילינו שפייסבוק מוכרת נתונים שהיא אוספת עלינו, שמשמשים אחר כך להטיית בחירות, ונחשפנו לשורת גילויים ארוכה אודות הצד האפל של אתוס 'העולם המרושת' מתוצרת עמק הסיליקון.
הרשימה ארוכה: שימוש בטכנולוגיות מתקדמות נגד הגירה, פחד מהתמכרות לסמארטפון, אלגוריתמים של יו-טיוב שדוחפים בני נוער לקיצוניות, ניסוי ביצירה של תינוקות מהונדסים גנטית, ופעמוני דלת המזהים פנים ומתקשרים אוטומטית למשטרה. למדנו שמעצבים מחדש את אתרי הגנאולוגיה כך שרשויות החוק יוכלו למצוא את הקרובים הגנטיים של חשודים בפשיעה, שמערכות אוטומטיות עוקבות אחרי התנהגות העובדים במקום העבודה, ושמכוניות חשמליות בשנגחאי מדווחות לממשלה איפה הן נמצאות בכל רגע נתון.
"זה לא מרגיש כמו החיים בעתיד, אלא יותר כמו חיים בגרסת רטרו עתידנית, מגושמת ומטופשת של שנות התשעים", צייץ בטוויטר הסופר וויליאם גיבסון.
בשנת 2019 נראה התגברות דרמטית במאמצי האיסוף והניתוח של מידע באמצעים ממוחשבים. אינטליגנציה מלאכותית תתפתח, ובעזרת מודעות למשמעויות של הבעות פנים, תוכל ליצור וידאו באיכות כל-כך גבוהה, שתקשה להבחין האם מדובר באירועים אמיתיים או לא.
מנגד, נראה שיש התעוררות מצד השלטונות, ואפילו של אנשי חברות הטכנולוגיה, שרוצים להבטיח שהטכנולוגיה שהם מפתחים תשמש למטרות חיוביות.
"אחד הקשיים בשנה האחרונה היה שחשיפת השערוריות הובילה להבנה הכללית, שתעשיית הטכנולוגיה אינה אחראית להשלכות של מעשיה", אמרה מרדית' וויטקר, מייסדת שותפה של המכון לבחינת ההשפעות החברתיות של האינטליגנציה המלאכותית באוניברסיטת ניו יורק. אנשי המכון של וויטקר הרכיבו רשימה של אירועים מרכזיים מהשנה האחרונה שהובילו לשבר הזה, אבל לטענתם, הרבה מהדברים שכביכול קרו השנה צמחו במשך שנים.
המדאיגה ביותר מכל המקרים היתה החשיפה שחברת קיימברידג' אנליטיקה, המספקת לכל המרבה במחיר נתונים על אזרחים לצרכים פוליטיים, אספה נתונים של מיליוני משתמשי פייסבוק כדי להשפיע על הבחירות בארה"ב. "החשיפה הזו עזרה לעורר את המודעות של הציבור להשפעה האדירה של המערכות האלה על המבנים החברתיים שלנו." אמרה ויטקר. זה היה מחדל של פייסבוק, שהצטרף לשורת מחדלים, דליפות מידע, גילוי של המוני חשבונות מזויפים שפעלו לצורך תעמולה רוסית ועוד.
החשיפה של סוכנות AP, לפיה גוגל עוקבת אחרי תנועות ומיקומים של אנשים גם ללא הסכמתם, הובילה לביקורת קשה נגד החברה. זאת לצד שיתוף פיתוח של רחפני מעקב חכמים לצבא ארה"ב והצעה סודית להשיק חיפוש גוגל מצונזר בסין. בנוסף הם השיקו תכנת עוזר אישי (כדוגמת סירי של אפל) כל כך טובה, שאנשים בצדו השני של הטלפון, לא ידעו שהם מדברים עם מכונה, ולא עם בן אדם.
חששות אלה ואחרים הובילו את המחוקקים בארה"ב לזמן את סונדר פיקאי, מנכ"ל גוגל לשימוע רשמי בקונגרס, בהמשך לשימוע שנעשה למארק צוקרברג, מנכ"ל ומייסד פייסבוק מוקדם יותר השנה. "היה חשוב לכנס את השימוע הזה, לאור משבר האמון המעמיק בין הציבור האמריקאי לחברות הטכנולוגיה", אמר קווין מקארתי, ראש האגף הרפובליקני בקונגרס.
וינט סרף, ממייסדי האינטרנט וכיום ראש מחלקת האינטרנט של גוגל, אמר שהוא וחבריו, לא תיארו לעצמם שתוך 45 שנים הרשת תהפוך למערכת מעקב שעוסקת בכריית מידע על אנשים, או למערכת תעמולה המשפיעה על תוצאות בחירות. "בסך הכל רצינו שזה יעבוד", הוא נזכר, "אבל ברגע שהאינטרנט הפך לציבורי, יש מי שרוצים להשתמש בו לרעה, לרווחתם האישית, או כדי לפגום במערכת הפוליטית. אז אנחנו צריכים להתמודד עם זה".
בניגוד לפחדים פנטסטיים מפני רובוטים חכמים שישתלטו עלינו, הסכנות האמיתיות של הטכנולוגיה בתקופתנו הן הרבה יותר פרוזאיות – הן תוצר של חידושים טכנולוגיים שאנחנו בעצמנו הזמנו לחיינו, כדי שיקלו עליהם. חלק מהחשש של מומחים מיצירת מערכת ממוחשבת ששולטת בכל המכשירים שלנו, הוא שדווקא הגורם האנושי יוצר בעיות, ולכן יש עדיין הרבה באגים, והטכנולוגיה לא מושלמת. אובר וטסלה נחקרו בשל תאונות קטלניות של רכבים אוטונומיים בחודש מרץ. IBM זכתה לביקורת על שיתוף פעולה עם משטרת ניו יורק לפיתוח מערכת זיהוי פנים לפי מוצא אתני, ואמזון ספגה אש כי סיפקה לרשויות אכיפת חוק שונות את תכנת זיהוי הפנים שלה.
בחלק מהמקרים, הביקורת נגד חברות הטכנולוגיה המפתחות יישומים ומטמיעות אותם בצורות מפוקפקות מגיעה מהעובדים שלהן. כך, עובדי גוגל עזרו לבטל את פרויקט הרחפן של הפנטגון, ובאמזון, מייקרוסופט וסיילספורס ביטלו חוזים לאספקת טכנולוגיה לרשויות ההגירה.
ויטקר, המשמשת גם כחוקרת בגוגל וכמייסדת של קבוצת המחקר הפתוחה בחברה, אמרה ש"כולם מבינים שהסיפור שחברות הטכנולוגיה מספרות על עשיית טוב וקידום האנושות, לא בדיוק נאמן למציאות". אפילו ענקי טכנולוגיה החלו להשמיע אזהרות מפני ההשפעות השליליות של הטכנולוגיה שהם שותפים לפיתוחה על ילדים.
בראד סמית', מנכ"ל מייקרוסופט, קרא בחודש דצמבר האחרון ליישם רגולציה על תכנות זיהוי פנים, ואמר ש"אחרת שנת 2024 תהיה שנת 1984 של ג'ורג' אורוול". בנאום שנשא ובבלוג שכתב צייר סמית' תמונת מציאות קודרת, בה הממשלה הכל-יכולה פוקחת עינה ודוחקת את מי שאינו מסכים איתה להתכנס בחדרים אפלים ולתקשר בשפת סימנים. הוא טוען שכדי להימנע מעתיד קודר שכזה, צריך להכיל רגולציה שתוודא שמי שעומד לחשוף את עצמו למעקב, יידע זאת. רבים טוענים שזה פשוט לא מספיק.
מדינת אילינוי העבירה השנה חוק המגביל את פעולת תוכנות זיהוי הפנים, ובקליפורניה העבירו חוק שיכנס לתוקף בשנת 2020, ויאפשר לצרכנים שליטה על המידע האישי שלהם. בנוסף, יתכן שבשנה הקרובה הקונגרס יפעל ליצירת רגולציה כזו, מאחר והנציגים הרפובליקנים מתחילים להתחבר לרעיון של הגבלה ממשלתית על המידע ברשתות, והדמוקרטים, שהפכו לרוב, הופכים ספקנים יותר ויותר כלפי חברות הטכנולוגיה.
"הגישה שאמרה שצריך להניח לחברות הטכנולוגיה, שהיתה רווחת בעבר, אינה רלוונטית יותר" אומר דיוויד סיסילין, חבר קונגרס דמוקרטי ממדינת אילינוי, העומד בראש תת-הוועדה בנושא. "אנחנו רואים כעת חלק מההשלכות של השימוש לרעה שעלול להתרחש בפלטפורמות הללו אם הן יישארו ללא רגולציה, ובלי פיקוח ואכיפה משמעותיים", אמר סיסלין.
לעומתו, סרף מזהיר כי גם ליותר מדי רגולציה עלולות להיות השלכות לא רצויות. "זה קצת מצחיק, כי במקור חשבנו שהמרחב הווירטואלי יאפשר להסיר חיכוכים מהיכולת שלנו לתקשר", הוא אומר, "אם מתוך רצון להגן על פרטיותם של האנשים, ואולי מתוך קנאות לכך, אנחנו נתקע מקלות בגלגלים של כל דבר, ייתכן שנסיים עם מערכת בטוחה מאוד, שלא עובדת כמו שצריך".
