מחר (שישי) בערב יתפרסם סקר המנדטים האחרון לפני הבחירות, אך עד כמה אפשר לסמוך על המספרים שמציגים הסוקרים? בשלוש השנים האחרונות הפכו סקרי המנדטים לגורם מרכזי במערכת הפוליטית, המשפיע על החלטות של מפלגות אם להתמודד בבחירות, לפרוש מהמרוץ או להתאחד עם מפלגות אחרות. תוצאות הסקרים הובילו למתקפות על עופר וינטר וליחס צונן כלפי מפלגת המילואימניקים, והשפיעו גם על מעמדו הפוליטי של בני גנץ. בתחילת המלחמה ניבאו לו הסקרים 36 מנדטים, אך בהמשך התמיכה בו ירדה, ובמשך חודשים הצביעו הסקרים על כך שמפלגתו אינה עוברת את אחוז החסימה. בסופו של דבר פרש גנץ מהמרוץ.

לאחר פרסום הסקר האחרון מחר, לא יתפרסמו סקרים נוספים עד ליום שלישי בלילה, אז יתקיים הסקר היחיד שתוצאותיו באמת מכריעות: הבחירות עצמן. בינתיים, סקרי המנדטים משפיעים גם על החלטות הבוחרים, שחלקם מסתמכים על התוצאות כדי להצביע באופן אסטרטגי או להימנע מפגיעה בסיכויי הגוש שבו הם תומכים. אלא שהפערים בין הסקרים מעלים שאלות על מידת אמינותם: כיצד ייתכן שסוקרים שונים מציגים תוצאות שונות כל כך? כיצד הם בוחרים את המשתתפים ומשקללים את תשובותיהם? מהן נקודות התורפה של הסקרים, האם הם עלולים להיות מוטים, ומדוע שינוי של מנדט או שניים אינו מעיד בהכרח על שינוי אמיתי בתמיכה במפלגה? ניתוח נתוני הסקרים ושיחות עם סוקרים וחוקרים מסבירים מה עומד מאחורי המספרים, ואיך אפשר להבחין בין תנודות סטטיסטיות לבין מגמות שעשויות להעיד על תוצאות הבחירות.

הפער

טענה רווחת בנוגע לסוקר ערוץ 14, שלמה פילבר, היא שהוא הצליח לנבא בצורה המדויקת ביותר את תוצאות בחירות 2022. בסקרים שלו הופיע באופן עקבי גוש נתניהו עם 62 מנדטים ויותר, ואכן קיבל לבסוף 64 מנדטים, לעומת סוקרי הערוצים האחרים, שניבאו מצב צמוד יותר בין הגושים, והסקרים שלהם העניקו לגוש נתניהו בין 59 ל-60 מנדטים.

אך בדיקה של הנתונים מראה תמונה מעט אחרת: מספר המצביעים שהצביעו למפלגות שהרכיבו את הקואליציה עמד על 2.204 מיליון איש, ומספר המצביעים שהצביעו למפלגות האחרות (ללא מפלגות שקיבלו פחות מ-2% מהקולות) עמד על 2.330 מיליון איש. אלא שכ-289 אלף מהם הצביעו למרצ ולבל"ד, שלא עברו את אחוז החסימה, מה שהוביל לכך שלמפלגות שעברו את אחוז החסימה בגוש מתנגדי נתניהו הצביעו למעשה 2.011 מיליון איש. תמונת המנדטים השתנתה, וגוש נתניהו קיבל יתרון משמעותי בדרך להרכבת הממשלה שהצליחה למלא את ימיה.

הפער בין הסוקרים השונים במערכת הבחירות הנוכחית בולט במיוחד. סקריו של פילבר בערוץ 14 מנבאים לאורך כל השנה האחרונה, ואף לפני כן, מספר גבוה במיוחד של מנדטים לליכוד. גם סקריו של שותפו לשעבר בדיירקט פולס, סוקר ערוץ i24News צוריאל שרון, מעניקים באופן עקבי יתרון לליכוד, אך לא באופן מובהק כמו פילבר. לעומתם, כל שמונת הסוקרים האחרים בגופי התקשורת מציבים את הליכוד סביב 20 מנדטים, ובחודשים האחרונים בסמיכות למפלגת ישר של איזנקוט, ולרוב אף מתחתיה.

מבדיקה של 118 הדוחות של סקרי הבחירות שהגישו הסוקרים וגופי התקשורת לוועדת הבחירות המרכזית, הפתוחים לעיון הציבור, עולה כי קיימים הבדלים בשיטות הביצוע של הסקרים, בעומקם ובהיקפם. עם זאת, לא תמיד ניתן להבין מה המשקל שניתן לכל אוכלוסייה שנסקרת ("משקול"), והאם נבדק חלקה באוכלוסייה, חלקה בקרב בעלי זכות הבחירה או חלקה בקרב המצביעים בבחירות הקודמות. פילוח רווח בסקרים של פילבר הוא של "מצביעי קואליציה 2022" ו"מצביעי אופוזיציה 2022", אך לא מדווח אם הוא משמש לשאלות התוכן בלבד או גם לשאלות המנדטים וההתאמה לראשות הממשלה. "שום דבר מזה לא נראה כמה שעומד בפרמטר סביר של ביצוע מקובל מדעית של סקרים", אומר ליאור שפר פרופ' בבית הספר למדעי המדינה באוניברסיטת תל אביב וחוקר התנהגויות פוליטיות של אליטות.

מה שכן ברור מאוד הוא שיטת הדגימה: בעוד שרוב הסוקרים משתמשים בשיטת דגימה אינטרנטית עם השלמות הכרחיות בטלפון ובהודעות SMS עבור אוכלוסיות שאינן משתתפות בסקרים באינטרנט, פילבר מבצע את כל הדגימה בסקרים באינטרנט, באמצעות פאנל אינטרנטי עצמאי שאינו פועל עם מכון סקרים נוסף.

אלא שלפי פילבר, כל הסוקרים האחרים הם אלה שמפספסים את האירוע. לפי דברים שאמר בכנס המכון הישראלי לדמוקרטיה בחודש יוני האחרון, מספר הצופים בערוץ 14 הכפיל את עצמו פעמיים מאז תחילת כהונת הממשלה: פעם אחת אחרי תחילת הרפורמה המשפטית וההדהוד, לדבריו, של המחאה בערוצים 12 ו-13, ופעם שנייה אחרי שעה באוקטובר, בעקבות הקו האנטי-ממשלתי שנקטו אותם ערוצים, לדבריו. המעבר של הצופים מהערוצים הללו הוביל גם למעבר בין פאנלים המשמשים לעריכת סקרים, וגרם לחוסר ייצוג בפאנלים האחרים.

"להבנתי אנחנו הפאנל היחיד שדוגם דמוגרפיה פוליטית", אמר פילבר, והסביר כי הכוונה היא לתת-הקבוצות בציבור הימין, שאותן הוא דוגם. לדבריו, הליכוד מורכב מחמש קבוצות: ה"נסיכים", הבורגנים הממלכתיים שקשורים לליכוד מימי תנועת החירות; הליכודניקים מבית, מי שכל חייהם הצביעו לליכוד בעקבות הוריהם ומזוהים עמוקות עם המפלגה; ה"ביביסטים", מעריצי נתניהו שילכו אחריו לאן שילך; האידאולוגים, שמגיעים בעיקר מההתנחלויות או ממעוזי ימין; וקבוצה של "דור הביניים", לדבריו, שעברו בין מפלגות ימין למרכז. את האחרונים מכנים בערוץ 14 "אנוסים", כמי שחיים בעשירונים 7 עד 10, אך אינם מעזים להביע את עמדותיהם.

ההטיה

נשאלת השאלה מה הסיבה שתוצאות הסקרים של פילבר חריגות כל כך, ותמיד לטובת הליכוד. למי שמאמץ את הדעה שלפיה פילבר תומך בנתניהו לראשות הממשלה, כפי שניתן להבין מאמירותיו בערוץ 14 ובגלי ישראל ומהביוגרפיה העשירה שלו לצד נתניהו, התשובה עשויה להיות ברורה: אפקט העגלה.

"המחקר מראה שהדינמיקות האלה נוטות להזין את עצמן", אומר פרופ' שפר. "מפלגות שהסקרים מראים שנמצאות בנסיקה נוטות לייצר 'אפקט עגלה' (Bandwagon effect) שמעודד עוד מצביעים לעבור אליהן. יש לזה כמובן תקרה אבל אלה בהחלט דברים מעגליים. כמובן שלא ניתן להסיק מה גורם למה רק מהסתכלות על הסקרים עצמם, אבל זה לפחות מעלה את האפשרות".

האותיות הקטנות והטעויות הגדולות: מתחת למכסה המנוע

אחת מנקודות התורפה של סקרי המנדטים היא טעות הדגימה: גם מדגם שמייצג במדויק את החברה בישראל עשוי להציג תמונה שונה מזו שהיינו מקבלים אילו שאלנו את כלל הציבור. בסקרים הנפוצים, שדוגמים 500 עד 600 משיבים, מרווח טעות הדגימה המרבי הוא 4 עד 4.5 נקודות אחוז לכל כיוון, ברמת ביטחון של 95%. הסקר בסך הכול נותן אומדן של התמיכה בציבור. כשמרווח טעות הדגימה הוא 4.5 נקודות אחוז לכל כיוון, ברמת ביטחון של 95%, המשמעות היא שבכ-95 מתוך 100 דגימות, הפער בין האומדן לבין התמיכה בפועל צפוי להיות עד 4.5 נקודות אחוז. בכ-5 מתוך 100 דגימות, הפער עלול להיות גדול יותר.

"צריך להבין, זה תרגיל עם הרבה מאוד אי ודאות, גם כשעושים אותו בצורה הכי טובה שאפשר, כשעושים אותו עם כל כך מעט משיבים אז יהיה מרווח טעות מאוד גדול. אין דבר כזה דגימה אקראית כיום בישראל או בשום מקום בעולם, ובגלל שזה המצב אתה צריך לעשות הרבה מאוד מניפולציות כנות, לא נכלוליות, כדי לנסות להתקרב למציאות, אבל הדברים האלה מוסיפים הרבה מאוד רעש".

למעשה, רוב הסקרים שמתפרסמים מדי שבוע בערוצי החדשות ובאתרי החדשות מורכבים מכ-500 עד 600 משיבים, מה שמייצר טעות דגימה של יותר מ-4%, אך גם סקרים של 2,000 משיבים לוקים בטווח טעות של 2.2% לפחות.

"אפשר להיכנס מתחת למכסה מנוע של כל סקר, ולראות בדיוק איזו שיטת משקול יש, והאם משתמשים בפאנל, או מה מיוצג שם, ולהסתכל על השאלות, ואיך מפצחים מתלבטים, אלה בחירות סובייקטיביות שכל הסוקרים עושים, זה תרגיל משמעותי שמערב הרבה מאוד חוסר ודאות, זו אחת הסיבות לזה שלסקרים קטנים, של 500-1,000 משיבים, יש רמה גבוהה מאוד של אי ודאות באומדנים שאתה מקבל מהם למנדטים, לא סתם מרווח הטעות של סקרים כאלה במקרה האופטימלי, הוא בין 3% ל-4.5%, אפשר לטעון גם שבפועל מרווח הטעות הוא הרבה יותר גדול כי מדובר ב-3 עד 4.5 אחוז בטווח ביטחון של 95%".

כדי להבין את הדרמה מאחורי האותיות הקטנות שמדברות על טווח טעות של 4%, למשל, שפר ועמיתו, פרופ' מיכאל גלעד, מתרגמים זאת למנדטים: אחוז החסימה, השווה לכארבעה מנדטים, הוא 3.25%, כך שטעות של 4% היא כמעט חמישה מנדטים במצטבר. אבל סביב אחוז החסימה המספרים יוצרים תנודות הרבה יותר גדולות.

"אם בסקר בודד מפלגה מסוימת מקבלת 6 מנדטים, הסוקר בעצם אומר שלפי הנתונים שלו הוא די בטוח שהתוצאה האמיתית שהמפלגה הזאת תקבל היא איפשהו בטווח שבין 3.6 ל-8.4 מנדטים", מסביר שפר. "3.6 מנדטים מיתרגמים במציאות ל-0 עגול מאחר ואחוז החסימה הוא 4 מנדטים, ולכן יש סוקרים שאומרים שגם 5 מנדטים יציבים ואפילו עלייה ל-6 מנדטים בסקרים לא מוציאים את המפלגה מכלל סכנה, אך גם עשויים לנבא עבורם 7 או 8 מנדטים".

ובקרב המפלגות הגדולות, שאינן מתקרבות לאחוז החסימה, יכול להיווצר מצב שבו מפלגה אחת מקבלת 22 מנדטים בסקר אחד ו-18 מנדטים בסקר אחר. "וזו לא תהיה טעות מבחינת הסקר", אומר שפר. "זה בטווח הטעות".

"המפלגה של וינטר יכולה לקבל בשני סקרים שנערכו באותו הזמן בדיוק, אפילו על ידי אותו סוקר, פעם אחת כלום, כי היא קיבלה 3 מנדטים, והיא לא עוברת אחוז החסימה, ופעם אחת 7 מנדטים, וזה ישקף את אותה המציאות", אומר שפר. "שני הסקרים לא טועים, זה המשמעות של מרווח טעות של 4%".

"אז השינויים הגדולים האלה שאתה רואה בסקרים, הם לרוב שיקוף של רעש סטטיסטי", הוא מסביר. "זה פשוט תרגיל עם הרבה מאוד רעש סטטיסטי, אבל הוא לא מוצג ככזה על ידי התקשורת. אנחנו חושבים שמפלגה מסוימת עלתה במנדט או שניים, אין דבר כזה! אף סקר בודד לא יכול לנבא שמפלגה עלתה או ירדה במנדט או שניים, זה הכול בתוך טווח השגיאה הסטטיסטית של הסקרים".

הסקרים הגדולים

בסקרים גדולים שנערכו והוגשו לוועדת הבחירות, טעות הדגימה הולכת ופוחתת ככל שהסקר גדל, אבל גם אז לא תמיד אפשר להוכיח את מהימנותו. הסקר הגדול ביותר שנערך עבור גוף תקשורת הוא של שלמה פילבר עבור ערוץ 14, ב-1 באוקטובר השנה. הסקר דגם 2,145 איש, עם טווח טעות של 2.1%. לכאורה מדובר בסקר שיכול היה לזכות למהימנות גבוהה, אבל הוא לא פרסם את סדר השאלות שלו.

"יש שיטה שנקראת פריימינג", אומר שפר, "הטרמה בעברית, שבה נשאלות שאלות שיכולות ליצור אצל המשיב נטייה מסוימת ולהשפיע על התוצאות". כך למשל, אם הסוקר ישאל בשאלה הראשונה "מי מהדרג הצבאי אשם בשבעה באוקטובר?" מבלי להתייחס לדרג המדיני, ואחריה עוד שאלה או שתיים שמאדירות את קבלת ההחלטות של ראש הממשלה, ורק לאחר מכן את השאלה "אם הבחירות היו נערכות היום, לאיזו מפלגה היית מצביע?", אז מובן שיש כאן הטרמה שנועדה לשרת מפלגה מסוימת.

לא ניתן להוכיח שבסקר המדובר, שנערך עבור ערוץ 14, אכן הייתה הטרמה, מכיוון שמיקומן של שאלות המנדטים ושאלת ההתאמה לראשות הממשלה לא פורסם, אך נשאלו שאלות תוכן נוספות פרט לשאלת המנדטים.

סקרים עם יותר מ-1,000 משיבים נחשבים לרוב למעט יותר אמינים, ומאז תחילת אוגוסט בוצעו 16 סקרים כאלה עבור כלי תקשורת ועוד שניים עצמאיים. שמואל רוזנר ושותפיו ביצעו עבור ערוץ 13 שמונה סקרי מנדטים כאלה; Next Data של שלמה פילבר ביצעה עבור ערוץ 14 שלושה סקרים; דיירקט פולס של צוריאל שרון ביצעה עבור i24News שני סקרים; DRI ביצעה באופן עצמאי שני סקרים; קנטאר של דודי חסיד ביצעה עבור כאן סקר אחד, ומאגר מוחות של יצחק כץ ביצעה עבור ערוץ 16 סקר אחד.

אך גם סקרים עם רמת מהימנות גבוהה יותר עדיין הציגו פערים משמעותיים. כך למשל, בסקר ערוץ 14 שנערך בשבעה באוקטובר  קיבל הליכוד 31 מנדטים לעומת 23 של ישר, ביחד קיבלה 7 מנדטים, והמילואימניקים ועמך ישראל לא עברו את אחוז החסימה. בסקר שנערך עבור ערוץ 13 באותו היום קיבל הליכוד 18 מנדטים, ישר קיבלה 18, ביחד קיבלה 12, ועמך ישראל והמילואימניקים עברו את אחוז החסימה. גם שלושה סקרים שנערכו שבוע לאחר מכן, עם יותר מאלף משיבים, הציגו פערים: הסקרים עבור ערוצים 13 ו-16 חזו 49 ו-52 מנדטים לגוש נתניהו, בהתאמה, ו-50 לגוש השינוי, לעומת הסקר של i24, שנערך באותו יום וחזה 57 מנדטים לגוש נתניהו ו-50 מנדטים לגוש השינוי.

סכין המנתחים לפעמים מפספס

אחת השאלות הנפוצות שעולות בפני סוקרים היא מה עושים עם "חלקי מנדטים". אם למשל שתי מפלגות קיבלו בסקר בדיוק 4.5 מנדטים, מי תקבל 4 מנדטים ומי 5? התשובה לכך משתנה מסוקר לסוקר, אך שמואל רוזנר, סוקר ערוץ 13 ועורך אתר המדד, מעיד כי אחת השיטות הנפוצות של סוקרים היא לברר מה היו ההצבעות הקודמות של אותו משיב באמצעות השאלה הפשוטה "למי הצבעת בבחירות הקודמות?", וכך להעניק מעט יותר משקל למפלגה שיש לה מצביעים חוזרים.

אחוז החסימה הוא אחד המשתנים האכזריים ביותר עבור סקרים, כאשר שינוי בתשובה של משיבים בודדים יכול להעביר מפלגה מ-0 ל-4 מנדטים או להפך. סוקר מכון מדגם, מנו גבע, מעיד כי בבחירות 2022 מרצ נדגמה אצלו ב-3.17% מסך כל המצביעים, והייתה קרובה מספיק ל-3.25% הנדרשים כדי לעבור את אחוז החסימה ולקבל 4 מנדטים. גבע הציג אותה בסקר כמי שקיבלה 4 מנדטים, אך הוא היה קרוב יותר לאמת בדגימה שלו: מרצ קיבלה 3.16%, נותרה מתחת לאחוז החסימה וארבעת המנדטים שלה התחלקו בין מפלגות אחרות.

גם בסבב הראשון של בחירות 2019 מדגם חדשות 13 הראה שמפלגת הימין החדש, בראשות נפתלי בנט ואיילת שקד, עומדת על 4 מנדטים. אך בימים שלאחר מכן בנט ושקד עוד ניסו למצוא כ-4,300 קולות שהיו חסרים להם כדי לעבור את אחוז החסימה, ואת הקדנציה של הכנסת הקצרה ההיא הם ראו מהבית.

הטיה פוליטית של נתונים

בסקר Next Data עבור ערוץ 14, שהתקיים ב-28 בספטמבר, נשאלו שאלות עם מה שנראה כהטיה סמנטית. למשל, "האם הנחיית היועמ"שית שצריך לדחות את הבניה באזור E1 לאחר הבחירות מוכיחה שהיא פועלת משיקולים פוליטיים?" (שאלה 13), או "מה לדעתכם המניע לפרסומים על האזהרות שקיבל נתניהו, מפני מתקפת חמאס, לפני שבעה באוקטובר?" (שאלה 4), כאשר התשובות הן "שיקולי בחירות" או "הרצון לחשוף את האמת". כלומר, ישנה הנחה מקדימה שקיים מניע נסתר לפרסום האזהרות שקיבל נתניהו, והעמדת התשובה הפוליטית לפני העיתונאית.

הפיל שניצב בחדר הסוקרים המדומיין הוא האג'נדה. ישנה תמימות דעים בקרב כלל הסוקרים שתפקידם הוא לדגום נתונים, לנתח אותם ולהציג תמונת מצב מהימנה. מיעוטם של הסוקרים גם סבור שצריכה להיכנס נימה פרשנית כלשהי כדי לנתח את הנתונים היטב.

השאלה מקבלת משנה תוקף כאשר דווקא בערוץ 14, המזוהה עם הליכוד, מפלגת השלטון מנצחת תדיר בכל סקר בפער גדול; בערוץ i24 הימין בכללותו מוביל, אך הליכוד זוכה למספר צנוע יותר של מנדטים; ובערוצים 12 ו-13, המזוהים עם הביקורת החריפה ביותר על הממשלה, הליכוד אינו מוביל על איזנקוט כבר יותר משלושה חודשים, ובערוץ 13 הוא נמצא כבר יותר מחודש מתחת ל-20 מנדטים.

במה להאמין?

הטעויות המובנות והידועות בסקרים, טווח הטעות, השאלות המוטות, המתאם היחסי בין האג'נדה של כלי התקשורת לתוצאות הסקרים בו, מעבר או אי-מעבר של מפלגה את אחוז החסימה, שיכול לשנות את כל תמונת המנדטים, והטיות נוספות, מעלים את השאלה: איך בכלל ניתן להאמין לסקרים, לאילו כן ולאילו לא?

"הדבר העיקרי שצריך לעשות זה להבדיל בין סוקרים לגיטימיים לכאלה שלא", אומר שפר, אך נמנע מלנקוב בשמו של מי שבעיניו נחשב לסוקר לא לגיטימי, למרות הביקורת שלו כלפיו והעתירה שהגיש נגדו. "רוב הסוקרים הם לגיטימיים, וכדי להיות מסוגלים להתגבר על חוסר הודאות האינהרנטי של כל סקר בודד, או של סוקרים ספציפיים, פשוט צריך להסתכל על הממוצעים, להסתכל על צבר הסקרים, על מגמות על פני זמן של כל הסקרים והסוקרים ביחד, חוץ מאלה שהם סוקרים לא לגיטימיים, ואז אתה מקבל תמונה שהודאות שלך לגביה הרבה יותר גדולה".

למה? הרי כל סקר נפוץ סוקר 500 עד 600 איש, עם טעות דגימה לא מבוטלת.
"כי אם אתה מסתכל על ממוצע של עשרה סקרים, אז אין לך 500 משיבים, יש לך 5000, בהגדרה מרווח הטעות יורד, ויש לך דעות של סובייקטיביות של שקלול, שעושים ארבעה או חמישה סוקרים שונים, ואם הם לא עובדים בדיוק באותה צורה, אז אתה יוצר לעצמך איזשהו סוג של ביטוח לגבי זה".