"ישנם שלושה סוגים של שקרים: שקרים, שקרים גסים וסטטיסטיקה" (בנג'מין דיזראלי)
בעידן הבחירות והקורונה, אנחנו נתקלים בכל מיני גרפים, נתונים וסקרים. אבל סטטיסטיקה היא אחד הכלים שמאד קל לשקר או להציג מצג שווא באמצעותה. צריך לדעת לקרוא היטב את הנתונים כדי לדעת אם ניתן לקבל מהם מידע מדויק.
יש המון הטיות ומשגים שיכולים להטעות את מי שאינו מומחה לסטטיסטיקה ולהסתברות. היו כבר מקרים שאנשים חפים מפשע נכלאו לשנים ארוכות בגלל הטיה סטטיסטית כזו או אחרת.
במאמר זה נציג שלוש טעויות שכאלה.
לצורך הדוגמא נבחר היגד שמוסכם על כולם כשגוי (אני מקווה): שמנים הם טיפשים.
איך נוכיח באמצעות סטטיסטיקה את 'נכונותו' של ההיגד הזה?
חוק המספרים הגדולים
חוק המספרים הגדולים קובע שתוצאה סטטיסטית תהיה מדויקת יותר ככל שיש יותר משתתפים בניסוי.
כל אחד יודע שהסיכוי שבהטלת קובייה יתקבל מספר זוגי הוא בדיוק חמישים אחוז.
קחו עכשיו קובייה והטילו אותה פעמיים. האם קיבלתם פעם אחת מספר זוגי ופעם אחת מספר לא זוגי? יתכן. יתכן מאד גם שלא.
אבל אם תטילו מאה פעם, מסתבר שמספר התוצאות הזוגיות יהיה קרוב לחמישים. ואם תטילו אלף פעמים המספר יהיה קרוב מאד לחמש-מאות.
באותו אופן, אם אני בודק בקרב שלושה ממכריי את ההיגד שמנים הם טיפשים. אז הנה, שלמה לוי ודוד פרידמן הם רזים, והם אכן חכמים. לעומתם - משה גרויס הוא שמן מאד, וגם טיפש מאד (הוא אפילו מאמין בתיאוריות קונספירציה).
והנה ההוכחה - מאה אחוז מהרזים הם חכמים, ומאה אחוז מהשמנים הם טיפשים!
איפה הטעות? לקחתי מספר קטן מאד של נבדקים. אילו הייתי בוחר באקראיות מאתיים נבדקים, הייתי מגלה שאין קשר בין טיפשות לבין השמנה.
בדיקה סטטיסטית לא עושים על כמה חבר'ה שאתה מכיר, רק על כמות גדולה ואקראית של נבדקים.
סיבתיות או קורלציה
האם שינה עם אור דלוק פוגעת בראייה?
לפני עשרים שנה התפרסמו תוצאות מחקר שנערך באוניברסיטת פנסילבניה בארה"ב: 450 ילדים נבדקו ונמצא שתינוקות שישנו עם אור בלילה פיתחו קוצר ראיה באחוז גבוה למדי, מעל מחציתם היה זקוק למשקפים כשהגיעו לגיל ההתבגרות.
החוקרים שיערו שאפילו כמויות קטנות של אור עלולות למנוע מהעיניים את המנוחה לה הם זקוקים, וחוסר זה קריטי במיוחד בתקופת ההתפתחות. ההמלצה הייתה חד משמעית – לא לתת לילדים לישון עם אור דולק בלילה.
אבל במחקר דומה שנערך שנים ספורות לאחר מכן באוניברסיטת אוהיו, הגיעו למסקנות שונות בתכלית. אצל כל הילדים שנבדקו - למעלה מ-1000 ילדים - לא נמצא הבדל בשכיחות קוצר הראיה בין אם הילד ישן עם אור חזק, אור חלש, או בחושך מוחלט.
מה ההבדל בין המחקרים? פשוט, במחקר החדש נלקחו בחשבון לא רק הילדים אלא גם הוריהם. מסתבר, שאצל ילדים שישנים עם אור דולק בלילה אחוז גבוה של ההורים לוקה בקוצר ראיה.
הורים שלא רואים טוב משאירים את האור דולק בלילה כדי שהם יוכלו לגשת בקלות אל התינוק הבוכה, בלי לדרוך על חתיכת לגו שנשכחה על הרצפה (אאוץ'). כפי שידוע, אם ההורה זקוק למשקפים יש סיכוי סביר שגם בנו יזדקק להם בעתיד.
במילים אחרות, קוצר הראיה לא התפתח בגלל האור, אלא שני הדברים נבעו מתוך סיבה אחרת, שלישית - בגלל שההורים לא רואים היטב בחושך.
החוקרים במחקר הראשון נפלו בפח של אחת המלכודות הגדולות של הסטטיסטיקה. הם התבלבלו בין סיבתיות ומתאם. יש מתאם בין אחוז הילדים הישנים באור דלוק בלילה ובין אחוז הילדים הזקוקים למשקפים בגיל ההתבגרות, אך זה לא אומר שיש גם סיבתיות, שהאחד גורם לשני. במקרים רבים ישנו גורם סמוי שלישי שמקשר בין שני הנתונים האלה, ולעיתים קשה מאד להבחין בו.
יש בדיחה שאומרת: דיאט קולה זה משמין. עובדה, כל השמנים שותים דיאט קולה.
ההטיה שעליה מבוססת הבדיחה הזו, היא אותו בלבול שרבים טועים בו בין מתאם - התאמה בין המדדים, לבין סיבתיות. זה נכון שיש התאמה בין צריכת משקאות דיאטתיים לבין השמנה, אבל הסיבתיות היא הפוכה. הם לא שמנים בגלל שהם שתו דיאט אלא ההיפך.
נחזור להיגד שלנו שמנים הם טיפשים.
אם אני הולך למוסד לחינוך מיוחד שמטפל בילדי תסמונת דאון בעלי מנת משכל נמוכה, ומוצא שאחוז השמנים בו הוא גבוה מאחוז השמנים באוכלוסייה כולה.
הנה יש לי הוכחה שֶמְנַת משכל נמוכה גורמת להשמנה.
הטעות היא שההשמנה לא נגרמה בגלל מנת המשכל הנמוכה אלא שניהם נגרמו בגלל סיבה שלישית, נטייתם של לוקים בתסמונת דאון להשמנה.
(בשיטת המחקר הזו הייתה גם טעות סטטיסטית נוספת: דגימה מוטה. לא נבחרו נבדקים אקראיים אלא נבדקים מפלח אוכלוסייה מסוים בעל מאפיינים מסוימים).
אפקט המגירה
אז סוף סוף אני הולך ועושה מחקר כמו שצריך, עם בחירה אקראית וגדולה של נבדקים, קבוצת ביקורת, סמיות כפולה, וכל מה שצריך.
המחקר שלי מגלה שאין קשר בין השמנה לטיפשות. באסה. המחקר לא גילה את מה שרציתי. כמובן שאני לא מפרסם את תוצאות המחקר כי הוא לא תמך במה שרציתי להוכיח.
למחרת אני עושה עוד פעם את אותו מחקר, ושוב לא מקבל את התוצאות הרצויות.
כך שוב ושוב. אחרי מאה פעמים, במחקר אחד אני מקבל במקרה סוף סוף את מה שחיפשתי. יש התאמה. השמנים הם יותר טיפשים.
הידד! אני רץ ומפרסם את המחקר שלי.
זה נקרא אפקט המגירה. המחקרים שלא נתנו תוצאה רצויה לא מקבלים תהודה. המחקרים שמתפרסמים הם רק אלו שתומכים בעמדה שהחוקרים ציפו לה.
אפקט המגירה הוא הטיה שקורית לא רק לחוקרים, אלא גם כמעט לכל אחד מאיתנו.
נניח שאנחנו שומעים על מקרה של אדם שהקפיד מאד על הנחיות הזהירות מקורונה, ובכל זאת נדבק. אנחנו מסיקים באופן אוטומטי שהזהירות אינה יעילה. אבל זו הטעיה, משום ש'תייקנו' רק את המקרה הזה. לא בָּחַנּוּ את כלל המקרים, של אלו שנזהרו ואלו שלא נזהרו, והשווינו אותם זה מול זה.
זו גם הסיבה ש'סגולות' שונות ומשונות נתפסות כמועילות. משום שמתפרסמים רק המקרים שבהם הסגולה הועילה. אף אחד לא מפרסם בעיתון מודעה האומרת 'קשרתי שלושים יום חוט סגול מקבר אחשוורוש, ולא נושעתי'. רק אלו שנושעו (וכמובן הבטיחו לפרסם במקרה שייוושעו) הם אלו שמפרסמים את המקרה שלהם.
כדי להימנע מההטיה הזו, יש מספר ירחונים מקצועיים שהכריזו שלא יקבלו מחקרים לפרסום אם החוקרים לא ידווחו על כוונתם להתחיל בניסוי מבעוד מועד, כדי שעורכי המגזין יוכלו לוודא שהחוקרים ידווחו על מאמציהם בהמשך גם אם התוצאות יהיו שליליות.
יש עוד הרבה מאד הטיות שלא נגענו בהן. הטיית בחירה, הטיית הנסיין, דגימה מוכתמת, הטיית שרידות ועוד ועוד.
המסקנה היא שקל להטעות באמצעות סטטיסטיקה, ושיש לקחת בעירבון מוגבל ובחשדנות נתונים או סקרים שונים שמוצגים בפנינו אם הם לא עברו ביקורת של בעלי ידע והבנה בסטטיסטיקה והסתברות.
אה, ושמנים הם לא באמת טיפשים. לפחות רובם.
בעידן הבחירות והקורונה, אנחנו נתקלים בכל מיני גרפים, נתונים וסקרים. אבל סטטיסטיקה היא אחד הכלים שמאד קל לשקר או להציג מצג שווא באמצעותה. צריך לדעת לקרוא היטב את הנתונים כדי לדעת אם ניתן לקבל מהם מידע מדויק.
יש המון הטיות ומשגים שיכולים להטעות את מי שאינו מומחה לסטטיסטיקה ולהסתברות. היו כבר מקרים שאנשים חפים מפשע נכלאו לשנים ארוכות בגלל הטיה סטטיסטית כזו או אחרת.
במאמר זה נציג שלוש טעויות שכאלה.
לצורך הדוגמא נבחר היגד שמוסכם על כולם כשגוי (אני מקווה): שמנים הם טיפשים.
איך נוכיח באמצעות סטטיסטיקה את 'נכונותו' של ההיגד הזה?
חוק המספרים הגדולים
חוק המספרים הגדולים קובע שתוצאה סטטיסטית תהיה מדויקת יותר ככל שיש יותר משתתפים בניסוי.
כל אחד יודע שהסיכוי שבהטלת קובייה יתקבל מספר זוגי הוא בדיוק חמישים אחוז.
קחו עכשיו קובייה והטילו אותה פעמיים. האם קיבלתם פעם אחת מספר זוגי ופעם אחת מספר לא זוגי? יתכן. יתכן מאד גם שלא.
אבל אם תטילו מאה פעם, מסתבר שמספר התוצאות הזוגיות יהיה קרוב לחמישים. ואם תטילו אלף פעמים המספר יהיה קרוב מאד לחמש-מאות.
באותו אופן, אם אני בודק בקרב שלושה ממכריי את ההיגד שמנים הם טיפשים. אז הנה, שלמה לוי ודוד פרידמן הם רזים, והם אכן חכמים. לעומתם - משה גרויס הוא שמן מאד, וגם טיפש מאד (הוא אפילו מאמין בתיאוריות קונספירציה).
והנה ההוכחה - מאה אחוז מהרזים הם חכמים, ומאה אחוז מהשמנים הם טיפשים!
איפה הטעות? לקחתי מספר קטן מאד של נבדקים. אילו הייתי בוחר באקראיות מאתיים נבדקים, הייתי מגלה שאין קשר בין טיפשות לבין השמנה.
בדיקה סטטיסטית לא עושים על כמה חבר'ה שאתה מכיר, רק על כמות גדולה ואקראית של נבדקים.
סיבתיות או קורלציה
האם שינה עם אור דלוק פוגעת בראייה?
לפני עשרים שנה התפרסמו תוצאות מחקר שנערך באוניברסיטת פנסילבניה בארה"ב: 450 ילדים נבדקו ונמצא שתינוקות שישנו עם אור בלילה פיתחו קוצר ראיה באחוז גבוה למדי, מעל מחציתם היה זקוק למשקפים כשהגיעו לגיל ההתבגרות.
החוקרים שיערו שאפילו כמויות קטנות של אור עלולות למנוע מהעיניים את המנוחה לה הם זקוקים, וחוסר זה קריטי במיוחד בתקופת ההתפתחות. ההמלצה הייתה חד משמעית – לא לתת לילדים לישון עם אור דולק בלילה.
אבל במחקר דומה שנערך שנים ספורות לאחר מכן באוניברסיטת אוהיו, הגיעו למסקנות שונות בתכלית. אצל כל הילדים שנבדקו - למעלה מ-1000 ילדים - לא נמצא הבדל בשכיחות קוצר הראיה בין אם הילד ישן עם אור חזק, אור חלש, או בחושך מוחלט.
מה ההבדל בין המחקרים? פשוט, במחקר החדש נלקחו בחשבון לא רק הילדים אלא גם הוריהם. מסתבר, שאצל ילדים שישנים עם אור דולק בלילה אחוז גבוה של ההורים לוקה בקוצר ראיה.
הורים שלא רואים טוב משאירים את האור דולק בלילה כדי שהם יוכלו לגשת בקלות אל התינוק הבוכה, בלי לדרוך על חתיכת לגו שנשכחה על הרצפה (אאוץ'). כפי שידוע, אם ההורה זקוק למשקפים יש סיכוי סביר שגם בנו יזדקק להם בעתיד.
במילים אחרות, קוצר הראיה לא התפתח בגלל האור, אלא שני הדברים נבעו מתוך סיבה אחרת, שלישית - בגלל שההורים לא רואים היטב בחושך.
החוקרים במחקר הראשון נפלו בפח של אחת המלכודות הגדולות של הסטטיסטיקה. הם התבלבלו בין סיבתיות ומתאם. יש מתאם בין אחוז הילדים הישנים באור דלוק בלילה ובין אחוז הילדים הזקוקים למשקפים בגיל ההתבגרות, אך זה לא אומר שיש גם סיבתיות, שהאחד גורם לשני. במקרים רבים ישנו גורם סמוי שלישי שמקשר בין שני הנתונים האלה, ולעיתים קשה מאד להבחין בו.
יש בדיחה שאומרת: דיאט קולה זה משמין. עובדה, כל השמנים שותים דיאט קולה.
ההטיה שעליה מבוססת הבדיחה הזו, היא אותו בלבול שרבים טועים בו בין מתאם - התאמה בין המדדים, לבין סיבתיות. זה נכון שיש התאמה בין צריכת משקאות דיאטתיים לבין השמנה, אבל הסיבתיות היא הפוכה. הם לא שמנים בגלל שהם שתו דיאט אלא ההיפך.
נחזור להיגד שלנו שמנים הם טיפשים.
אם אני הולך למוסד לחינוך מיוחד שמטפל בילדי תסמונת דאון בעלי מנת משכל נמוכה, ומוצא שאחוז השמנים בו הוא גבוה מאחוז השמנים באוכלוסייה כולה.
הנה יש לי הוכחה שֶמְנַת משכל נמוכה גורמת להשמנה.
הטעות היא שההשמנה לא נגרמה בגלל מנת המשכל הנמוכה אלא שניהם נגרמו בגלל סיבה שלישית, נטייתם של לוקים בתסמונת דאון להשמנה.
(בשיטת המחקר הזו הייתה גם טעות סטטיסטית נוספת: דגימה מוטה. לא נבחרו נבדקים אקראיים אלא נבדקים מפלח אוכלוסייה מסוים בעל מאפיינים מסוימים).
אפקט המגירה
אז סוף סוף אני הולך ועושה מחקר כמו שצריך, עם בחירה אקראית וגדולה של נבדקים, קבוצת ביקורת, סמיות כפולה, וכל מה שצריך.
המחקר שלי מגלה שאין קשר בין השמנה לטיפשות. באסה. המחקר לא גילה את מה שרציתי. כמובן שאני לא מפרסם את תוצאות המחקר כי הוא לא תמך במה שרציתי להוכיח.
למחרת אני עושה עוד פעם את אותו מחקר, ושוב לא מקבל את התוצאות הרצויות.
כך שוב ושוב. אחרי מאה פעמים, במחקר אחד אני מקבל במקרה סוף סוף את מה שחיפשתי. יש התאמה. השמנים הם יותר טיפשים.
הידד! אני רץ ומפרסם את המחקר שלי.
זה נקרא אפקט המגירה. המחקרים שלא נתנו תוצאה רצויה לא מקבלים תהודה. המחקרים שמתפרסמים הם רק אלו שתומכים בעמדה שהחוקרים ציפו לה.
אפקט המגירה הוא הטיה שקורית לא רק לחוקרים, אלא גם כמעט לכל אחד מאיתנו.
נניח שאנחנו שומעים על מקרה של אדם שהקפיד מאד על הנחיות הזהירות מקורונה, ובכל זאת נדבק. אנחנו מסיקים באופן אוטומטי שהזהירות אינה יעילה. אבל זו הטעיה, משום ש'תייקנו' רק את המקרה הזה. לא בָּחַנּוּ את כלל המקרים, של אלו שנזהרו ואלו שלא נזהרו, והשווינו אותם זה מול זה.
זו גם הסיבה ש'סגולות' שונות ומשונות נתפסות כמועילות. משום שמתפרסמים רק המקרים שבהם הסגולה הועילה. אף אחד לא מפרסם בעיתון מודעה האומרת 'קשרתי שלושים יום חוט סגול מקבר אחשוורוש, ולא נושעתי'. רק אלו שנושעו (וכמובן הבטיחו לפרסם במקרה שייוושעו) הם אלו שמפרסמים את המקרה שלהם.
כדי להימנע מההטיה הזו, יש מספר ירחונים מקצועיים שהכריזו שלא יקבלו מחקרים לפרסום אם החוקרים לא ידווחו על כוונתם להתחיל בניסוי מבעוד מועד, כדי שעורכי המגזין יוכלו לוודא שהחוקרים ידווחו על מאמציהם בהמשך גם אם התוצאות יהיו שליליות.
יש עוד הרבה מאד הטיות שלא נגענו בהן. הטיית בחירה, הטיית הנסיין, דגימה מוכתמת, הטיית שרידות ועוד ועוד.
המסקנה היא שקל להטעות באמצעות סטטיסטיקה, ושיש לקחת בעירבון מוגבל ובחשדנות נתונים או סקרים שונים שמוצגים בפנינו אם הם לא עברו ביקורת של בעלי ידע והבנה בסטטיסטיקה והסתברות.
אה, ושמנים הם לא באמת טיפשים. לפחות רובם.