150 שיחות: מאיפה מגיע הסף שמתחתיו מספר הופך לרעש

למה מוקד קטן ומוקד גדול לא יכולים לקרוא את אותו דוח

מנהל מוקד קטן פותח דוח יומי ורואה שאחוז השיחות השליליות זינק. הוא מזמן ישיבה. למחרת המספר חוזר לעצמו, בלי שנעשה דבר. עוד שבוע הוא שוב מזנק. במוקד אחד שמדדנו, המדד הזה נע בין 0% ל-33% על רעש בלבד, ואחרי חודש כזה הדוח מפסיק להשפיע על החלטות: המנהל למד, נכון, שהמספר לא מתאר את המוקד שלו.

זו אינה בעיה של הדוח ולא של המנהל. זו תכונה של שיעור שמחושב על מדגם קטן. שיעור צריך מכנה, וכשהמכנה קטן, המספר קופץ מעצמו. השאלה המעשית היא כמה בדיוק הוא קופץ, ומאיזה נפח הוא מפסיק.

מה עשינו: מדדנו את התנודה היומית, לא את הממוצע

הבדיקה פשוטה בכוונה. לקחנו מדד אחד, ״אחוז שיחות שליליות״, וחישבנו אותו בכל יום בנפרד לאורך סדרה רציפה, בשני מוקדים בעלי נפח שונה. אחר כך מדדנו את סטיית התקן של הסדרה היומית הזאת: כמה המדד זז מיום ליום סביב עצמו.

שימו לב למה שלא נמדד כאן. לא הפרש בין שני המוקדים, ולא אם אחד מהם טוב יותר. שני המוקדים משמשים כאן רק כדי לבודד את השפעת הנפח על יציבות המדד. זה מסביר גם למה הבחירה נפלה על מדד יחיד: מדד אחד, שתי סדרות, משתנה אחד שמשתנה ביניהן.

מה מצאנו: 0.5 נקודות מול 6.7 נקודות

ההשלכה התפעולית הפוכה בכל אחד מהמוקדים. במוקד הגדול, תזוזה של שתי נקודות היא סיגנל אמיתי שכדאי לבדוק. במוקד הקטן, אותה תזוזה קטנה בהרבה מהרעש היומי, והתראה עליה תהיה שגויה כמעט תמיד.

מאיפה מגיע המספר 150

הביטוי המקובל לגודל מדגם דרוש לשיעור נראה כך:

בעברית: n הוא מספר השיחות הדרוש, p הוא השיעור שמעריכים מראש, d הוא הדיוק שרוצים לקבל בנקודות אחוז, ו-z הוא הערך הקריטי המתאים לרמת הביטחון שנבחרה. הביטוי אומר דבר אחד: ככל שרוצים דיוק טוב יותר, מספר השיחות הדרוש גדל בריבוע.

עבור שיעור בסיס של 10%, דיוק של ±5 נקודות ורמת ביטחון 95%, הביטוי נוחת בסביבת הסף ש-cAI קבע: 150 שיחות לכל דלי. דלי הוא צירוף של סוג שיחה, תקופה וחתך; שיעור מוצג רק כשהדלי שלו עבר את הסף.

מתחת לסף cAI לא מציג מספר קטן יותר ולא מספר עם כוכבית. הוא כותב ״אין מספיק נתונים״, ולצידו כמה שיחות חסרות. זו הצגה, לא היעדר הצגה: הדלי נשאר גלוי בטבלה, עם ספירת השיחות שבו, כדי שהמנהל יראה שהוא קיים ויידע כמה עוד צריך.

רווח ביטחון: הטווח שבו המספר כנראה נמצא

הסף פותר את שאלת הדלי. נשארת שאלה קטנה יותר וקשה לא פחות: לנציג יש בדרך כלל 20–50 שיחות מסוג מסוים בתקופה. על מדגם כזה שיעור אינו נקודה, הוא טווח.

cAI מחשב לכל שיעור של נציג רווח ביטחון של 95% בשיטת Wilson (וילסון) [], המקובלת לשיעורים על מדגמים קטנים, ומציג אותו לצד המספר:

אמפתיה 17% [7–34] · חציון הצוות 35% [19–54]

הבחירה בשיטה הזו אינה עניין של טעם. השיטה הנאיבית, זו שנלמדת בקורס ראשון, נותנת כיסוי גרוע במיוחד בדיוק בתנאים שרלוונטיים כאן: מדגם קטן ושיעור קרוב ל-0 או ל-1. הבעיה תועדה בפירוט [], וההמלצה המעשית לרווחים מסוג Wilson או Agresti-Coull נשענת עליה []. על 30 שיחות, רוחב הרווח נע בין 26–34 נקודות. זה לא כשל של הכלי, זה מה שבאמת ידוע.

מה קורה כשהטווחים חופפים

בדוגמה למעלה שני הטווחים חופפים: [7–34] של הנציג ו-[19–54] של חציון הצוות נוגעים זה בזה. הפרש הנקודות, 17% מול 35%, נראה גדול. הטווחים אומרים שאי אפשר להסיק ממנו.

לכן cAI כותב במקרה כזה ״בתוך טווח הצוות״, ומראה את שני הטווחים כדי שהמנהל יראה למה. זו אינה תווית של ״בסדר״ ולא של ״עומד ביעד״. משמעותה: אין הבחנה מובהקת בין הנציג לצוות במדד הזה, בנפח הזה.

תווית ״חוזקה״ או ״הזדמנות״ נכתבת רק כשהטווח של הנציג נמצא כולו מעל, או כולו מתחת, לטווח של הנציג החציוני. ההשוואה היא מול הטווח של החציון ולא מול נקודת החציון, מפני שגם החציון הוא אומדן ולא עובדה.

לצד זה פועל סף שני, קטן יותר: נציג עם פחות מ-20 שיחות בסוג מסוים לא מקבל שיעור כלל, רק ספירות. הוא נשאר גלוי בכרטיס, עם המספרים שכן קיימים, ולא נעלם ולא מקבל מספר מומצא.

השער השני: האם הנציגים בכלל נבדלים במדד הזה

הסף והרווח עונים על השאלה ״האם הנציג באמת חורג״. יש שאלה שנייה שקודמת לה, וכלים רבים מדלגים עליה: האם הנציגים בכלל נבדלים זה מזה במדד שנבדק.

ההבדל מעשי לגמרי. אם המדד זהה אצל כל הצוות, החריגה של נציג בודד ממנו אינה אומרת עליו דבר, והמדד עצמו מתאר את הנוהל. cAI דורש לכן שני שערים לפני שממצא הופך לפריט בכרטיס: הנציג חורג, וגם קיימת שונות אמיתית בין הנציגים באותו מדד.

הכלל הזה חוסך את הכשל הנפוץ ביותר בבקרת איכות אוטומטית: הפיכת החלטה ארגונית לביקורת אישית על עשרות אנשים שכולם עשו בדיוק מה שנאמר להם.

עייפות התראות: העלות של מספר שאין מאחוריו מספיק שיחות

עד כאן החשבון. העלות היא ניהולית, והיא הסיבה האמיתית שהסף קיים.

קחו את המוקד הקטן שנמדד. התראה יומית על ״אחוז שיחות שליליות״ במוקד עם תנודה של 6.7 נקודות הייתה זועקת בערך פעמיים בשבוע, על תזוזות שאינן קיימות. מנהל שבודק שתי התראות שווא בשבוע מפסיק לבדוק אותן תוך חודש, ואז הוא מפספס גם את ההתראה האמיתית כשהיא מגיעה. המחיר של מספר לא יציב אינו טעות אחת, הוא אובדן האמון בכל המערכת.

אותו היגיון מוביל לשני כללים נוספים ב-cAI:

• גילוי חריגות דורש לפחות 28 ימי נתונים. מתחת לזה המודול מחזיר ריק ואומר למה, מפני שאי אפשר להפריד מגמה, עונתיות שבועית וחגים מסדרה קצרה.
• כל השוואה מרובה עוברת תיקון בונפרוני []: סף המובהקות מוחמר לפי מספר ההשוואות, כדי שממצא לא ״יתגלה״ במקרה מתוך עשרה ניסיונות.

גם מדדי מכניקת השיחה, כמו יחס דיבור או אורך מונולוג, כפופים לאותו היגיון. הם מסומנים רק כחריג סטטיסטי, מחוץ ל-1.5 טווחים בין-רבעוניים לפי הכלל של Tukey [], ורק כשיש לפחות 5 נציגים להשוואה.

מה זה אומר למנהל מוקד

המשפט שאפשר לומר להנהלה: ״המערכת לא תיתן לי מספר שאני לא יכול לפעול עליו. מתחת ל-150 שיחות היא כותבת שאין מספיק נתונים, ואת זה אני מעדיף על מספר שיישבר בחודש הבא.״

שלוש בדיקות מעשיות:

1. בקשו את המכנה לצד כל שיעור. דוח שמציג אחוז בלי לומר על כמה שיחות הוא חושב, אינו מאפשר לדעת אם ההפרש בין שני מספרים הוא הבדל אמיתי.
2. בדקו את הרזולוציה של הדלי שלכם. חיתוך של סוג שיחה כפול שבוע כפול נציג מייצר הרבה דליים קטנים. עדיף לאחד תקופות מאשר לקבל מספרים שבירים.
3. אל תשוו נציג לחציון בלי טווחים. הפרש שנראה גדול בין נציג לצוות יכול להיות אמיתי או להיות רעש, וההבדל תלוי בכמה שיחות היו לכל אחד מהם.

הסף אינו מונע מכם מידע. הוא מונע מכם את הפעולה על מידע שאינו קיים, ובמוקד שכבר עמוס, זו החיסכון האמיתי. שיעורי ייחוס חיצוניים כמו אלה שמפרסמת [] שימושיים בדיוק מאותה סיבה: הם מקבלים משמעות רק כשידוע על כמה מגעים הם חושבו.