A/B Testing הוא תהליך השוואתי שבו נבדקות שתי גרסאות או יותר של אימייל על מנת לזהות איזו מהן משיגה תוצאה טובה יותר. אלא שפעמים רבות A/B Testing אינו יותר טוב מאשר ניחוש או הטלת מטבע ומה שמתחיל כרעיון לביצוע ניסוי כמעט מדעי הופך במקרה הטוב לניסוי לא מוצלח ובמקרה הגרוע הניסוי גורם ליותר נזק מתועלת.
תוכן עניינים
האזנה לפודקאסט
פודקאסט ובלוג מובילים בעברית בנושאי אימייל מרקטינג (email marketing) ועבירוּת אימיילים (deliverability).
הגעתם אל הבלוג והפודקאסט המובילים והמעודכנים ביותר בעברית בתחום אימייל מרקטינג, עבירוּת אימיילים, שיווק ודאטה. כאן תמצאו שפע מאמרים מפורטים ופודקאסטים מקצועיים למתחילים ולמתקדמים, המכסים את התחום בצורה מעמיקה.
חלק מהפרקים כוללים ראיונות עם מומחי אימייל מרקטינג בינלאומיים מובילים, המשולבים בעברית.
אימייל מרקטינג הוא ערוץ ותיק, אך דווקא בגלל שהוא “הסבא” של המדיה הדיגיטלית, הוא לא תמיד זוכה לתשומת לב והמקצועיות הראויה. היום הולך ונהיה קשה יותר להגיע לאינבוקס. כדי להצליח באימייל מרקטינג, יש להתמקצע ולא להסתמך רק על הפלטפורמה (מערכת הדיוור) שתעשה את הכל.
בבלוג ובפודקאסט תמצאו מידע מקיף ועדכני בנושאים כמו אימייל מרקטינג, עבירוּת אימיילים, סקירות מערכות דיוור, אוטומציה שיווקית, שיווק באמצעות תוכן, אימייל מרקטינג לאיקומרס, טיפים לשיווק במייל, דיוור בסטארטאפים ועוד.
יוצר הפודקאסט והבלוג, סלע יפה, הוא מומחה בינלאומי לעבירוּת אימיילים ושיווק באימייל. הוא מסייע למדוורים גלובליים, סטארטאפים, סוכנויות אימייל ומערכות דיוור (ESPs) בנושאי עבירוּת אימיילים, אימות אימייל (SPF, DKIM, DMARC, BIMI) ואסטרטגיית אימייל.
A blog and podcast (in Hebrew) about email marketing, email deliverability, marketing, and data.
אם אתם עושים אימייל מרקטינג בוודאי ניסיתים או אולי חשבתם לנסות לעשות A/B Testing בעגה המקצועית נקרא גם split testing.
פעמים רבות A/B Testing אינו יותר טוב מאשר להטיל מטבע. הוא פשוט טעות סטטיסטית ולא מדע מדויק.
בנוסף, מגבלות שונות כגון יכולות מערכת הדיוור או גודל הרשימה, גורמות למשווקים לפספס או שלא לקבל את התובנות הנכונות ממהלך A/B Testing ומה שמתחיל כרעיון לניסוי כמעט מדעי הופך לסימון וי על המשימה, הנה ניסינו, כשבמקרה הטוב הניסוי לא מצליח ובמקרה הגרוע הניסוי גורם ליותר נזק מתועלת.
אחת הבעיות הנפוצות בטסטים היא confirmation bias – משווקים לעיתים בוחרים את הגרסה שהם מראש העדיפו, גם אם התוצאה לא חד משמעית. או לחלופין, מתרגשים מהבדל קטן מאוד בלי לבדוק האם הוא מובהק סטטיסטית או שמדובר ב”רעש”.
שליחת גרסאות שונות עלולה לייצר “רעש” בנתוני ה־sender reputation – במיוחד אם המערכת לא יודעת לאחד את קצב השליחה על פני כל הגרסאות. זה יכול לפגוע בעבירוּת (deliverability), במיוחד ב־warmup או בקמפיינים לא מבוססים.
כדאי גם לצאת למהלך של A/B Testing לא על מנת “לבדוק רעיונות” אלא כדי “לבדוק ולאשר הנחות עבודה”. כלומר לפני כל טסט כדאי לשאול את השאלות ולחדד מה רוצים להוכיח…
מה זה A/B Testing באימייל מרקטינג?
אם אתם עושים אימייל מרקטינג בוודאי ניסיתים או אולי חשבתם לנסות לעשות ) A/B Testingבעגה המקצועית נקרא גם split testing).
A/B Testing הוא תהליך השוואתי שבו נבדקות לרוב שתי גרסאות של אימייל על מנת לזהות איזו מהן משיגה תוצאה טובה יותר. בכל ניסוי משנים רק רכיב אחד, למשל שורת נושא, או נוסח, ושולחים כל גרסה לחלק שונה מהקהל. לאחר ניתוח התוצאות, ניתן להסיק איזו גרסה אפקטיבית יותר וליישם אותה להמשך הפעילות. מדובר בכלי מהותי באופטימיזציה שיווקית מבוססת נתונים.
ב- A/B Testing הכוונה לערוך ניסוי מבוקר שמטרתו למדוד תגובה של קהל מטרה לשתי גרסאות או יותר של אותו האימייל. קוראים לזה A/B Testing, כלומר שתי גירסאות של אותו האימייל, אך בפועל ישנן מערכות שמאפשרות לבצע יותר משני ניסיונות ולא רק על שורת הנושא או הנוסח. לרוב A/B Testing נעשה על דגימה של קהל המטרה, למשל 10% או 20%, כשמערכת הדיוור בוחנת את הביצועים של כל גרסה, ואז שולחת את הגרסה המנצחת לשאר הנמענים. מדובר באחד הכלים השימושיים ביותר לשיפור מתמשך של ביצועים, אך בתנאי שיודעים איך להפעיל אותו נכון ומתי לא כדאי להפעיל אותו.
האם A/B Testing הוא מדע מדוייק?
פעמים רבות A/B Testing אינו יותר טוב מאשר ניחוש או הטלת מטבע. הוא פשוט יוצר טעות סטטיסטית ולא מדע מדויק.
בנוסף, מגבלות שונות כגון יכולות מערכת הדיוור או גודל הרשימה, גורמות למשווקים לפספס ולא לקבל את התובנות הנכונות ממהלך A/B Testing ומה שמתחיל כרעיון לביצוע ניסוי כמעט מדעי הופך במקרה הטוב לניסוי לא מוצלח ובמקרה הגרוע הניסוי גורם ליותר נזק מתועלת.
אחת הבעיות הנפוצות בטסטים היא confirmation bias כאשר משווקים בוחרים את הגרסה שהם מראש העדיפו, גם אם התוצאה לא חד משמעית. או לחלופין, מושפעים מהבדל קטן מאוד בלי לבדוק האם הוא מובהק סטטיסטית או שמדובר ב”רעש”.
שליחת גרסאות שונות עלולה לייצר “רעש” בנתוני ה־sender reputation – במיוחד אם המערכת לא יודעת לאחד את קצב השליחה על פני כל הגרסאות. זה יכול לפגוע בעבירוּת (deliverability), במיוחד בשלב בהם ה-reputation אינו יציב כגון בעת חימום דומיין.
כדאי גם לצאת למהלך של A/B Testing לא על מנת “לבדוק רעיונות” אלא במטרה “לאשר הנחות עבודה”. כלומר לפני כל טסט כדאי לשאול את השאלות ולחדד מה רוצים להוכיח.
יש הבדל מהותי בין טסט שנועד “לנצח” לבין טסט שנועד “ללמידה”. כאשר מבצעים A/B Testing כדי לנצח, המטרה היא למקסם את הביצועים של הקמפיין הנוכחי. לדוגמה, אם משיקים מוצר חדש, אפשר להשתמש בפורמט כמו 10/10/80 או 25/25/50 שבו רק חלק קטן מהקהל נחשף לגרסאות הניסוי, והיתר מקבל את הגרסה המנצחת. זו דרך מצוינת לשפר ביצועים מיידיים, אך הידע שנצבר עבור הקמפיינים הבאים לאו דווקא יהיה תקף לקמפיינים העתידיים.
מנגד, טסטים שמטרתם ללמוד יתמקדו בניסוי אחד על אלמנט מסוים ויחולקו 50/50 בין כל הנמענים. כך מתקבלת תוצאה יותר חזקה מבחינה סטטיסטית.
האזנה לפודקאסט
פודקאסט ובלוג מובילים בעברית בנושאי אימייל מרקטינג (email marketing) ועבירוּת אימיילים (deliverability).
הגעתם אל הבלוג והפודקאסט המובילים והמעודכנים ביותר בעברית בתחום אימייל מרקטינג, עבירוּת אימיילים, שיווק ודאטה. כאן תמצאו שפע מאמרים מפורטים ופודקאסטים מקצועיים למתחילים ולמתקדמים, המכסים את התחום בצורה מעמיקה.
חלק מהפרקים כוללים ראיונות עם מומחי אימייל מרקטינג בינלאומיים מובילים, המשולבים בעברית.
אימייל מרקטינג הוא ערוץ ותיק, אך דווקא בגלל שהוא “הסבא” של המדיה הדיגיטלית, הוא לא תמיד זוכה לתשומת לב והמקצועיות הראויה. היום הולך ונהיה קשה יותר להגיע לאינבוקס. כדי להצליח באימייל מרקטינג, יש להתמקצע ולא להסתמך רק על הפלטפורמה (מערכת הדיוור) שתעשה את הכל.
בבלוג ובפודקאסט תמצאו מידע מקיף ועדכני בנושאים כמו אימייל מרקטינג, עבירוּת אימיילים, סקירות מערכות דיוור, אוטומציה שיווקית, שיווק באמצעות תוכן, אימייל מרקטינג לאיקומרס, טיפים לשיווק במייל, דיוור בסטארטאפים ועוד.
יוצר הפודקאסט והבלוג, סלע יפה, הוא מומחה בינלאומי לעבירוּת אימיילים ושיווק באימייל. הוא מסייע למדוורים גלובליים, סטארטאפים, סוכנויות אימייל ומערכות דיוור (ESPs) בנושאי עבירוּת אימיילים, אימות אימייל (SPF, DKIM, DMARC, BIMI) ואסטרטגיית אימייל.
A blog and podcast (in Hebrew) about email marketing, email deliverability, marketing, and data.
See omnystudio.com/listener for privacy information.
A/B Testing מושפע ממגבלות במערכת הדיוור
מערכות דיוור נבדלות זו מזו ברמת השליטה שהן נותנות על תהליך ה- A/B Testing. מערכות בסיסיות מאפשרות בדיקה רק של שורת נושא, בלי שליטה על אחוזי הדגימה או משך הטסט. מערכות מתקדמות מאפשרות לבדוק גם שם שולח שונה, תוכן, CTA, תזמון שליחה, לבחור את גודל הדגימה ולהחליט על הגרסה המנצחת לפי מדדים כמו הקלקות במקום פתיחות. חלק ממערכות הדיוור יודעות לבחון את הטסטים לא רק לפי מדדי engagement אלא לפי מדדים עסקיים (שאת חלקם ניתן למדוד רק לאחר זמן רב וקשה לשייכם לטסט שבוצע), חלק מהמערכות אף תומכות באלגוריתמים אוטומטיים לבחירה בזמן אמת, כמו Multi-Armed Bandit (השם לקוּחָ מעולם מכונות המזל – Slot Machines) שהוא אלגוריתם אופטימיזציה שמאפשר לבחון מספר גרסאות של תוכן תוך כדי שליחה מתמשכת, ובמקום להמתין לסיום הבדיקה כמו ב-A/B Testing קלאסי – הוא מנתב יותר ויותר תנועה לגרסאות שהביצועים שלהן טובים יותר בזמן אמת. כך ניתן למקסם תוצאות (כמו הקלקות או רכישות) לאורך כל משך הבדיקה, תוך איזון חכם בין חקירה של אפשרויות חדשות לבין ניצול של הגרסה הטובה ביותר. השיטה יעילה במיוחד כאשר יש תעבורה גבוהה ורוצים להפיק תועלת מיידית.
Multi Variant Testing (MVT) היא רמה גבוהה יותר של בדיקה, שבה בודקים כמה משתנים בו־זמנית ויוצרים קומבינציות שונות. MVT עוזר לגלות את השילוב האפקטיבי ביותר בין האלמנטים, לא רק מהו האלמנט החזק ביותר. חשוב להבין שהנפח הנדרש לבדיקות כאלה עולה בצורה גיאומטרית. אם A/B Testing רגיל דורש למשל אלף נמענים, בדיקת MVT תדרוש כמות של פי ארבע לפחות כדי שהתוצאות יהיו מובהקות.
ההבדלים שיתקבלו בין “מקסימום מקומי” ל”מקסימום גלובלי” גם הם משמעותיים. שינוי קטן כמו צבע של כפתור או ניסוח קצר עשוי להביא לשיפור מקומי. שינוי כולל של תבנית, סגנון גרפי אחר לחלוטין או שינוי טון הכתיבה עשויים להביא הזדמנויות חדשות, אך הם גם מסוכנים יותר לבדיקה ודרושים משאבים וסבלנות. הראשון הוא שיפור בטוח אבל מתון, השני הוא הימור עם סיכוי לתוצאה משמעותית. לכל אחד מהמקרים יש מקום, אך חשוב לדעת למה נכנסים.
אין צורך לבדוק הכל. כדאי לבדוק את מה שיכול להניב את התוצאה המשמעותית ביותר. למשל את שורת הנושא, הטקסט המקדים (pre-header), כפתורי הנעה לפעולה, תמונות, זמן השליחה, וכמובן פילוח קהל המטרה לפי התנהגות או דמוגרפיה.
כדאי לבצע A/B Testing לא רק לאימיילים שיווקיים
משווקים רבים בודקים אימיילים שיווקיים, אך שוכחים לבדוק אימיילים שנשלחים כאוטומציות
כמו welcome email, abandoned cart אוdrip campaigns . דווקא האימיילים האלה מייצרים בד”כ לרוב הכנסה גבוהה יותר פר אימייל, ולכן גם שיפור קטן משפיע משמעותית.
סיבות עיקריות לכישלון A/B Testing
למרות ש- A/B Testing הפך לסטנדרט באימייל מרקטינג (ובשיווק בכלל), לא מעט מהבדיקות מסתיימות בלי תוצאה חד-משמעית. אין מנצח ברור, אין תובנה חותכת, ויש תחושת בזבוז זמן. אבל לרוב, הסיבה לכך היא לא במערכת אלא בתכנון. תוצאות של A/B Tests אינן מובהקות סטטיסטית במקרים רבים וגורמות להסקת מסקנות שגויה.
מדגם קטן מדי: אם כמות הנמענים נמוכה או שהטסט מופעל רק על סגמנט לא משמעותי, אין מספיק דאטה כדי להסיק מסקנה.
הבדל לא משמעותי בין הגרסאות השונות: שינוי קל בנוסח או בצבעוניות לא מצליח לייצר תגובה מובהקת מצד הנדגמים.
הבדיקה קצרה מידי: אם לדוגמא הטסט לקח שעתיים, ייתכן שהנתונים מוטים. עדיף להתבסס על בדיקות ארוכות (שעות או ימים).
ניתוח שגוי: פער של אחוז או שניים אינו מנצח מובהק ולעיתים תכופות אינו מבוסס סטטיסטית.
ומה לגבי טסטים על כל מה שמסביב?
הטסט חייב להיות מחובר למה שקורה לפני ואחרי האימייל. למשל טפסי ההרשמה, עמודי אישור הרשמה, עמודי ביטול הרשמה ומרכז העדפות הם נקודות קריטיות בתהליך חוויית הלקוח. כדאי לבדוק ולעשות טסטים ייעודים של הנוסחים, העיצוב, CTA, כותרות ותמונות, כדי לוודא שהתהליך השלם תומך במטרות השיווקיות של הארגון.
בסופו של דבר, A/B Testing אם מבוצע נכון ועם הכלים הנכונים יכול לסייע בתהליך של שיפור מתמיד. תמיד כדאי לראות מהלכי בדיקה אלה כתהליך לימודי שיש לתעד, ללמד ולנסות לשחזר. רצוי לעשות תיאום ציפיות עם עצמכם. אל תצפו לקפיצת מדרגה כשמשנים פסיק. אבל אם בודקים נכון, גם שיפור קטן יכול להצטבר לשינוי משמעותי.
ראיונות בפודקאסט עם מומחי אימייל מרקטינג בינלאומיים
האזנה לפודקאסט
פודקאסט ובלוג מובילים בעברית בנושאי אימייל מרקטינג (email marketing) ועבירוּת אימיילים (deliverability).
הגעתם אל הבלוג והפודקאסט המובילים והמעודכנים ביותר בעברית בתחום אימייל מרקטינג, עבירוּת אימיילים, שיווק ודאטה. כאן תמצאו שפע מאמרים מפורטים ופודקאסטים מקצועיים למתחילים ולמתקדמים, המכסים את התחום בצורה מעמיקה.
חלק מהפרקים כוללים ראיונות עם מומחי אימייל מרקטינג בינלאומיים מובילים, המשולבים בעברית.
אימייל מרקטינג הוא ערוץ ותיק, אך דווקא בגלל שהוא “הסבא” של המדיה הדיגיטלית, הוא לא תמיד זוכה לתשומת לב והמקצועיות הראויה. היום הולך ונהיה קשה יותר להגיע לאינבוקס. כדי להצליח באימייל מרקטינג, יש להתמקצע ולא להסתמך רק על הפלטפורמה (מערכת הדיוור) שתעשה את הכל.
בבלוג ובפודקאסט תמצאו מידע מקיף ועדכני בנושאים כמו אימייל מרקטינג, עבירוּת אימיילים, סקירות מערכות דיוור, אוטומציה שיווקית, שיווק באמצעות תוכן, אימייל מרקטינג לאיקומרס, טיפים לשיווק במייל, דיוור בסטארטאפים ועוד.
יוצר הפודקאסט והבלוג, סלע יפה, הוא מומחה בינלאומי לעבירוּת אימיילים ושיווק באימייל. הוא מסייע למדוורים גלובליים, סטארטאפים, סוכנויות אימייל ומערכות דיוור (ESPs) בנושאי עבירוּת אימיילים, אימות אימייל (SPF, DKIM, DMARC, BIMI) ואסטרטגיית אימייל.
A blog and podcast (in Hebrew) about email marketing, email deliverability, marketing, and data.
חלק שני של הריאיון המרתק עם Jakub Olexa, מנכ”ל מערכת הדיוור Mailkit ושרת הדיוור הטרנזקציוני Omnivery, ומהמומחים הבולטים לתופעת האינטראקציות הלא אנושיות.
מדובר בבוטים “טובים” שפותחים ומקליקים על אימיילים כדי להגן על פרטיות המשתמשים או על מנת לבצע סריקה של הקישורים שבתוך האימייל לצורכי אבטחה.
זה יוצר שיבוש בעולם האימייל מרקטינג – חלק גדול מהפתיחות וגם חלק מסוים מההקלקות שאתם רואים במערכת הדיוור שלכם הם נתונים מנופחים של פתיחות והקלקות שווא, בדיוק בגלל התופעה הזו של אינטראקציות לא אנושיות.
אני מתכוון לערוך את הפרק ולתרגם אותו לעברית ואפרסם את הפרק בליווי תרגום סימולטני לעברית בהמשך כאן ב-crm.buzz
בינתיים אני מפרסם כאן את הפרק באנגלית, בשני חלקים. השבוע יובא החלק ראשון ובשבוע הבא אביא את החלק השני.
השבוע אשתתף ב- Deliverability Summit (וועידת עבירוּת) באמסטרדם ביומיים מרוכזים של מינגלינג ולמידה עם המומחים המובילים בעולם, גם את Jakub אפגוש שם. הוועידה מתמקדת בניהול עבירוּת במערכות דיוור, ניהול שרתי דיוור, ויחסי הגומלין בין מערכות דיוור, הלקוחות של מערכות הדיוור, ספקיות האימייל והגופים הנלחמים בספאם.
אני מתכוון לערוך ראיונות בשטח ואשזור אותם בפרקים הבאים של הפודקאסט.
הכרטיסים לוועידה עצמה אזלו, אבל אפשר לצפות בשידור הסטרימינג מהוועידה אונליין ואף קיבלתי ממארגני הועידה קוד הנחה למי שמעוניין לרכוש כרטיס.
קוד הנחה: SELLA
אני סלע יפה, מומחה אימייל מרקטינג ועבירוּת אימיילים. אני מזמין אותך לפגישת יעוץ ראשונית של 1/2 שעה ללא עלות בנושא עבירוּת אימיילים ואסטרטגיית אימייל מרקטינג. book an email deliverability discovery call.
לקריאה נוספת
בלוג Only Influencers, מאת Jeanne Jennigs
Sella Yoffe
Email Deliverability & Email Marketing Expert
Helping global email senders, startups, digital agencies, and ESPs with email deliverability, email authentication (SPF, DKIM, DMARC, BIMI), and email & content strategy
Podcast creator & Blogger @ CRM.BUZZ & EmailGeeks.Show
