משתמשי אימייל רוצים תיבת אימייל נקייה ואמנם סינון דוא"ל מודרני הגיע כמעט לדרגת שלמות כש-Gmail מגיעה לדיוק של 99.9%. על האבולוציה של סינון ספאם: אז, היום ומבט לעתיד:
תוכן עניינים
האזנה לפודקאסט
לספקית האימייל Gmail יש מעל למיליארד משתמשי אימייל פעילים ברחבי העולם והיא מטפלת ביותר מ-100 מיליון אימיילים ספאמיים חדשים בכל יום ואחוז הדיוק של סינון הספאם שלה עומד על 99.9%…
אנשים שואלים אותי האם משהו השתנה לאחרונה בסינון הספאם של Gmail והתשובה שלי היא תמיד: כן. כל יום כל הזמן.
המשתמשים (הנמענים) רוצים כיום תיבת אימייל נקייה מספאם ונוזקות למיניהן (פישינג, וירוסים, תולעים ושאר מרעין בישין) ומצפים שספקית האימייל שלהם תעשה את כל זה עבורם.
אך לא תמיד זה היה כך והאבולוציה של סינון הספאם התחילה בכלל בתוהו ובוהו:
בראשית היה תוהו ובוהו
התיעוד הקדום ביותר של שליחת ספאם אלקטרוני הוא מ-1864 (לפני כ-160 שנה) כשאנשים בריטיים עמידים קיבלו הודעות שיווקיות באמצעות הטלגרף. אחד מהנמענים כתב בזעף לעורך של עיתון הטיימס הלונדוני: “באיזו זכות מטרידים אותי באמצעות הטלגרף? זה לא מדיום לפרסום”.
שימוש באימייל למשלוח ספאם תועד לראשונה ב-3/5/1978 כשמהנדס חברת דיגיטל מחשבים, גארי טוּרק, שלח אימייל שיווקי לכמה מאות מנויים ברשת ARPANET (רשת שקדמה לרשת האינטרנט המוכּרת לנו כיום). ההודעה הרגיזה לא מעט אנשים אך לימים הוא סיפר שהניבה מכירות של 12 מיליון דולר.
הספאם מעצבן, אך הוא כנראה משתלם…
האזנה לפודקאסט
רשת ARPANET נסגרה ב-1990 עם תחילת השימוש ברשת האינטרנט המסחרית שהחליפה אותה (האינטרנט as we know it).
בתוך כך השימוש באימייל להעברת מסרים בין דומיינים הוביל לכך שדואר אלקטרוני (דוא”ל) התחיל להחליף בהדרגה חליפת מכתבים בדואר רגיל (snail mail). אלא שהקלוּת הטכנולוגית וסף המחיר הנמוך הפך את האימייל כבר בראשית דרכו לערוץ הפצה של ספאם.
ככל שהשימוש בדוא”ל הפך לנפוץ יותר ויותר כך חלקו של הספאם בתעבורת האימייל זינק אקספוננציאלית.
ב-1998 הספאם היווה כ-6% מתעבורת האימייל העולמית, ארבע שנים אח”כ ב-2002 כבר טיפס לכ-40% וכיום חלקו של הספאם בתעבורת האימייל העולמית עומד על כ-85%.
רשימות שחורות, רשימות לבנות
בתחילת דרכו של האימייל לא היה סינון ספאם או מנגנונים לאימות זהויות דומיינים (לגביהם ארחיב בהמשך המאמר). במערב הפרוע שאפיין את ימי ראשית האימייל המסחרי, ספאמרים השתלטו בקלות על שרתים לגיטימיים ושלחו דרכם ספאם.
“צרת רבים” זו הובילה לשיתוף פעולה בין גורמים שפיתחו את מנגנוני הסינון הראשונים. ה- DNSBLs / RBLs היו טבלאות סינון פשוטות. שיטה זו מקובלת גם כיום אך לא כל ה-directories בעלי חשיבות זהה. הרשימה החשובה והנחשבת ביותר היא של Spamhaus.
Feedback Loops (FBL)
ספקיות האימייל הגדולות הבינו שסינון ספאם שמסתמך על רשימות של צדדי ג’ הוא בסיס טוב להתחלה אך הכיסוי שלו לא מספק. כך נולד ה-FBL – feedback Loops, מעין crowed source הפונה ל”חוכמת” הנמענים עם אפשרות דיווח על ספאם (כפתור דיווח על ספאם המוכר לנו כיום). אלא שלא אחת ספאם הוא בעיניי המתבונן. מה שספאם עבור פלוני יכול להיות מייל לגיטימי עבור אלמוני.
נכון להיום FBL הוא עוד data point עבור ספקיות אימייל ומסננות ספאם כחלק משיקולי האלגוריתם לסינון דוא”ל.
IP Reputation
על בסיס תשתית ה-FBL ספקיות אימיילים וגופי לוחמה בספאם כגון Spamhaus בנו מנגנוני “רשימות שחורות” ו”רשימות לבנות” של כתובות IP מדוורות. כל ספקית מערכת דיוור (ESP: Email Service Provider) מנהלת ספקטרום (כזה או אחר) של כתובות IP והן משאב משותף המשמש מדוורים רבים (אלא אם המדוור משתמש בכתובת IP ייעודית עבורו).
מאחר וכתובות IP הן לרוב משאב משותף, אותן כתובות IP עשויות לשמש גם מדוורים טובים וקפדנים וגם מדוורים בעייתיים שאינם מקפידים על פרקטיקות דיוור נכונות או אפילו ספאמרים. חלק ממערכות הדיוור ינהלו את הספקטרום המשותף של כתובות ה-IP באופן כזה שמתגמל מדוורים טובים ומקצה להם כתובות IP בעלות reputation טוב יותר ואילו מדוורים פחות טובים יקבלו ספקטרום כתובות IP עם reputation פחות טוב. אולם שיטה זו אינה מאפשרת למדוור ספציפי לבלוט לטובה (או לרעה).
Domain Reputation ואימות דומיינים
למרות שהרעיון לאוטנטיקציה (אימות) של דומיינים מדוורים יש שורשים אי שם ב- 1997, השימוש ברשומת SPF לאימות דומיין התחיל להתגלגל בין ל-2004 ל-2007, ואילו DKIM נרשם כפרוטוקול רק ב- 2011.
פרוטוקולים חדשים ממש מהשנים האחרונות DMARC ו-BIMI הם פרוטוקולים ה”רוכבים” על פרוטוקולים לאימות הדומיין SPF ו-DKIM והם ניתנים ליישום רק לאחר הטמעה נכונה של שני הפרוטוקולים הקודמים.
אימות דומיין מאפשר למדוור ספציפי לבנות ולשמר domain reputation עצמאי. סינון ספאם כיום נותן משקל רב יותר ל- domain reputation מאשר ל-IP Reputation.
Content Filter
תחת ההגדרה “סינון תוכן” ניתן למצוא reputation של קישורים (links), תמונות ותוכנן, תוכן נסתר בתמונות, מבנה אימייל לא שגרתי, צרופות ותוכנן, מילים ספאמיות (סינון לפי מילים ספאמיות היה שכיח בעבר, אך כמעט לא רלוונטי כיום. ניתן עדיין לראות אותו בספקיות אימייל קטנות ובמגזר העסקי) וכיו”ב.
האזנה לפודקאסט
מדדי Engagement
סינון ספאם ודוא”ל שמתבסס על מדדי engagement כלומר מה איך נמענים מתייחסים לאימיילים.
מדדי engagement יכולים להיות חיוביים, שליליים או נייטרלים (unengaged).
מדדי engagement חיוביים: פתיחת אימייל, הקלקה, העברה (forward), השב (reply), הוספה לאנשי הקשר, גרירה מתיבת הספאם לתיבה הראשית, גרירה מטאב קידומי המכירות אל הטאב הראשי, זמן שהייה באימייל ספציפי, הזמן שחלף עד פתיחת אימייל ספציפי.
מדדי engagement שליליים: מחיקת אימייל לפני קריאה, דיווח על ספאם, גרירה מהטאב הראשי לספאם.
מדד engagement ניטרליים: ללא מעורבות של נמען.
עוד על מדדי אימייל מרקטינג כאן
איך Gmail מבצעת סינון ספאם?
Gmail היא ספקית האימייל הגדולה ביותר, בבעלות Google ומראשית דרכה היא עושה דברים אחרת, גם בכל הקשור לסינון דוא”ל.
אין לה FBL (אינה מחזירה דיווח ל-ESP), היא “סלחנית” יחסית בחסימה של כתובות IP, משתמשת כבדה ב-engagement metrics כדי להחליט אם אימייל הוא לגיטימי או ספאם.
היא מפעילה מנגנוני Machine Learning לסיווג האימיילים, מפעילה Artificial Intelligent (AI) ו- Deep Learning וכלים מתוחכמים נוספים כגון Tensor Flow (ראו הרחבה ב- לקריאה נוספת) כדי לאתר מתקפות מבעוד מעוד לבחון אותן (למשל על ידי חסימה זמנית, או האטה של הטראפיק עד גמר הבחינה).
חלק ממנגנון סינון הדוא”ל של Gmail הוא מנגנון הטאבים שהושק ב-2013 הכולל את טאב קידומי המכירות.
זה גם המקום לציין שטאב קידומי המכירות ב-Gmail אינו ספאם אלא תיקייה שמחלקת את ה-Inbox לשבע קטגוריות. אחת מהן היא טאב קידומי המכירות.
העתיד של סינון דוא”ל
סינון דוא”ל וספאם ימשיך להיות משחק חתול ועכבר בין ספאמרים לבין ספקיות אימייל ומסננות ספאם והדיוק המיקרו-כירורגי ישתפר עוד ועוד גם בדוא”ל שמסונן לספאם וגם מטעויות הסינון (faults positives). כלומר מיילים שהועברו לספאם בשוגג.
העתיד אליו ספקיות האימייל מכוונות הוא אוטנטיקציה מלאה של דומיינים ולא יתאפשר דיוור מדומיינים כללים של מערכות הדיוור. לדעתי זה מהלך נכון למדוורים ולא רק לספקיות האימייל.
מדדי engagement ימשיכו להיות פאקטור חשוב בהחלטות סינון הדוא”ל של ספקיות האימייל, אלא שזה עומד להיות אתגר לא פשוט בעתיד ללא נתוני פתיחה והקלקה.
אני סלע יפה, מומחה אימייל מרקטינג ועבירוּת אימיילים. כשיהיה לך רצון לשפר את ביצועי האימייל מרקטינג שלך, כך אוכל לעזור לך: אני מזמין אותך לפגישת יעוץ ראשונית של 1/2 שעה ללא עלות בנושא עבירוּת אימיילים ואסטרטגיית אימייל מרקטינג. book a 1/2 email deliverability discovery call.
לקריאה נוספת
ראשית סינון הספאם עם Mail Abuse Prevention System (MAPS)
אחד מהאלגוריתמים הראשונים לסינון ספאם, A Plan for Spam
האבולוציה של סינון ספאם, Kickbox
סינון ספאם ופישינג ב-Gmail
סינון ספאם ב-Gmail מנקודת המבט של deliverability, בלוג Netcore
האבולוציה של אימות אימיילים מבוסס DNS, ספריית ACM
סינון ספאם מבוסס תוכן. מה יועצי עבירוּת ממליצים?
Sella Yoffe
Email Deliverability & Email Marketing Expert
working with global email senders, startups, and ESPs to improve their deliverability and email authentication
Podcast host & Blogger @ CRM.BUZZ & EmailGeeks.Show
