22 דצמבר 2014 | קובי ששון
לא צריך לנחש, הדרך הבטוחה להבטיח את ההצלחה של הממשק – A/B Testing

על מנת לקבל את האפשרות המובטחת שתגדיל את יחסי ההמרה, בין אם מדובר בהגדלת כמות הפניות מדף נחיתה, או לחילופין להגדיל את כמות הרכישות באתר מכירות מסוים, וזאת ללא יכולת הגדלת כמות החשיפה והגולשים, אנו נעדיף לבחור בכלי המבדק המוכר בשמו "TestingA/B" .

"אלפי גולשים ביום ורק בודדים לוחצים על כפתור ההזמנה, אני רוצה את הכפתור הזה דבר ראשון למעלה בראש הדף ובצבע כחול" כך דרש הלקוח, ואילו השותף שלו "לא! שים את הכפתור בצד שמאל מתחת לתמונה ובירוק"...

 

איך נוכל לדעת איזו הצעה תניב הצלחה גדולה יותר למטרת הממשק?

 

לא אחת אנחנו נתקלים בהתלבטות בין שתי אופציות ויותר, ואין לנו את היכולת לדעת. אז איך נחליט? לפי תחושת בטן?! נציץ אצל המתחרים?! זו יכולה להיות דרך... אבל היא לא מבטיחה לנו הצלחה, ויתכן שהיא אף תגרום לנזק.

 

על מנת לקבל את האפשרות המובטחת שתגדיל את יחסי ההמרה, בין אם מדובר בהגדלת כמות הפניות מדף נחיתה, או לחילופין להגדיל את כמות הרכישות באתר מכירות מסוים, וזאת ללא יכולת הגדלת כמות החשיפה והגולשים, אנו נעדיף לבחור בכלי המבדק המוכר בשמו "TestingA/B" .

 

מה זה מבחן A/B?

 

זהו כלי עזר מצוין המאפשר לנו לקבל מידע סטטיסטי יעיל על ידי מדידת אחוזי הצלחה (יחסי המרה) של נכס אינטרנטי מסוים במבחן מול גולשים אמיתיים. את המבחן מבצעים על ידי שימוש בשתי גרסאות כמעט זהות של דף נחיתה \ האתר או ממשק אינטרנטי אחר, כאשר השוני היחיד בין הדפים הוא האלמנט אותו אנו בודקים, והיכולת שלו להשפיע על גולשים לבצע את הפעולה המבוקשת (שינוי של כותרות \ תמונות \ שדות בטופס וכדומה). כאשר נקבל תוצאות חיוביות מגרסא מסוימת, ולאורך זמן, נוכל לדעת כי היא אותה הגרסא היא האפקטיבית ביותר ונוכל להמשיך ולהשתמש בה להמשך הקמפיין שלנו (וגם להמשיך בבחינות על ידי ביצוע אופטימיזציה ובחינת כלל האלמנטים, עד להגעה לגרסא המושלמת של הדף).

 

מבחן A/B כטקטיקה ארוכת טווח

 

דבר אחד שחשוב לציין מראש בנוגע לשימוש במבחני A/B הוא שזהו לא תהליך חד פעמי. איננו יכולים להתייחס לשיטה כפי שאנו מתייחסים לשאר ערוצי השיווק שלנו, או לטקטיקות שיווק אחרות. באופן טבעי, כאשר אנחנו מקיימים קמפיין שיווקי מסוים, תמיד נשאלות שאלות כגון : "מה החזר ההשקעה לפרסום", "כמה פריטים מכרנו", "כמה לקוחות גייסנו לשירות החדש" וכדומה. אך במקרה זה, אנו צריכים להסתכל על התמונה המלאה.

לפעמים נוכל למצוא את עצמנו מריצים סדרה של מבחני A/B לא מוצלחים לפניי שנזכה לאותו המבחן A/B שיזכה אותנו בתובנה החשובה מכל, אותה תובנה שבזכותה נוכל להעלות את יחס ההמרה שלך בעשרות ואפילו מאות אחוזים, מה שכמובן יתבטא בהגדלת ההכנסות ושמחה גדולה לכל הצדדים.  כאן המקום לשאול את השאלה, האם אתם הייתם מוכנים לבצע כמה מבחני A/B לא מוצלחים בשביל לקבל בסופו של דבר את התובנה שתעשה את ההבדל?

 

אז איך נסביר ללקוח או לבוס את חשיבות השיטה?

 

העלויות לביצוע מבחני A/B יכולות להיות לא זולות, החלק היקר יותר של המבחן הוא התשלום הגבוה עבור הפרסום שבאמצעותו אנו מושכים את הגולשים לדף שלנו. בנוסף ישנן עלויות נוספות כגון: תשלום לצוות הטכני לביצוע שינויים טכניים בדף, כנ"ל למעצב הגרפי. כמו כן ישנו התשלום הנדרש* לביצוע המבחן עצמו דרך אחת הפלטפורמות הקיימות (*ישנן רשתות פרסום שמאפשרות ביצוע מבחן A/B ללא עלות נוספת, כמו גוגל). לכן, באופן טבעי מוטלת עלינו האחריות להוכיח לבעלי העניין, את אפקטיביות השיטה, בין אם מדובר בלקוח לחוץ, או במנהל סקפטי.

 

אז מה המכשולים שאנו יכולים להיתקל בהם בעת הניסיון להוכיח את אפקטיביות השיטה? במקרים מסוימים אין לנו מספיק נתונים להצגה, במקרים אחרים עלות המבחן גבוהה מהרווח. אז איך נוכל לשכנע את בעלי העניין בחשיבות המבדק? איך נוכל לגרום להם לשביעות רצון מהתוצאות?

 

במאמר זה נציג מספר דרכי פעולה שיאפשרו לכם לקבל מענה לשאלות שהעלנו קודם לכן, באמצעות שיטות אלו תוכלו לקבל שקט תעשייתי ותמיכה בקיום מבחני ה A/Bעל ידי בעלי העניין הרלוונטיים לכם, זאת על ידי הצדקת המשאבים השונים והבאת מקסימום תשואה.

 

אסטרטגיה ראשונה – איתור השערות מחקר המגובים על ידי מחקר מקדים ואיסוף נתונים

 

בעת שאנו ניגשים לביצוע המבחן, עלינו להעלות השערות מסוימות לבדיקה, שאותן נבחן באמצעות הכלי, ובכך נגלה אם תרמו להעלאת יחסי ההמרה שלנו וכמות המכירות. השערות אלו חייבות להיות מגובות במחקר כמותי ואו איכותני, ולא, נגלה כי המשאבים שהקצבנו לנושא אבדו, וזאת ללא קבלת החזר כלשהוא בתמורה.

 

כיצד נוכל לאסוף את המידע, ולהעלות השערות מחקר המגובות בנתונים אמיתיים? אחת הדרכים הפופולאריות והאפקטיביות לאיתור המידע הכמותי והאיכותני כאחד, הוא שימוש בכלי האנליטי של גוגל - גוגל אנליטיקס (Google Analytics). ישנם כלים נוספים, הכוללים מערכות מקבילות, כלים שונים כגון מעקב תנועות עכבר, מעקב תמונות עיניים, ועוד, אך כלי זה הוא האיכותי ביותר לביצוע המשימה ברוב המקרים (כמו כן חשוב לציין כי השימוש בכלי הוא ללא עלות).

 

אני תמיד אוהב לאתר דרך הכלי, עמודים בעלי כמות גדולה של מבקרים, אך במקביל, בעלי אחוז נטישה גבוה (מבקרים שנכנסו לדף, לא ביצעו שום פעולה, וסגרו אותו), זהו תמיד נושא מחקר מעניין, ואתגר לא קטן להבנת הסיבה, ושיפור האחוזים.

 

אלמנט נוסף שניתן לאתר הוא דרך כלי משפך ההמרות (Conversion Funnel). כלי זה מאפשר לנו להבחין בצורה אינפוגרפית מה התהליך שהגולש עובר באתר שלנו, מרגע הכניסה ועד לביצוע הפעולה הנדרשת (רכישה לצורך הדוגמא). באמצעות משפך ההמרות אנו יכולים לקבל את הנתון החשוב מכל, מה היו צעדיו המדויקים של הגולש עד לרכישה, ואם הוא הפסיק אותה באמצע, מתי זה קרה, ברגע שאנו מקבלים את המידע הזה, בצורה מרוכזת, ומאלפי גולשים שונים, יש לנו זיהוי מסוים של נקודות החולשה והחוזקה באתר, ואפשרות לבחון את הנקודות הללו.

 

לסיכום - לעולם אל תניחו שאתם באמת יודעים מה הגולשים שלכם חושבים, אתם לא! בדיקות משתמשים, ביצוע סקרי גולשים, שימוש בכלים אנליטיים יתרמו לכם רבות, ויאפשרו לכם לבסס השערות מחקר על בסיס נתונים אמיתיים.

 

טיפ – השיטה שתוארה מעלה מתאימה לאתרים בעלי כמות חשיפה לגולשים (טראפיק) גבוהה. אחת ההמלצות שלי לאתרים שלא זוכים לטראפיק גבוה, היא ביצוע המבחן גם על הדפים הפנימיים של האתר (דפי מוצר, עמודי הרשמה שונים וכדומה), באמצעות התנועה המצטברת של כלל הדפים הנבדקים, נוכל לזכות לתובנות חשובות מאוד אודות האתר שלנו ואיך למקסם את היכולות שלו.

 

אסטרטגיה שנייה – קביעת סדרי עדיפויות לבחינת נושאי המחקר

 

במקרים מסוימים עולה הצורך לבחון מספר גדול של נושאים למחקר, מה שמסבך אותנו שלא תמיד ניתן לנסות את כולם באותו המבחן. לכן, המלצתנו בנושא זה היא קודם כל להראות לבעלי העניין שלנו תוצאות מהירות ללא עיכוב, וזאת על ידי דירוג נושאי המחקר שלנו, וסדר הבחינה שלהם.

 

איך עושים את זה? לביצוע המשימה ניצור טבלה פשוטה הכוללת שדות כגון :

 

נושא המבחן, פוטנציאל הנושא להגדלת המכירות, סדר חשיבויות ראשוני, קלות לביצוע ומימוש האלמנט, ובסוף יהיה לנו ציון ממוצע של כלל הפרמטרים בעבור כל נושא מחקר. כך נוכל לקבוע את סדר המבחנים לפי דירוג החשיבות, ובכך נימנע ממבחנים קשים ליישום, המצריכים מאיתנו אישור לשינוי מהמנהל ואו עזרה בהטמעת השינוי מהצוות הטכני. כאשר נקבל את התוצאות המהירות מהמבחנים הראשונים, נוכל לקבל גיבוי ולהמשיך אל שאר המבחנים הקשים יותר לביצוע.

 

לסיכום – באמצעות קביעת סדרי העדיפויות לבחינת נושאי המחקר נוכל להעביר תוצאות מיידיות על ידי קיום המבחנים הפשוטים יותר, כאשר את המבחנים המסובכים נדרג בסוף הרשימה ונבצע אותם בסוף התהליך. בשיטה זו תהיה לנו אפשרות להוכיח לבעלי העניין שלנו את אפקטיביות המבחן, ולהשיג את שביעות רצונו ואת המשך התהליך, תוך כדי קבלת גיבוי, שקט ומשאבים להמשך העבודה.

 

טיפ – אין מנהל שלא יהיה שמח מהוכחה לניצול המשאבים המוקצים בצורה הטובה ביותר. אחד מהשימושים הרבים להם אנו זוכים ממבחני ה A/B, הם שימוש בתובנות למקורות שיווק אחרים(אונליין ואופליין). מנהל שיווק שפותח בקמפיין פרסומות ברחבי תל אביב לא תמיד יכול לדעת מה בויז'ואל המוצג יכול לגרום ללקוח הפוטנציאלי לקנות או לא לקנות מהמוצרים שלו, מידע שבמקרים רבים מתקבל מביצוע מבחני A/B. ביישום תובנות אלו נוכל לשפר את מאמצי השיווק הכוללים של החברה.

 

אסטרטגיה שלישית -  אפשר ואפילו מומלץ לבחון יותר מאלמנט אחד בכל פעם

 

אחד מכללי האצבע הנפוצים בכל הנוגע למבחני A/B הוא שלא לבחון יותר מאלמנט אחד בכל פעם.


בתחילת דרכי בעולם ה UX, גם אני פעם חשבתי כך, ואף המלצתי על השיטה לאחרים, אך עם הזמן למדתי מניסיוני, והבנתי שעלינו לבחון כל מקרה לגופו, ושלפעמים דרך הפעולה הטובה ביותר היא לפעול בצורה פרגמטית, זאת על מנת להשיג תובנות, ובעקבותן תוצאות מהירות יותר.

 

אז למה כדאי לנו לחקור יותר מאלמנט אחד בכל פעם? כאשר אנו בוחנים לא יותר מאלמנט אחד בכל פעם, משך הזמן שבו אנו מגיעים לוודאות סטטיסטית הוא ארוך משמעותית. כמו כן, אין לנו בטחון מלא בכך שנוכל לקבל תוצאות חד משמעיות, או אפקטיביות מאותו המבחן.

 

לכן, כאשר אנו משחקים "בטוח" ובוחנים בכל פעם אלמנט אחד, אנו גורמים לבזבוז משאבים רבים ללא תוצאות חד משמעיות.

 

לסיכום - כאשר אנו בוחנים מספר שינויים במקביל, יכול להיות שהמידע שאנו מקבלים הוא פחות איכותי (מה בדיוק מניע את הגולש לפעולה), אך אנו יכולים להעלות בצורה חדה את יחסי ההמרה, ובכך להוכיח את יעילות המבחן, ובכך לקבל גיבוי להמשך העבודה. לפעמים עלינו להסתכל על השורה התחתונה ולזכור שמה שחשוב בסופו של דבר הוא הצלחת הקמפיין והעלאת ההמרות.

 

טיפ – במידה ועולה הצורך בשינוי דרסטי של הדף, ובבחינה של מספר אלמנטים שונים, המלצתנו בנושא היא לעצב דף נחיתה חדש שכולל את השינויים הנדרשים, ולבחון את האפקטיביות שלו במבחן A/Bמול הדף המקורי.

 

לסיכום

 

אחד היתרונות הגדולים ביותר של מבחני ה A/B, הוא התגמול הרב גוני לו אנו זוכים. זכרו כי גם התובנה הקטנה ביותר אותה נלמד מתוצאות המבחן, תוכל לעזור לנו להגדיל את יחסי ההמרה שלנו ולזכות בניצחון קטן אך משמעותי להמשך הדרך. במידה ותשתדלו לדבוק באסטרטגיות הבאות, תוכלו לזכות לתמיכה מבעלי העניין, לשפר את אחוזי ההמרה שלכם, ובכך להגדיל את הרווח הכספי, וההצלחה שלכם כאנשי מקצוע ואו מפרסמים :

 

1. איתור השערות מחקר המגובים על ידי מחקר מקדים ואיסוף נתונים -  לעולם אל תניחו שאתם באמת יודעים מה הגולשים שלכם חושבים, אתם לא! בדיקות משתמשים, ביצוע סקרי גולשים, שימוש בכלים אנליטיים יתרמו לכם רבות, ויאפשרו לכם לבסס השערות מחקר על בסיס נתונים אמיתיים.

 

2. קביעת סדרי עדיפויות לבחינת נושאי המחקר – באמצעות קביעת סדרי העדיפויות לבחינת נושאי המחקר נוכל להעביר תוצאות מיידיות על ידי קיום המבחנים הפשוטים יותר, כאשר את המבחנים המסובכים נדרג בסוף הרשימה ונבצע אותם בסוף התהליך. בשיטה זו תהיה לנו אפשרות להוכיח לבעלי העניין שלנו את אפקטיביות המבחן.

 

3. אפשר ואפילו מומלץ לבחון יותר מאלמנט אחד בכל פעם - כאשר אנו בוחנים מספר שינויים במקביל, יכול להיות שהמידע שאנו מקבלים הוא פחות איכותי (מה בדיוק מניע את הגולש לפעולה), אך אנו יכולים להעלות בצורה חדה את יחסי ההמרה, ובכך להוכיח את יעילות המבחן, ובכך לקבל גיבוי להמשך העבודה. לפעמים עלינו להסתכל על השורה התחתונה ולזכור שמה שחשוב בסופו של דבר הוא הצלחת הקמפיין והעלאת ההמרות.

 

חשוב לזכור כי בסופו של דבר, הטעות הנפוצה ביותר בה נתקלתי בנושא מבחני ה A/B היא, כי רוב החברות התייחסו למבחן כאל טקטיקה חד פעמית, ולא הבינו כי מדובר בתהליך לטווח ארוך. החברות שכן הפנימו את הנושא הרוויחו בסופו של דבר בגדול.

 

 

 

תגובות

1. זהר עמיהוד | 22 ינואר 2015

כללים לביצוע ניסוי

תודה קובי על המאמר המקיף ועל האפשרויות השונות שהצגת.
הזכרת את נושא דף הנחיתה. בדרך כלל מוזרמת תנועה לדף הנחיתה ממספר מקורות: רשימת תפוצה, מסע פרסום בגוגל, פרסום בפייסבוק, שותפים וכדומה. צריך לוודא שניתן לנתח את הנתונים לפי הערוצים השונים כי אחוזי ההמרה שונים בין הערוצים.


הוסף תגובה

* אין לשלוח תגובות הכוללות מידע המפר את תנאי השימוש של StartIsrael לרבות דברי הסתה, דיבה וסגנון החורג מהטעם הטוב.