מעקב ניסויים לסוכני AI
השתמשו במדריך הזה כשאתם רוצים להריץ ניסויי A/B בצד הדפדפן על אתר או אפליקציה אמיתיים, על ידי הכוונה של סוכן ה-AI לבצע את העבודה בשבילכם.
המדריך הזה עוסק באלמנטים בדף כמו כותרות, CTA, מסרי תמחור וזרימות הרשמה. הוא לא מיועד ל-prompt evals, להשוואות מודלים או לבדיקת workflow פנימי של הסוכן עצמו.
לפני שמתחילים
Section titled “לפני שמתחילים”tracker.jsכבר מותקן באתר שלכם.- הפרויקט כבר קיים ב-Agent Analytics.
- אתם על תוכנית בתשלום, כי ניסויים לא זמינים במסלול החינמי.
- יש לכם אירוע מטרה עסקי אחד, כמו
signup,checkoutאו אירוע המרה אמיתי אחר.
אם אתם עדיין צריכים את ההגדרה הראשונית, התחילו עם התחלה מהירה.
1. בחרו מטרה אחת ואלמנט UI אחד לבדיקה
Section titled “1. בחרו מטרה אחת ואלמנט UI אחד לבדיקה”התחילו משינוי צר. ניסוי ראשון טוב הוא בדרך כלל CTA אחד, כותרת אחת או מסר תמחור אחד שמחובר לאירוע עסקי אחד.
פרומפט מוכן להעתקה:
אני רוצה להריץ ניסוי A/B על my-site. עזור לי לבחור אלמנט אחד בדף לבדיקה ואירוע מטרה אחד שמשקף תוצאה עסקית אמיתית. שמור את הסקופ ל-CTA אחד או כותרת אחת.הימנעו מלהשתמש ב-page_view כמטרת הניסוי אלא אם עצם הביקור בדף הוא התוצאה המוצרית. ברוב המקרים signup, checkout או אירוע אקטיבציה מרכזי יהיו מטרות טובות יותר.
2. בקשו מהסוכן לאמת או להוסיף את אירוע המטרה
Section titled “2. בקשו מהסוכן לאמת או להוסיף את אירוע המטרה”לפני שהניסוי קיים, ודאו שאירוע המטרה כבר נמדד ושמו תואם לשמות הקיימים באתר.
פרומפט מוכן להעתקה:
הוסף אירוע signup למעקב על ה-CTA הזה ושמור על שם אירוע שתואם את המוסכמות הקיימות באתר. אם כבר יש אירוע מתאים, השתמש בו במקום להמציא חדש.אם האירוע פשוט, עדיף שהסוכן יעדיף מעקב דקלרטיבי ב-markup במקום לכתוב עוד JavaScript.
3. בקשו מהסוכן ליצור את הניסוי
Section titled “3. בקשו מהסוכן ליצור את הניסוי”אחרי שאירוע המטרה מוכן, בקשו מהסוכן ליצור ניסוי עם שם ברור ווריאנטים פשוטים.
פרומפט מוכן להעתקה:
צור ניסוי עבור ה-signup CTA ב-my-site עם הווריאנטים control ו-new_cta, והשתמש ב-signup כאירוע המטרה.אם אתם רוצים את מבנה הבקשה והתגובה המדויק שמאחורי השלב הזה, השתמשו ב-עיון ה-API של Experiments.
שמרו על שמות ניסויים ב-snake_case, ובחרו שם שקל להסביר גם אחר כך. signup_cta עדיף על שם עמום כמו homepage_test.
4. בקשו מהסוכן לחווט את הווריאנט בצורה דקלרטיבית
Section titled “4. בקשו מהסוכן לחווט את הווריאנט בצורה דקלרטיבית”ברוב האתרים, וריאנטים דקלרטיביים הם המסלול הנקי ביותר. ה-HTML המקורי נשאר ה-control, ותוכן הווריאנט נשמר במאפייני data-aa-variant-*.
פרומפט מוכן להעתקה:
חבר את כותרת ההירו הזאת לניסוי signup_cta באמצעות מאפייני tracker.js דקלרטיביים. השאר את הטקסט הקיים בתור control והוסף את הווריאנט החדש ל-markup.דוגמה לתוצאה:
<h1 data-aa-experiment="signup_cta" data-aa-variant-new_cta="Start free today"> Start your free trial</h1>השתמשו ב-window.aa?.experiment() רק כשה-UI דינמי מדי עבור HTML דקלרטיבי. למכניקה ברמה נמוכה יותר, ראו Tracker.js.
5. בקשו מהסוכן לבצע QA לשני הווריאנטים
Section titled “5. בקשו מהסוכן לבצע QA לשני הווריאנטים”לפני שסומכים על הנתונים, ודאו ששני הווריאנטים באמת מוצגים ושאירוע המטרה ממשיך להישלח.
פרומפט מוכן להעתקה:
הראה לי איך לכפות כל וריאנט מקומית כדי שאוכל לבצע QA לשתי הגרסאות, ואז ודא שאירוע ה-signup עדיין נשלח נכון בכל אחת מהן.כתובות forcing נראות כך:
?aa_variant_signup_cta=control?aa_variant_signup_cta=new_cta
הסוכן שלכם אמור להשתמש בכתובות האלה כדי לבדוק את שתי הגרסאות בלי לחכות לשיוך מבוסס hash.
6. בקשו מהסוכן לקרוא את התוצאות ולהמליץ על מנצח
Section titled “6. בקשו מהסוכן לקרוא את התוצאות ולהמליץ על מנצח”ברגע שהניסוי קיבל תנועה, בקשו מהסוכן לבדוק אם יש מספיק נתונים ומה ההמלצה כרגע.
פרומפט מוכן להעתקה:
בדוק את התוצאות של signup_cta ותגיד לי אם יש לנו מספיק נתונים כדי לבחור מנצח. אם כן, המלץ אם להמשיך להריץ, לעצור זמנית או להשלים את הניסוי עם וריאנט מנצח.לנקודות הקצה ב-HTTP שקוראות תוצאות, עוצרות, מחדשות, משלימות או מוחקות ניסויים, השתמשו ב-עיון ה-API של Experiments.
קבלו את ההחלטה על סמך אירוע המטרה העסקי, לא על סמך התנועה הגולמית. וריאנט עם יותר exposures לא בהכרח טוב יותר אם הוא לא משפר signup או checkout.
טעויות נפוצות
Section titled “טעויות נפוצות”- בדיקה של יותר מדי אלמנטים בו-זמנית, מה שמקשה להבין מה עבד.
- שימוש ב-
page_viewכמטרה במקום אירוע המרה. - יצירת הניסוי לפני שאירוע המטרה באמת נמדד.
- שכחת QA לווריאנטים הכפויים לפני שמעבירים תנועה דרך הניסוי.
- ערבוב של layout, copy והצעה עסקית באותו ניסוי במקום שינוי ממוקד אחד.
- השארת הניסוי פעיל גם אחרי שכבר ברור מי המנצח.