איך בודקים סוכן AI לפני שהוא מדבר עם הלקוחות שלכם
בודקים סוכן AI ככה: כותבים בערך 20 שיחות אמיתיות כתרחישים, מריצים כל אחת מהן דרך המודל האמיתי, ומדרגים כל תשובה בשלוש דרכים. בדיקות קוד פשוטות לכללים המדויקים, מודל שני ששופט את כל מה שדורש קריאה, ובן אדם שקורא את הדוח. וכל תשובה גרועה הופכת לתרחיש חדש עוד לפני שמישהו נוגע בתיקון.
זו השיטה שאנחנו עובדים בה על סוכן מכירות בוואטסאפ שבנינו לעסק נותן שירות. היא תפסה דברים שדמו לא היה תופס אף פעם, כמו תשובות שהצוות של העסק עצמו קרא להן "לוחץ מדי", ותשובות שעקפו את השאלה שהלקוח שאל בפועל. היא גם אמרה לנו על איזה מודל להריץ את הסוכן.
עודכן לאחרונה: 17 בנובמבר 2026
איך בודקים סוכן AI?
מריצים דרכו שיחות מציאותיות ומדרגים כל תשובה מול עובדות שאישרתם מראש. כמה שיחות בדמו אומרות מעט מאוד, כי הסוכן יסתדר יפה עם הקלות, ובדמו כמעט אף פעם אין את הקשות.
הלולאה שלנו בנויה מ-4 חלקים:
- סט תרחישים כתובים. כל תרחיש הוא הצד של הלקוח בשיחה, הודעה אחרי הודעה, ועוד הערה קצרה על איך נראית תוצאה טובה.
- הרצה דרך המודל האמיתי. אותו פרומפט, אותם כלים ואותו קובץ עובדות שהסוכן החי משתמש בהם. בדיקה מול עותק מפושט בודקת את העותק.
- דירוג. קודם בדיקות קוד, אחר כך מודל שופט על השאר, ובסוף בן אדם קורא את הסיכום.
- כלל לתיקונים. שום דבר בסוכן לא משתנה עד שהבעיה קיימת כתרחיש שנכשל.
אם אתם עוד מתלבטים אם בכלל צריך סוכן, המדריך לסוכני AI לעסקים מתחיל משם. המדריך הזה יוצא מנקודה שבה הסוכן כבר קיים ואתם רגע לפני שמעמידים אותו מול לקוחות.
מאיפה מגיעים תרחישי בדיקה טובים?
התרחישים הכי טובים מגיעים משיחות אמיתיות: תיבת המייל, היסטוריית הוואטסאפ, והלקוחות שאנשי המכירות שלכם עדיין זוכרים כי הם הזיעו איתם. קראו ערימה של שיחות אמיתיות לפני שאתם כותבים קריטריון אחד, כי הן אלה שמראות לכם מה באמת משתבש.
20 התרחישים שלנו הגיעו מ-3 מקומות.
הראשון היה שיחת הבדיקה הראשונה של המייסד עם הסוכן. הוא שיחק לקוח, בדיוק כמו שהלקוחות שלו כותבים, והשיחה הזאת הפכה לתרחיש 1.
שישה הגיעו מסימולטור שהקמנו לפני העלייה לאוויר. בעל העסק ושני אנשי צוות התכתבו עם הסוכן כאילו הם לקוחות, והשאירו הערה על כל תשובה שלא אהבו. הם כתבו 31 הערות, חלקן קצרות מאוד: "לוחץ מדי", "זה לא נכון", "לא ענה לי על השאלה". קיבצנו אותן, ו-6 מהקבוצות הפכו לתרחישים.
השאר הגיעו משיחות עבר של העסק עם לקוחות אמיתיים, שנכתבו מחדש כך שאי אפשר לזהות אף אחד.
היום אנחנו ממליצים על שלב הסימולטור לכל עסק שאנחנו עובדים איתו. האנשים שלכם מכירים את הלקוחות שלכם יותר טוב מכל בדיקה שנמציא, ושעה שבה הם מנסים לשבור את הסוכן שווה יותר משבוע שלנו בניחושים.
אילו שיחות בעייתיות כדאי לבדוק בכוונה?
בדקו את השיחות שמשתבשות, כי המסלול הנוח כמעט תמיד עובד. סוכן שעונה יפה על שאלה מנומסת אחת לא מספר לכם כלום על יום שלישי אחר הצהריים.
על אלה אנחנו כותבים תרחיש בכל סוכן:
- המתמקח. מבקש הנחה 3 פעמים, ב-3 ניסוחים שונים. הסוכן צריך להחזיק את המחיר ולדעת מתי להכניס בן אדם.
- ארבע שאלות בהודעה אחת. "כמה זה עולה, יש לכם ביום חמישי, אתם מביאים עד הבית, ואפשר באשראי?" הסוכן צריך לענות על כל הארבע, או להגיד על איזו מהן מישהו יחזור.
- זה שנעלם. כותב פעמיים ואז שותק יום שלם. מה הסוכן שולח עכשיו, והאם הוא שולח משהו בכלל?
- הגס. הסוכן נשאר מנומס ומעביר לבן אדם.
- השאלה על המתחרה. "אצל ההם זה יותר זול." הסוכן לא משמיץ אף אחד ולא ממציא השוואה.
- שאלה שאין לה תשובה בעובדות. הסוכן אומר שמישהו יבדוק, ולא ממלא את החור בעצמו.
חלק מהתרחישים האלה ייגמרו בהעברה לבן אדם, וזה בסדר גמור. סט בדיקות שבו הסוכן סוגר לבד כל עסקה הוא סט עדין מדי.
איך יודעים שסוכן AI עושה את מה שביקשו ממנו?
בודקים כל תשובה מול רשימת קריטריונים כתובה ומול העובדות המאושרות, ועושים את זה אוטומטית בכל שינוי. אצלנו מודל שני, השופט, קורא כל תשובה כשהמחירון וקובץ העובדות פתוחים מולו, ומדרג אותה לפי 9 קריטריונים.
| קריטריון | מה השופט מחפש |
|---|---|
| תואם את העובדות המאושרות | שום דבר בתשובה לא סותר את קובץ העובדות |
| אין מחיר שכלי לא סיפק | כל מספר מגיע מהתשובה של כלי המחירים |
| עונה על השאלה שנשאלה | השאלה של הלקוח מקבלת תשובה כבר בהודעה הזאת |
| לא דוחף את מה שלא שאלו עליו | בלי תוספות ושדרוגים שהלקוח לא העלה |
| מעביר לבן אדם ברגע הנכון | קונה רציני, לקוח כועס או שאלה לא מוכרת מגיעים לאדם |
| מקשר רק לאתר של העסק | בלי קישורים חיצוניים ובלי כתובות מומצאות |
| הטון מתאים לעסק | נשמע כמו העסק הזה ביום הכי טוב שלו |
| האורך מתאים להודעת צ'אט | קצר מספיק לקריאה בטלפון בלי לגלול |
| צעד הבא ברור | הלקוח יודע מה קורה עכשיו |
שני פרטים הופכים את השופט לאמין. הוא רץ על מזהה מודל קבוע, כך שהסטנדרט שלו לא זז כשספק מעדכן מודל בשקט. והוא מקבל בכל ריצה את אותו חומר ייחוס (קובץ העובדות והמחירון), כך שהוא מדרג מול העסק שלכם.
המילה האחרונה שייכת לבן אדם. השופט טוב בזיהוי דפוס לאורך 20 שיחות, ואז מישהו שמכיר את העסק קורא את הדוח ומחליט אם תשובה שסומנה היא בעיה אמיתית.
מה בודקים בקוד ומה צריך מודל שופט?
כל מה שיש לו תשובה מדויקת הולך לבדיקת קוד. כל מה שצריך לקרוא ולהבין הולך לשופט. וכל מה שדורש טעם או שיקול דעת עסקי הולך לבן אדם.
בדיקות קוד זולות ואין להן אף פעם יום רע. אם אפשר לנסח כלל כמו "זה אסור שיופיע אף פעם" או "זה חייב להגיע תמיד משם", כתבו אותו בקוד ותפסיקו לשאול עליו מודל.
| מה בודקים | איך בודקים | למה |
|---|---|---|
| תשובה ריקה או קטועה | בדיקת קוד | מדויק, וקורה יותר ממה שנדמה |
| קישורים רק לדומיין של העסק | בדיקת קוד | רשימת דומיינים היא דבר מדויק |
| כל מחיר בתשובה הגיע מכלי המחירים | בדיקת קוד | משווים את המספרים לפלט של הכלי |
| כלי ההעברה הופעל כשהתרחיש מצפה לזה | בדיקת קוד | הקריאה לכלי מופיעה בלוג |
| התשובה תואמת את העובדות המאושרות | מודל שופט | צריך לקרוא את התשובה בהקשר |
| ענה על השאלה עצמה | מודל שופט | צריך להבין את השיחה |
| לוחץ, חופר או סוטה מהנושא | מודל שופט | צריך לקרוא את כל התשובה בהקשר |
| הטון מתאים לעסק | בן אדם, בעזרת השופט | בעל העסק יודע מה נשמע נכון |
| האם תשובה שסומנה באמת משנה | בן אדם | שיקול דעת עסקי |
בדיקות הקוד בהרצת הבדיקות הן אותן בדיקות שעומדות לפני הסוכן החי וחוסמות תשובה לפני שהיא נשלחת. כותבים אותן פעם אחת והן שומרות על שני המקומות. המדריך לבניית סוכן AI מסביר למה הבדיקה האחרונה הזאת צריכה להישאר קטנה.
איך יודעים איזו גרסה של הסוכן הפיקה איזו תוצאה?
רושמים בכל דוח בדיקות את מזהה המודל וטביעת אצבע של הפרומפט. ככה כל תוצאה מתחברת לגרסה המדויקת שהפיקה אותה.
זה נשמע כמו הנהלת חשבונות, וזה באמת הנהלת חשבונות. אבל בלי זה נשארים עם דוח שאומר 19 מתוך 20 עברו, ואין לכם מושג אם זה היה לפני או אחרי השינוי בפרומפט ביום שלישי. טביעת האצבע היא חתימה קצרה (hash) שמחושבת מהפרומפט ומקובץ העובדות. אם היא השתנתה, הסוכן השתנה, והתוצאות הישנות כבר לא תקפות.
אנחנו גם שומרים כל דוח. כשבעל העסק שואל "הוא תמיד עשה את זה?", התשובה כבר יושבת בקובץ.
איך משווים בין שני מודלים לאותו סוכן?
מריצים את אותם תרחישים עם המודל השני, משנים רק את ההגדרה הזאת, וקוראים את שני הדוחות זה לצד זה. התרחישים, השופט והקריטריונים נשארים קבועים, אז כל הבדל מגיע מהמודל.
ככה בחרנו את המודל לסוכן הזה. מודל זול יותר עבר את רוב התרחישים, אבל המשיך לפספס סימנים קטנים: לקוח שבבירור משווה בין כמה אפשרויות, שאלה שנשאלה פעם שנייה כי התשובה הראשונה התחמקה ממנה. כל פספוס נראה שולי. ליד מודל חזק יותר הדפוס היה ברור, ועברנו. לסוכן שמדבר עם קונים, ליד אחד שהולך לאיבוד עולה יותר מההפרש.
אותה השוואה עובדת לכל שינוי שמלחיץ אתכם: פרומפט שנכתב מחדש, כלי חדש, עדכון גדול לעובדות.
מה עושים כשהסוכן נותן תשובה לא טובה?
קודם התשובה הגרועה הופכת לתרחיש שנכשל. אחר כך משנים דבר אחד במקום אחד, והשינוי עולה רק כשהתרחיש החדש וכל הקודמים עוברים.
הסדר חשוב. אם מתקנים קודם ובודקים אחר כך, אין לכם הוכחה שהתיקון עבד, ואין אזהרה כשהוא שובר משהו אחר. למדנו את זה על גרסה מוקדמת של אותו סוכן, שבה תיקונים מהירים נערמו עד ששינוי לשיחה אחת שבר שתיים אחרות.
אז כשבעל העסק שולח לנו צילום מסך עם "זה לא נכון", הצעדים הבאים תמיד זהים:
- כותבים את השיחה כתרחיש 21.
- מריצים ורואים אותו נכשל.
- משנים דבר אחד: העובדות, עיקרון בפרומפט, כלי או המודל.
- מריצים את כל ה-21. עולים לאוויר רק כשהכול ירוק.
לאיזה מ-4 המקומות האלה התיקון שייך יש טבלה משלה במדריך לבניית סוכן AI. סט הבדיקות הוא מה שמאפשר את המשמעת הזאת, כי הוא זה שאומר לכם שהתיקון החזיק.
כדאי לעשות A/B טסט לסוכן AI על לקוחות אמיתיים?
לעסק קטן, לא. הרצה חוזרת של שיחות עבר אמיתיות, מחוץ לאוויר, נותנת תשובה טובה יותר ומהר יותר, בלי לסכן אף לקוח.
A/B טסט צריך נפח. עסק שמקבל, נגיד, 40 שיחות מכירה בשבוע יחכה חודשים להבדל משמעותי בין שתי גרסאות, ובכל הזמן הזה חצי מהלקוחות שלו ידברו עם הגרסה הפחות טובה. הרצה של 20 שיחות שנבחרו טוב דרך שתי הגרסאות נותנת דוח מקביל תוך דקות.
A/B טסט חי מתאים לחברות עם אלפי שיחות ביום. לרוב העסקים שאנחנו עובדים איתם יש כמה עשרות, ואצלם כל שיחה היא ליד אמיתי.
איך ממשיכים לבדוק סוכן AI אחרי שהוא עלה לאוויר?
קוראים מדגם של שיחות אמיתיות כל שבוע, וכל תלונה הופכת לתרחיש חדש. סט הבדיקות ממשיך לגדול כל עוד הסוכן עובד.
העלייה לאוויר היא הרגע שבו החומר האמיתי מתחיל להגיע. לקוחות כותבים דברים שלא עלו לצוות שלכם בראש. חלק מהשיחות ילכו טוב, חלק יסטו, ואלה שסוטות הן התרחישים הבאים.
השגרה שלנו אחרי העלייה:
- כל שבוע מישהו קורא 10 עד 15 שיחות אמיתיות, חלקן באקראי ועוד כל שיחה שהסתיימה בהעברה לבן אדם.
- כל תלונה הופכת לתרחיש, בין אם היא הגיעה מלקוח, מהצוות או מבעל העסק. אותו כלל כמו לפני העלייה: קודם תרחיש שנכשל, אחר כך התיקון.
- כל שינוי בפרומפט, בעובדות, בכלים או במודל מריץ מחדש את כל הסט.
זה עוזר מאוד כשכל שיחה נוחתת במקום שהצוות כבר מסתכל עליו. אם הסוכן כותב כל ליד ואת השיחה שלו ל-CRM, המדגם השבועי הוא פילטר במסך שאתם כבר עובדים בו. על החיבור הזה כתבנו בסוכני AI וה-CRM שלכם.
שאלות נפוצות
כמה תרחישי בדיקה סוכן AI צריך?
התחילו מכ-20 שיחות אמיתיות, כולל הקשות בכוונה. זה מספיק כדי לתפוס את רוב הדפוסים לפני העלייה לאוויר. אחר כך הסט גדל בתרחיש אחד בכל פעם שתשובה אמיתית משתבשת, ולכן סט הבדיקות של סוכן ותיק בדרך כלל גדול בהרבה מזה שהוא עלה איתו.
המודל יכול לשפוט את התשובות של עצמו?
הוא יכול, אבל אנחנו מעדיפים שלא. השתמשו במודל שופט נפרד עם מזהה מודל קבוע, ותנו לו את העובדות המאושרות ואת המחירון כחומר ייחוס. מזהה קבוע שומר על סטנדרט יציב בין הרצות, וחומר הייחוס מוודא שהוא מדרג מול העסק שלכם.
בעל עסק בלי רקע טכני צריך להיות חלק מהבדיקות?
כן, והוא הבודק הכי שימושי שיש לכם. אצלנו בעל העסק ושני אנשי צוות כתבו 31 הערות בסימולטור לפני העלייה, ו-6 תרחישים נולדו מהן. כל מה שהם עושים זה להתכתב עם הסוכן ולהגיד מה נשמע לא נכון.
כל כמה זמן מריצים את הבדיקות מחדש?
בכל פעם שמשהו משתנה: הפרומפט, קובץ העובדות, כלי או המודל. מריצים את כל הסט, כל פעם. רוב הנסיגות מופיעות בתרחיש שלא היה לו שום קשר לשינוי שעשיתם.
בדיקה של סוכן AI שונה מבדיקה של צ'אטבוט?
בחלקה. צ'אטבוט רק מייצר טקסט, אז מדרגים את הטקסט. סוכן גם מבצע פעולות (בודק מחירים, שומר לידים, מעביר לבן אדם), אז בודקים גם שהכלי הנכון הופעל ברגע הנכון. ההשוואה צ'אטבוט מול סוכן AI מסבירה את ההבדל.
הצעד הבא
אם יש לכם סוכן שעומד לפגוש לקוחות, או כזה שכבר פוגש אותם וממשיך להפתיע אתכם, דברו איתנו. נעזור לכם לבנות את 20 התרחישים הראשונים מהשיחות שלכם ונגיד לכם מה הם מצאו. בעמודים של סוכני AI וסוכני וואטסאפ אפשר לראות מה אנחנו בונים.



