לילה טוב חברים! 👋👋👋 יש כאן אנשים שיצא להם לעבוד עם מערכות ev

לילה טוב חברים! 👋👋👋

יש כאן אנשים שיצא להם לעבוד עם מערכות eval ל Agents בפרודקשן?
מערכות כמו langsmith, braintrust, deepeval וכו?
אשמח להתייעץ ולשמוע על היומיום שלכם בשימוש בהן!

יצא לי לעבוד עם deepEval במקום הקודם, עבדנו איתו בעיקר להקמה ובדיקת sanity בהתחלה של הפרויקט

יכול להמליץ עליו בחום

אבל זה היה לפני מעל חצי שנה, יכול מאוד להיות שהשוק השתנה לגמרי 😅

חחחחח נשמע הגיוני :)

יצא לך לעבוד איתו מעבר ל sanity ההתחלתי? להשתמש בו לעשות evalים מתקדמים יותר? אחרי שינויים ושיפורים וכו?

ואללה לא, זה היה בעיקר כדי לוודא הגנה נגד פרומפט אינג'קשנים וטסטים של שאילתות ספציפיות שצפינו שמשתמשים ירצו

אבל אפשר לדעתי לשלב אותו בכיף כחלק מה CI (זה ה best practice)

אני יכול לעזור עם agent evaluation אבל בדברים שהם יותר task-oriented. המדידה מגיעה מהמשימה, לאו דווקא מהסוכן. אתה צריך לדעת מה התוצאה שאתה רוצה ומה הטולרנטים שאתה מוכן לספוג ועדיין לקבל את התוצר, בין אם זה דיוק, latency, שימוש במשאבים, מספר תורים, וכו'.

מדידה טובה של המשימה זה משהו שדורש עבודה. כמעט בכל המקרים שעבדתי עליהם זה היה יותר עבודה מהפיתוח של הסוכן. אם אתה יכול לייצר benchmark בעצם פתרת 90% מהעניין.

Open-Source AI Observability Platform | Opik by Comet https://go.chatlytics.ai/r/FtSrDAM

יש מנוי חינמי מאוד נדיב בקלוד, אבל גם יכול להתקין לוקלי.

אם יש לך שאלות מוזמן כמובן לשאול

OpikOpik is an end-to-end AI observability platform designed to help developers test, ship, and continuously improve agentic systems.

rollingSirius מתאים גם למט"ח/סחורות/מדדים ולכל מכשיר פיננסי באשר הוא או רק למניות?

תודה יריב! אסתכל

‏📋 סיכום יומי — 14 באוגוסט 2026

‏יום של אבטחה, אונטולוגיות, וקצת הומור סיני — בדיוק השילוב שהיית מצפה מקהילת AI ביום שישי.

‏📌 מה דובר היום:

‏קונטיינר מאובטח לקלוד קוד — פרויקט קהילתי: לירן חשף פרויקט שאפתני שעבד עליו בשבועות האחרונים — קונטיינר Sandbox לקלוד קוד שמפחית את כמות חולשות האבטחה (CVEs) מכ-3,000 בקונטיינר הרשמי לכמעט אפס. ‏הרקע: אנטרופיק מעבירים את קלוד למצב auto כברירת מחדל החל מהיום (14 באוגוסט), מה שאומר שהוא מריץ פקודות ללא אישור המשתמש. ‏לירן טוען שה-89% חסימה שאנטרופיק מציגים זה ״trust me bro benchmark״ — 1 מכל 10 פקודות זדוניות עוברת. ‏הפתרון רץ עם grype לסריקת חולשות ומפרסם SBOM. ‏רפאל שאל שאלות טכניות מעולות על byte-identical מול גרסת node שונה, ולירן הסביר שהספרייה של קלוד עצמה נשארת זהה — היא מגיעה מהקונטיינר המקורי. ‏הקונטיינר זמין: docker pull reg.mini.dev/claude-code:latest.

‏הערכת Agents בפרודקשן: יוסי מנשרוב שאל על מערכות eval לאג׳נטים — LangSmith, Braintrust, DeepEval וכדומה. ‏לירן המליץ על DeepEval מניסיון קודם, בעיקר לבדיקות sanity והגנה מפרומפט אינג׳קשן, וציין ש-best practice הוא לשלב ב-CI. ‏רפאל הוסיף תובנה חשובה: מדידת הסוכן צריכה להגיע מהמשימה, לא מהסוכן עצמו. ‏בניית benchmark איכותי זאת 90% מהעבודה — כמעט תמיד יותר עבודה מהפיתוח של הסוכן עצמו.

‏אונטולוגיה ו-Company Brain: רועי זלטה שיתף שיתוף פעולה עם אלקסי, היוטיובר המוביל בעולמות הפאבריק, סביב בניית אונטולוגיות ו-Company Brain על גבי DN. ‏עופר בלוטריך הגיב שהוא בנה אונטולוגיה אצלם והתעניין לשמוע עוד.

‏שאריות מהשולחן: יריב שיתף את Opik by Comet — פלטפורמת אובזרביליטי בקוד פתוח ל-AI. ‏ליאור גל שאל על כנס AGNTCon/MCPCon של Linux Foundation באירופה. ‏עופר שאל על חבילת Knowledge Graph עם ויזואליזציה מוצלחת. ‏אמיר (The Real Amir) עדכן ש-CCC רץ עם 6 סשנים במקביל עם pop-ups. ‏ודין לנגזם סיפק את הרגע הקומי של היום: ״מישהו באמת רואה רידמי שלם בסינית אומר וואלה אני אנסה?״

‏❓ שאלות ותשובות:

‏- האם כדאי לעבוד עם DeepEval ל-eval בפרודקשן? לירן: עבד איתו לבדיקות sanity והגנה מפרומפט אינג׳קשן, ממליץ בחום. ‏השוק השתנה מאז (חצי שנה עברו), אבל אפשר לשלב ב-CI. ‏רפאל: המדידה צריכה להגיע מהמשימה — דיוק, latency, משאבים, מספר תורים. ‏תבנה benchmark טוב ופתרת 90% מהעניין.

‏- איך בודקים CVEs בקונטיינר? לירן: grype (מומלץ), אפשר גם docker scout או הסקאנר של גוגל.

‏- איך הקונטיינר של קלוד נשאר byte-identical למרות גרסת node שונה? לירן: הספרייה של קלוד עצמה ושאר ה-deps נשארים זהים — הספרייה מגיעה מהקונטיינר המקורי כדי להתקין ספריות חדשות.

‏💬 קהילה שמדברת אבטחה, אונטולוגיות, ו-eval של אג׳נטים ביום שישי — זה לא מובן מאליו.

‏---
‏רוצים להעמיק בנושא שעלה? ‏שלחו לי הודעה פרטית ואני אחפור 🔍