Overcut.ai — פלטפורמה להרצת אייג'נטים, עם התמחות ב-SDLC (כ

Overcut.ai — פלטפורמה להרצת אייג'נטים, עם התמחות ב-SDLC (כל מחזור חיי הפיתוח).

במילים של יובל חזז (המייסד):
> "אנחנו מציעים תשתית לבנייה של אייג'נטים שיחיו בתוך הג'ירה והגיט שלכם — ביצוע משימות, בניה, הרצה, ניטור, ושיפור — הכל בילט-אין."

בפועל:
- אייג'נטים שיושבים בתוך ה-IDE, ה-CI/CD, והגיט — לא סתם צ'אט
- ניטור ובקרה מובנים על כל התהליך
- אגנוסטי למודלים — לא נעול על ספק אחד, תומך גם ב-on-prem
- עובד אצל לקוחות גדולים כבר מעל שנה וחצי
- יובל מציע גישה חינם לחברי הקהילה של רום — מספיק להגיד שאתה מהקבוצה

בקיצור: Managed Agents ל-SDLC, בלי Vendor Lock. 🔍

למשל איך להשתפר?
במיוחד אם אתה חולש על כל הסטאק של האינפרנס. דוגמה פשוטה, אנטרופיק יכולה להריץ ניסויים של ׳מוטציות׳ באסטרטגיה אל מול קבוצת ביקורת, על כמות עצומה של קוד שקלוד קוד כותב למשתמשים שלו, לקבוע מדדים ולראות מה אם הגרסאות השונות משפרות תפוקה, איכות, מיזוגים, וכו׳ באופן כללי או עבור מקרים מסוימים.

זה יותר מדבר על שינויים בהארנס אבל לא רק

לא לשלוח מידע חזרה לסין

להריץ לוקאלי זה דורש משאבים לפעמים גדולים, כמובן שהכל יחסי לגודל החברה. מצד שני, החברה לא תשקיע במערכת להרצה לוקאלית בלי הוכחה מוחצת על חיסכון ועל יעילות של הפתרון, דבר שאתה יכול להשיג רק…אם אתה מריץ את המודל מחוץ לחברה. ביצה ותרנגולת.

במקרה deepseek פירסמו היום או אתמול harness לכאורה מדהים - מעניין למה אה.

לא בטוח מה המנגנון שתיארת - נכון אתרופיק יכולים לעשות עליך A/B אבל מן הסתם הם יודעים מה הקוד שהם כותבים עבורך והכל חשוף להם.

כן ברור, אבל זה דורש השקעה כספית לא מבוטלת, שגדלה ככל שהחברה גדולה, וקשה להצדיק דבר כזה בלי הוכחות. אבל אתה צודק, הכל זה טריידאוף.

דרך אגב, אנתרופיק ספציפית ניסו במכוון להוריד ביצועים למשתמשים שחוקרים AI, עושים אופטימיזציה ל-inference או מבצעים אימונים.

https://go.chatlytics.ai/r/ZbAZvGG

Anthropic Walks Back Policy That Could Have ‘Sabotaged’ AI Researchers Using ClaudeThe company changed course after researchers spoke out against the policy, which would have covertly limited Claude’s ability to develop com

כשאתה מריץ משהו לוקאלית, יש לך שליטה מלאה על המשקולות וה-guardrails, והכל reproducible. זאת דרך מעולה להבטיח שאתה נשאר קונסיסטנטי בלי הפתעות ושינויים.

הכל נכון, אבל תחשוב כמה capex יש לחברה של 300 מפתחים.

נייס. "כמה הוא מבין את הכוונה שלך ואיך אתה מכוון אותו". הדבר היחיד שחשוב. אין למודלים קיום מחוץ להוויה של היוזר שלהם

כן הם יודעים מה הקוד שהם מייצרים אבל לא את כל ההקשר שלו ביחס לשאר הקוד ושאר הIP שלך. למשל, אם המודל מחפש קבצים רלבנטיים בעזרת כלים אז מה שהוא עושה משפיע על כמה הוא לומד על הריפו שלך. ואז נניח שביחס לאופן שבו הוא מחפש אפשר לעשות A/B test שהמטרה שלו היא לאו דוקא לפתור את הבעיה הספציפית שהוא אמור לפתור אלא לאסוף מידע על שאר הקוד שלך שהוא במקרה בסיס לא היה חשוף אליו.

קלוד תמיד עושה היכרות עם ה-repo, אחרת הוא לא יכול לתרום הרבה. וכל מה שהוא רואה עולה לענן. תמיד צא מנקודת הנחה שאם אתה עובד עם קלוד, הריפו שלך חשוף לחלוטין לאנתרופיק או ל-provider שאתה עובד מולו.

הבטחון שלך לא אמור להגיע מזה שתגביל את קלוד לקובץ מסוים בריפו, אלא להסכם שלך מול ה-provider. אם אני לא טועה כולם נותנים לארגונים אפשרות ל-opt out מאימון ומדיניות כזאת או אחרת של data retention. זה לא תחליף לפתרון פרטי במקרה שצריך.

אם ממשיכים לפנטז, מעניין כמה העלות לטוקן של פתרון לוקקאלי למודל עם מיליארדי פרמטרים…

לא חייב לפנטז, הקמתי מערכות כאלה ויש לנו בקבוצה גם אנשים שעושים את זה בבית :)

תחשב לבד. סביבות המליון וחצי למכונה שמיצרת בערך 1500 טוקנים בשניה.

יש פתרונות הרבה יותר כלכליים מזה, אבל הכל תלוי בצרכים

זה קצב מטורף. באיזה רמה של מודל?

קודם כל בין עושה הכרות למבין לעומק יש הרבה הבדל, הלוואי והוא היה מתאפס ומבין את הקשרים בצורה מושלמת, בפועל אנחנו עובדים בלכוון אותו שיבין מה שצריך. אין לו יכולת להבין באופן מושלם, ויש לו אפשרות לעשות explore יותר או פחות. ברור שאם אני מאפשר גישת YOLO למודל הוא יכול להגיע לכל דבר בריפו תיאורתית, אבל זה לא בחינם. כל שאר הדברים שכתבת אני מסכים :)

קימי 2.5 עם 1t

שרת של 1500t/s זה כנראה סטאפ שנועד לשרת צוות, לא אדם אחד.

אם היה משהו זול שיכול להריץ קימי למשתמש אחד בקצב של 30 טוקנים לשניה כנראה שהיו הרבה קונים. מודלים גדולים לא זזים על חומרה חלשה

זו עלות המכונה, שכנראה תיספג די מהר לפי המספרים שנתת. מה עם חשמל ותחזוקה? מה עם redundancy?

אתה יכול להריץ DeepSeek 4 Flash 0731 על 2 ספארקים במהירות 90t/s, תקבל עודף מ-40 אש"ח.

זה מספיק להמון use cases.

לא הייתי מריץ שרת קידוד מ-spark.

קצב מטורף למשתמש אחד.. (תחשוב ש-5 משתמשים יוכלו להשתמש במקביל וירגישו "כמו אנטרפרייס")

אבל למשל אם אתה משרד עו"ד שצריך לעשות RAG פרטי על הלקוחות שלך, אתה לא צריך מכונה במליון וחצי.

לא מספיק בשביל זה ספארק אחד עם ג'מה?

יכול להיות, הכל תלוי בצרכים. יש מלא אפשרויות היום, מה שאני בא להגיד זה שלהריץ דברים פרטי זה לא חלום ולא פנטזיה.

אני גם באופן אישי מאוד אוהב את זה, חוץ מ-tinkering וצלילה לעולם הטכני שזה מרתק, זה גם ממש כיף להריץ מודל ולדעת שאין לך מגבלות, תריץ כמה שאתה רוצה, והכל נשאר מקומית. בחיי לא יודע למה זה כל כך מספק. אבל זאת פשוט תחושה שאתה לא תלוי באף אחד.