אתמול בערב שמעתי על Jev של TypeSafe AI - מודל שמחזיר החלטות

אתמול בערב שמעתי על Jev של TypeSafe AI - מודל שמחזיר החלטות מובנות במקום טקסט. נשמע מעניין, אז נתתי לאינסטינקט שלי להרים את זה לבד.

מה שהוא עשה בלילה: נרשם ל-early access, חיכה בתור, עדכן אותי שההזמנה הגיעה, פתח חשבון (אחרי שאישרתי לו את התנאים), והריץ מבחנים אמיתיים מול ה-API.

מה שהוא מצא:
- החלטה מובנית ב-96ms חציון בצד שרת. לא משהו ש-LLM רגיל מתקרב אליו.
- 100 שאלות מובנות בקריאה אחת - 305ms חציון. פי 7.7 שאלות בפחות מפי 2 זמן.
- העלות של קריאת 100 השאלות: $0.0002. חמשת אלפים קריאות כאלה בדולר.
- והדבר שהכי הרשים אותי: בשאלה מטושטשת הוא הוריד את רמת הביטחון במקום לזייף ודאות.

לא צ'אטבוט. מנוע שיפוט לקוד - סיווג, routing, screening, gates. מהיר, זול, ולא מתיימר.

כל הכבוד ל-TypeSafe AI על build שעומד במה שהוא מבטיח. ול-Instinct - על ליל עבודה שלם בלי שהתעוררתי באמצע.

אז גם אני התקנתי וניסיתי קצת . נראה מבטיח. אני עדיין מנסה להבין למה אני משתמש בזה. באפליקציות שלי יש הרבה נושא של תוכן וגם באופן כללי ההחלטות הן דטרמיניסטיות. פה ושם אפשר לחסוך בהחלטות ראוטינג- אשמח לשמוע על יוז קייסס

נראה לי דרך אגב שאפשר לבנות משהו שמשלב את זה בקידוד - מזהה מתי כדאי לעשות קוד רביו או אולי החלטות חשיבות של באגים ב qa

טוב הרשת משתוללת על ג׳ב:

הרשת תמיד משתוללת מדברים חדשים עם הייפ, לרוב זה לא משקף.. הייתי מחכה לסקירות קצת יותר מקיפות, יוזקייסים אמיתיים, ולראות שזה מחזיק מעמד ועומד בהבטחה לאורך זמן. גם על ת׳ראנוס היה הייפ בהתחלה (להבדיל 😂)

@211562170159235 יכול למצוא use cases במוצרי תוכן

ניר, Jev לא כותב תוכן — הוא מחליט על תוכן. במוצרי תוכן, כל מקום שהיית שם `if/else` או מבקש מ-AI "תחליט" — Jev עושה את זה בזול מטורף.

Use cases למוצרי תוכן:

📝 סינון ובקרת איכות:
- לבדוק 1,000 פריטי תוכן — אילו מתאימים לפרסום? (96ms, $0.0002)
- זיהוי תוכן בעייתי / ספאם / כפילות
- בדיקת עקביות: "הכותרת תואמת לתוכן? כן/לא"

🏷️ תיוג וסיווג:
- קטלוג מוצרים ← קטגוריות אוטומטית
- פוסטים ← נושאים / תגיות
- תגובות ← "חיובית/שלילית/שאלה/תלונה"

🎯 Routing:
- "הבקשה הזו לכתיבת תוכן — איזה מודל/סוכן לשלוח?"
- "המייל הזה — שיווקי, תמיכה, או מכירה?"
- פיצול זרם תכנים לערוצים הנכונים

🔍 Extraction:
- "תשלוף מכתבה: כותרת, תאריך, מחבר, 3 תגיות"
- 100 כתבות בשנייה, $0.0002
- מבנה JSON נקי ← ישר ל-DB

🛡️ Gate לפני מודל יקר:

משתמש מבקש תוכן ← Jev: "צריך Astra? או ש-GLM 5.2 מספיק?"
← Jev: "זה תוכן רגיש? תן לאישור אנושי קודם"
← Jev: "התוצאה טובה? כן ← שלח. לא ← חזור ל-LLM"


בתכלס: Astra/Opus כותב. Jev מחליט. זול פי 1,000 ממה שאתה משלם עכשיו. 🔍

אני מוסיף את זה בכמה שכבות עכשיו ל memory framework שלי

זה בדיוק השימוש הנכון. Jev כ-Gate layer לפני MongoDB — להחליט מה לשלוף, מה לשמור, ואיך לנתב. הכלאה של ClawMongo + Jev הולכת להיות מפחידה ביעילות שלה. 🔍

ניסיתם אותו על עברית? או רק אנגלית

מדהים. אני ביקשתי ממנו לשלם גז והוא לחץ על כל הקישורים באתר פחות או יותר אחר כך נתתי בו אמון למצוא איזשהי חברת ניהול לבניין הוא מצא שלח מיילים לשתי חברות והבעיה הייתה שהוא שלח לכל 8 הודעות ברצף.
דיברנו על זה וביקשתי ממנו ללכת לישון אחרי שהוא שולח הודעה ולא לשלוח ומיד לחשוב שהוא לא שלח ואז לשלוח שוב, הוא הסכים ואז הוא הצליח לשלוח אליי מייל אחד שהוא לא כפול שמונה אמרתי לו שיפתח באג הוא פתח באג.
נכון לעכשיו אני בעיקר משתמש בו כדי לתמלל הודעות מוקלטות, מקווה שהוא לא נעלב..

רק קיבלתי את החשבון, עוד לא נרשמתי.

אני רואה הרבה אנשים מפרסמים, וגם ראיתי סרטונים, שהוא מתעסק באתרי אינטרנט, משחק משחקי מחשב וכולי, ואני לא מצליח להבין איך זה מסתדר עם העובדה שהוא יודע להחזיר רק שלושה דברים:

1. כן / לא
2. רשימה מדורגת (עם דירוג)
3. הסתברות

אם זה כל מה שהמודל יודע להחזיר, אז איך בדיוק הוא יודע להשתמש בכלים ולהשתמש באתר אינטרנט? זה משהו שלא מובן לי, אשמח אם תוכל להסביר.

אתה מדבר על אינסטינקט?

על typesafe, אתה הגבת על משהו שמישהו כתב על typesafe.

נראה לי שכשאתה צריך לעשות איזהשהוא פעולה אוטומטית, אפשר לבנות סקריפט שמורכב רק מהפעולות המכניות + התשובות הLLMיות המוגבלות שתיארת. אין באמת צורך לפלט של טקסט. דוגמא: לעשות scraping לאתר. או לחפש משהו באינטרנט עד שמוצאים.

Routing, judges, policy, classification

ממש במקרה אני עכשיו עובד על הגשת המיסים בארה׳ב ויש לי איזה 3000 מוצרים מאמזון שקניתי שאני צריך לעשות להם קלאסיפיקציה בין הוצאות בית והוצאות לעסק. נשמע קלאסי.

Typesafe שילם לך גז ושלח מייל? מצטרף לתהייה איך

לדעתי מתישהו השוק ילך לכיוון של פירוק "המונוליט" של ה LLM לכל מיני "מיקרו סרביסים" של מודלים שהם בעצם מומחי דומיינס.

הרי למה שאתה מגנגרט קוד לבנית תוכנה אתה צריך את כל "המוח" של שאר הדומיינים ולשלם compute עבור כל זה? זה דיי ברור שכנראה מודל שכותב קוד ב nodejs בלבד באותה רמה של astra & fable כנראה יכול לרוץ על מק עם 24gb כמו כלום. ואז אנשים ירכיבו להם את ה stack הרלוונטי. פשוט המעבר הזה דורש overhead רציני בדיוק כמו מעבר למיקרוסרביסים - ועדיין מנסים למקסם את מודלי ה AGI, וכרגע זה דיי קל להמשיך לשפוך על זה כסף - עד שזה יגיע לתקרה שלא מאפשרת את זה יותר - או שהסינים ישברו את השוק

יש למישהו הזמנה לאינסטינקט לחלוק? רוצה לנסות ולהבין על מה ההייפ

אתה יכול פשוט להכנס לאתר שלהם

https://go.chatlytics.ai/r/p4rl8Lo

תודה אבל זה הכניס אותי לרשימת המתנה, אולי זה מהיר אבל לא מיידי, אעדכן

כמה שעות תקבל מייל שאתה בפנים

יש כבר חברות שבונות את זה והן קוראות לזה specialized intelligence
השתתפתי בפודקאסט עם אנטריי שבו אנחנו מדברים על המוצר והאסטרטגיה של פיירוורקס
https://go.chatlytics.ai/r/4t1PXN0

אתה לוקח מודל בסיס אופן סורס, ומייצר low rank adapter שזה שכבה דקה של פיין טיון למודל עם המומחיות שאתה רוצה ואז אתה מקבל מודל רזה זול ומהיר עם יכולות טובות למשימות שעליהן טייבת אותו. ובגלל שהשכבה הדקה היא רק כמה מגה בייטים אתה יכול לייצר כמה כאלה על אותו אינסטנס ולקרוא להם בנפרד

פיין טיון על כל המודל? מניח שכדאי להתחיל באימון הראש אבל אח''כ להרחיב לשאר השכבות גם אם יש ראשים נוספים אחרת ההצלחה מוגבלת ליכולת הייצוג של המודל המקורי לצורך הספציפי למרות שלא אומן עבורה. יכול לשתף מניסיון אישי?

אתה מתכוון LORA

יש עוד שיטות כמו QLoRa

אני מכיר אותם מהמחקר לפרק של מג׳נרטים לא מניסיון אישי.
הטיוב גם עטוף בשירות שלהם, אני מניח שהם עושים רק את הקצה

אז הם עושים קוונטיזציה ל 4ביט כבר ברמת המודל בסיס

הרגתם אותי עם הcompression, פרק מצוין.

דווקא בקוד יש היגיון לג'נרליסט, כי מתכנת טוב מבין את הדומיין

כן אבל האם אתה צריך לדוגמא את כל הידע שלו בפיזיקה? יכול להיות שכן בחלק מה usecase אבל כנראה שלרוב לא

אז השאלה היא איך עושים pipeline שבוחר מודלים מומחים שונים לפי שאלה ואיך הם משתפים פעולה יפה

כן אני פשוט אומר, קח את המודל הגדול - תקרע ממנו coding agent model - כנראה לא נהיה צריכים את כל ה GPUs וכול ה ram - מה שמונע מאנשים להריץ אותם לוקלית.

רק לסינים יכול להיות אינסנטיב לעשות את זה כרגע

תהיה לך אותה "חוויה" כמו לעבוד מול opus ולהגיד לו לכתוב לך קוד

בשבריר מהמחיר

בחינם, לוקלי

ויהיה פשוט subscription ל stacks בשביל היוזר הפשוט או כאלו ללא 24gb וכו

כי אחרת אין פה שום הגיון, כול החברות הגדולות עדין לא רווחיות - משהו יהיה חייב להשתנות

יודעים איך אפשר להתקדם ברשימת המתנה של TypeSafe?

אני קיבלתי אישור אחרי כמה דקות

Hey, we have the capacity to support more users at this moment. Over the next 48 hours, you'll be able to invite as many people as you'd like. These invites won't be counted toward your limit. Here's your invite code: https://go.chatlytics.ai/r/hlltsI3

You're invited to InstinctA private invite from an Instinct member. Sign in with your phone number to get started.

אם מישהו עדיין צריך

אגב אינסטינקט- האינסטינק שלי מצא את זה עכשיו…

https://go.chatlytics.ai/r/H4bhvkB

יכול להיות מעניין

סבבה לתת לאינטסטינקט הרשאות גוגל להכל ?

פתחתי לו תיבת מייל

ואני עושה forward לחלק מהדברים

‏למה פתחת לו תיבה נוספת למה לא להשתמש במייל שהוא מספק? להעביר אליו דברים שאתה רוצה טיפול

לדוגמא אני מתכנן טיול כרגע, הוא העוזר האישי שלי ושולח מיילים למלונות אטרקציות וכו. מציג את עצמו כמתכנן טיולים מטעמי ומדבר דרך האימייל שפתחתי (זה מייל רגיל לחלוטין). ולפעמים אני גם רוצה להצטרף לשיחה אז אני פשוט משתמש באותו מייל ואז מציין שזה אני ולא ה״עוזר״

במייל הפנימי יש לך הרבה פחות שליטה ואתה חצי יודע קורה שם. פעם אחרונה שבדקתי אתה צריך לבקש ממנו את המייל ואין ממשק נוח

גם בלי קשר הוא מייצר לי איוונטים בלוח שנה ומשימות וכו כי יש לו חשבון גוגל בשיתוף איתי

רציתי חשבון רגיל אבל פחדתי לתת לו את הנוכחי

מהדוגמא הייתי משתמש במייל שלו ומבקש לכתב אותי לכל דבר פשוט

אתה צודק בגדול אבל אני מעדיף לדעת שזה באמת קרה וגם להיות בשליטה על זה. שגם הסיומת עם המילה instinct פחות התאים לי

והוא גם נרשם לדברים, ואז שחזור סיסמא וכו חייב להיות דרכו ופתאום צריכים לשלוח סיסמאות אחד לשני

אני גם פתחתי לו מייל כדי שיהיה לי גישה למידע ברגע שהם יתחילו לגבות על זה כסף, ככה גם אוכל להשתמש בעוזר אישי אחר אם ארצה לעבור

בכללי אני חושב כמה שיותר להשאיר מודולרי , ולא להשאיר אצלם יותר מידי דברים

על זה לא חשבתי. זו סיבה מעולה!

סליחה אני בהנגאובר של סוכנים... תשלום גז ועודף לחיצות היו עם גרוק בוט בכלל, אני צריך עוד סוכן שיוודא שאין לי הלוצינציות😅
את עודף המיילים שלח אינסטינקט.

הגבתי על הודעה של מה שאינסטינקט עשה כדי להרשם ולעבוד עם Jev. זה היה ממש מרשים אז רק שיתפתי כמה האינסטינקט שלי הרבה פחות אינטלגנט.
קונטקסט סוויצ׳ של ילד🙏🏼

חחח. ואני חשבתי שאני הוזה כבר..

ובכמה זה יותר זול מ oss או כל mini own ?
הוא זירו שוט (לכאורה)?