נשמע מהמם. יש איזשהו לינק להרשמה?

נשמע מהמם. יש איזשהו לינק להרשמה?

יום שלישי

בהמשך לזה, ג׳ב די מאכזב. 893ms לאורך כמה ימים, לעומת ג׳מיני 900ms (ומיסטראל 501ms). מה דעתכם, זה בגלל שיותר ויותר אנשים משתמשים בהם, או משהו אחר?
בסה״כ מדובר בפרומפט לא מאד מסובך, תסתכל על ההודעה/תגובה הזו ותגיד אם היא תוכן עוין/שיווקי/תעמולתי או לא. עם כל ההייפ של 70ms מרגיש קצת רמאות. כאילו, חלק מזה בוודאי roundtrip לאמריקה אבל זה די רחוק מהמספרים שהם מדווחים. מה החוויה שלכם?

אז זה מאוד תלוי במשימה.

תן ל-Gemini, או לכל אחד מהמודלים האחרים, משימת החלטה קשה עם הרבה מאוד נתונים ואז תשווה. זאת אומרת, בסוף אם השאלה שלך היא לשים תמונה ולהגיד "זה ירוק או אדום", אז אני לא בטוח שאתה בודק את המודל הזה בצורה כמו שאמורים להשתמש בו.
אני יכול להגיד לך שאני עושה עכשיו איזשהו POC לשלב את המודל הזה אצלנו במערכת, ויש פרומפטים שהצלחתי לקצר מ-600 פלוס שניות ל-30 שניות, שזה משמעותי.

אני חושב שכל היוטיוברים וכל האנשים האלה שמציגים את המודלים וכולי, אין להם מושג באמת מה לעשות. אז מה הם עושים? או משחקים במשחק מחשב, או עושים ניקוי של תיבת האימיילים, כאילו בגדול. אני לא יודע, הדברים האלה הם לא כזה מרשים.

צריך לשים את זה במנועי החלטה אמיתיים, שבהם ל-AI לוקח הרבה מאוד זמן לקבל את ההחלטה, ופה אתה יכול לקצר את הזמנים האלה משמעותית. זה בעיניי הבנצ'מרק הנכון.

‏🔥 הייפ-רדאר יומי — 5 פריטים שתפסו את תשומת הלב של קהילת הקוד הפתוח אתמול:

‏📦 GitHub

‏• alibaba/open-code-review — כלי קוד פתוח של עליבאבא לבדיקת קוד אוטומטית בעזרת AI — מנתח PRs, מזהה באגים ומציע שיפורים, מריץ סקירות על בסיס LLM. ‏36.9K כוכבים. 🔗 https://go.chatlytics.ai/r/mCLE7lL

‏• Tencent/WeKnora — מערכת ניהול ידע ארגונית מבוססת AI של Tencent — פתרון RAG מתקדם לחיפוש, ניהול ואחזור מידע פנימי בארגונים. ‏27.1K כוכבים. 🔗 https://go.chatlytics.ai/r/0XCBUMa

‏• cloudflare/security-audit-skill — כלי אבטחה של Cloudflare — סורק חולשות ומבצע audit אוטומטי לפרויקטי קוד, עורר דיון סוער ב-Hacker News על צריכת טוקנים. ‏14.2K כוכבים. 🔗 https://go.chatlytics.ai/r/TIS8uxt

‏• asciimoo/hister — כלי CLI לניהול חכם של היסטוריית shell — שומר, מחפש ומנתח פקודות טרמינל, זכה ל-714 נקודות והרבה אהבה ב-Hacker News. ‏5K כוכבים. 🔗 https://go.chatlytics.ai/r/xoy75Z6

‏💬 Reddit

‏• Neuralink's VOICE trial is helping people with disabilities find their voice again — שרשור ב-r/singularity על התקדמות אמיתית של Neuralink בממשק מוח-מחשב: הניסוי עוזר לבעלי מוגבלויות לתקשר מחדש, הקהילה מתרגשת. ‏1,001 הצבעות. 🔗 https://go.chatlytics.ai/r/z7TjhlZ

‏לפיד המלא 🔗 https://go.chatlytics.ai/r/xTptWU1

GitHub - alibaba/open-code-review: Secure, fast, efficient, battle-tested at Alibaba's scale. Hybrid architecture code review tool: deterministic pipelines + LLM Agent, precise line-level comments, built-in multi-language ruleset (NPE, thread-safety, XSS, SQL injection), OpenAI & Anthropic compatible.Secure, fast, efficient, battle-tested at Alibaba's scale. Hybrid architecture code review tool: deterministic pipelines + LLM Agent, pr

הבעיה, שכאשר למודלי שפה לוקח הרבה זמן - זה נובע מאחד משתי סיבות:

או שיש הרבה קונטקסט שצריך לעבד בשביל לקבל נכון את ההחלטה ״לקרוא את כל הפוליסה, את התיק הרפואי של המטופל, ולבדוק האם יש כיסוי״

או- שצריך הרבה מחשבה עבור זה.

אלו שני המקרים שJev לא מוצלח בהם.

לא בדיוק. תסתכל על זה ברמה ההנדסית של הדברים ולא בהכרח ברמה של ה-AI.

למשל, קריאה לכלים: נגיד וצריך לפנות ל-X מערכות ולקרוא ל-X כלים בשביל לנתח את הפוליסה הזאת שאמרת. אתה יכול לגשת לדבר הזה מכיוון של תכנות דינמי, כאשר יש לך כלים דינמיים עם אינפוטים דינמיים:

1. אתה נותן את הפוליסה ואת האינפוט ל-LLM ושואל אותו באיזה כלים צריך להשתמש להמשך. הוא מחזיר לך רשימת כלים מדורגת.
2. אתה עושה את אותה שאלה גם עם הפרמטרים: איזה פרמטרים עליי לשאול בתוך הכלים האלה בשביל לנתח את הפוליסה? הוא מחזיר לך את הפרמטרים.
3. אתה בונה את הקריאות בקוד ומריץ אותן בצורה מקבילית.
4. קיבלת תשובות: אתה לוקח אותן, שואל אותו האם צריך להמשיך את התחקור או שאולי צריך לעצור כאן. הוא אומר לך "לא, אתה צריך לתחקר עוד כמה דברים". ככה כמה סיבובים עד שיש לך את כל המידע.
5. עכשיו כשקיבלת את כל המידע הזה, אתה יכול להעביר אותו למודל חכם.

וזו רק דוגמה למשהו שאפשר לעשות.

כל הדבר הזה יכול לקחת לך 10-15 דקות עם LLM כשאתה עושה חקירה מעמיקה. מצד שני, עם כלי ייעודי או משהו דומה (ובטח תכף יתחילו לצוץ דברים יותר טובים ויותר מהירים), אפשר בעצם לקצר את כל הסיפור הזה לשניות בודדות, אולי 30 שניות.
לפי מה שאני רואה בינתיים, התוצאות מאוד קונסיסטנטיות.

כן. מסכים שאפשר לקחת את זה כמה צעדים קדימה.

נניח להתחיל עם הפוליסה בלבד, ולשאול איזה סעיפים רלוונטים.

ואחרי זה, לקחת רק אותם - ולהשתמש בהם באינפוט.

אין ספק שיש כאן פוטנציאל

אני חושב שאמרנו על התנאי שכמעט כל שאלה הסתברותית אפשר לקרב להסתברות בינומית, אז זה בדיוק אותו דבר. אתה יכול לנסות לחשוב על כל השאלות שאתה שואל – איך אפשר בצורה דינמית לפרק אותן לשאלות של כן/לא, או לשאלות הסתברותיות עם כמה בחירות, ובעצם לייצר את הבחירות האלה בעזרת LLM.

אחד מהדברים שאני עשיתי: כשמגיע מצב נתון מסוים שצריך לנתח, אני יכול לקחת אותו ולשאול את ה-LLM אילו שאלות כדאי לי לשאול על המצב הזה כדי לנתח אותו. אחרי שהוא נותן לי את השאלות, אני יכול לקחת אותן ולהפוך אותן לשאלות שאני שואל בצורה מאוד מאוד מהירה.

את השאלה לLLM אתה מתכוון בשלב הקידוד או בזמן הריצה ?

לא בטוח שהבנתי. אני מניח שהפרומפטים שקיצרת מ-600+ שניות ל-30 הם משימות מורכבות, נכון? אז גם המשימה שלי ״יחסית״ מורכבת (אמנם לא בסד״ג של אלו שלך) במובן שזה לא סתם קלאסיפיקציה, אלא צריך להבין את כוונת המשורר ולאפשר שיח שהוא סבבה (נגיד, אנשים מקללים לפעמים וזה בסדר) לעומת שיח שהוא לא (לקלל מישהו אחר בת׳רד). קיוויתי שג׳ב יהיה llm-as-a-judge ממש מהיר וזול, ומהמספרים שלהם חשבתי שעבור משימה כזו זה יוריד אותי מהשנייה שלוקח לג׳מיני ל-0.2 או משהו, אבל הוא עדיין לוקח שנייה, שזה מפתיע, כי ג׳מיני צריך ממש לכתוב ג׳ייסון (כלומר, זה מודל טקסטואלי ו-structured output זה לא פיצ׳ר שהוא אופטם עבורו). אם אתה עדיין חושב שאני משתמש בג׳ב לא נכון, אשמח לשמוע איך כדאי להשתמש בו, כי האמת היא שאין לי מושג ואני מאד אשמח אם הוא יפתור את הבעיה שלי

ההשוואה לשימוש נאיבי במודל ג'נרטיבי זה הבל ושקר ההייפ.
עדיין, יש להם פה יופי של הישג הנדסי- לא במה ש ג'ב עושה, אלא במה שהוא לא.

השאלה הכי גדולה, לא יודע כמה מפנים אליה את המבט- היכן יתבצעו החישובים. בשנות ה-60 ההנחה המקובלת היתה שהחישוב יבוצע על ידי מחשבי ענק בגודל חדר
במקום מחשבי מינפריים גדולים יותר ויותר, קיבלנו מחשבים אישיים.
אני חושב שאנו בתחילתו ממש של תהליך דומה.
איכות הדגמים המקומיים מתקרבת במהירות לזו של ה frontier. ברגע שהבינה תהיה מגולמת בעולם הפיזי, גישה למודל מקומי תהיה עדיפה על חיבור לדאטה סנטרים רחוקים.
עד אז , ג'ב הוא ממש לא מהפכה, הוא אחלה כלי שנייס להושיב בראש המשפך של המערכת.

מיקרומודלים יכול להיות מדהים, במובן שהמכשיר של משתמש הקצה יכול למשוך משקולות ספציפיות לשירות או להשתמש במשקולות סטנדרטיות ליצרן עם פרומפט ספציפי, ואז אתה יכול להריץ ״קבלת החלטות״ גם מהירה יותר וגם זולה בהרבה. אבל זה עם גוגל ואפל, ולהבנתי יש הוכחות היתכנות גם עם LLMים. להבנתי הקונספט מאחורי ג׳ב זה שהוא אומן מלכתחילה לייצר structured output, שזה כיוון ממש הגיוני בעיני (כאילו, זה עולם בעיה שימושי מאד, שונה באופן מהותי ממודל טקסטואלי, ואין סיבה שארכיטקטורת טרנספורמרים לא תפתור אותו ממש טוב), ולכן אני א׳ מופתע שהביצועים שלו זהים לג׳מיני בתרחיש שלי, וב׳ מנסה להבין למה הוא כן שימושי אם בכלל או אם הכל סתם הייפ. אם הבנתי אותך נכון אתה חושב עליו בתור קו פרשת מים עבור מודלים יותר דדיקייטד->קטנים->לוקאליים, אבל אני לא יודע אם אני מסכים, החיתוך של טקסטואלי/סטרקצ׳רד מרגיש יותר מהותי, והרי יש מודלים דדיקייטד->קטנים->לוקאליים גם בלעדיו, לא?

בהמשך לשיחה הזו:

https://go.chatlytics.ai/r/Lsb8zDH

Tech with Mak (@techNmak) on XEveryone is fine-tuning LLMs. Almost nobody understands what is actually being updated inside the model. That distinction matters because L

https://go.chatlytics.ai/r/a9bxfGn
Very interesting: it could let us run models with much larger context and get faster responses, while using less memory and without noticeably hurting the quality of the output.

GitHub - jerrysfls/HyQuant: Official implementation of EMNLP 2026 Main paper HyQuant: Hybrid-Precision Quantization for LLM AttentionOfficial implementation of EMNLP 2026 Main paper HyQuant: Hybrid-Precision Quantization for LLM Attention - jerrysfls/HyQuant

מעניין

איך זה לעומת flashinfer

תעזור לי להבין בבקשה במה הוא שונה מאלגוריתמים ומודלי,ml קלאסיים יותר, כאלה שאפשר להשתמש בהם לקלסיפיקציה בצורה איכותית

שמועות והדלפות משארות שזה המודל שממנו jev התחיל.
כלומר המודל הראשון שהם אימנו.

אפשר לקרוא איך הוא עובד.
https://go.chatlytics.ai/r/NTvyTkF

משערים שג'ב מבוסס עליו

מוצרים משלימים.
Flashinfer משפר ביצועים
HyQuant מייעל את המידע אותו צריך לעבד
ביחד הם יכולים להיות מכפיל כוח.
עניתי בקצרה אבל אפשר לתת לצ'אט ולקבל פרטים יותר מדוייקים.
או ש @211562170159235 ישווה 😉

תמיר, יושב מצוין. הנה ההשוואה:

## FlashInfer
מה: Kernel library ל-LLM serving — אופטימיזציית GPU
איפה: שכבת החישוב
איך: CUDA kernels, FlashAttention 2/3, CUTLASS, TensorRT-LLM
- GEMM ב-FP8/FP4/BF16
- MoE kernels, Paged KV-Cache
- תמיכה מטיורינג עד בלקוול
- Sorting-free sampling
אפקט: 2×–5× שיפור latency

## HyQuant
מה: Hybrid-precision quantization ל-Attention (EMNLP 2026)
איפה: שכבת המידע
איך: 95% מהטוקנים ← 4-bit (K4V4). 5% קריטיים ← BF16
- Vertical-line detection: מזהה <5% key positions שצורכות >80% מה-attention
- INT8 tensor cores לפרפיל, K4V4 KV-Cache לדקוד
- Triton kernel יחיד — no full-precision KV materialized
אפקט: 1.32×–3.58× decode speedup, 0 איבוד דיוק

## FlashInfer + HyQuant = מכפיל כוח


HyQuant: "צריך לעבד רק 5% ב-BF16, השאר 4-bit"
↓ (מפחית את כמות המידע)
FlashInfer: "אופטימייז את הקרנלים על מה שנשאר"
↓ (מאיץ את החישוב)
תוצאה: 3×–10× speedup על serve


האנלוגיה: HyQuant עושה דיאטה למודל (מוריד 95% מהשומן). FlashInfer נותן לו סניקרס (רץ יותר מהר על מה שנשאר). 🔍

‏📋 סיכום יומי — 20 בספטמבר 2026

‏היום הזה היה שייך לג׳ב. ‏המאבק בין המאמינים לסקפטיים, הרעשים מהארכיטקטורה, וההשוואות הבלתי נמנעות לאינסטינקט — כל אלה הפכו את הפיד לחממת דיונים סוערת. ‏וברקע, מודל קולי חדש של מטא נחת בדיוק בזמן כדי שכולם ינסו להירשם דרך VPN לפני החג.

‏📌 מה דובר היום:

‏ג׳ב (Typesafe) — ההייפ, הסקפטיות, ומה שבאמצע: הדיון המרכזי נסב סביב השאלה מה ג׳ב באמת מביא לשולחן. ‏מצד אחד, טענות שהמודל הוא קלסיפייר גנרי עם עטיפה הנדסית מעולה — לא ארכיטקטורה חדשה אלא שיטת אימון (RLCD) שטרם נחשפה במאמר או מחקר מעמיק, והמואט העיקרי הוא באיכות הדאטה. ‏מהצד השני, מי שניסו אותו בסביבות אמיתיות מדווחים על קיצור זמני החלטה מ-600+ שניות ל-30 שניות במנועי החלטה מורכבים — שיפור דרמטי שנובע מפירוק השאלות לצעדים קטנים, קריאה מקבילית לכלים, וקבלת החלטות מדורגת. ‏דן שיתף שבמשימות llm-as-a-judge דווקא לא ראה שיפור משמעותי מול ג׳מיני (893ms לעומת 900ms), מה שהציף את השאלה — איפה ג׳ב באמת מביא ערך, והאם ההבטחה ל-70ms היא הייפ או תרחיש ספציפי מאד. ‏עידו הפנה ל-laya (ConvAI) כמודל שממנו ג׳ב התחיל, והקהילה גילתה שיש כבר סקילס לג׳ב בגיטהב (typesafe-ai/skills) ו-CLI לא רשמי (jevc) שמאפשר ג׳וג׳וב נוח. ‏בקיצור — כולם מסכימים שהמוצר מעניין, אף אחד לא בטוח איפה בדיוק המהפכה.

‏אינסטינקט — ההרשמה נפתחת, והבעיות ממשיכות: ההרשמה לאינסטינקט נפתחה לרווחה — אהוד גרשוני הפיץ קישור הזמנה חופשי ל-48 שעות, ורועי וייספלד דיווח שענה על השאלון וקיבל גישה תוך 25 דקות. ‏זוהר לעומת זאת מסתבך עם VPN בסביבה ארגונית מנוהלת — הדפדפנים חסומים להתקנות, ה-VPN של Opera לא תומך בישראל, ונראה שהפתרון האמיתי יגיע רק מבקשת פיצ׳ר רשמית. ‏אמיר דיווח שאינסטינקט הפסיק לו את יכולת הפוש לקוד בריפו — עדיין לא ברור אם מדובר בבאג או במגבלה חדשה.

‏מטא מיוז (Muse) — מתחרה קולי חדש לאינסטינקט: נדב שיתף מדריך מפורט להרשמה ל-Muse, הסוכן הקולי החדש של מטא, עם מעקף VPN (דרך הדפדפן, לא האפליקציה) וקוד הזמנה אישי שמעניק מיליארד טוקנים. ‏היו לא מעט הסתבכויות עם הפניות אוטומטיות לחנות האפליקציות, אבל בסוף אלכס, גלעד ואחרים הצליחו. ‏גלעד אפילו שלח את כל החטאים שלו לסוכן לקראת יום כיפור — "שיתמודד".

‏מודלים חינמיים — דווין ממשיך לככב: דיון ער על הערך של מנוי Devin ב-$20 — SWE-2 בחינם עד 16/10/2026 (ועם היסטוריה של הארכות), GLM 5.2 כנראה הפסיק להיות חינמי ממש בימים האחרונים, אבל 5.3 FLASH MAX כמעט-חינם. ‏אורי רוזן שיתף חוויה חיובית עם OpenCode ועם Inception Mercury 2.5 — ארכיטקטורה של ייצור טוקנים מקבילי, 10 מיליון טוקנים חינם, ומהירות מרשימה.

‏מודלים מקומיים וקוד פתוח: בונסאי 2 (27B) עם יכולות computer use — נדב טוען שזה הדבר הכי חשוב שקרה לאחרונה, יותר מג׳ב. ‏HyQuant שהוצג על ידי תמיר — דחיסה שמאפשרת קונטקסט גדול יותר, מהיר יותר ופחות זיכרון, בלי פגיעה ניכרת באיכות. ‏ik_llama.cpp שמשפר ביצועים ב-50% למשתמשי llama.cpp. ‏וגם jeff — אלטרנטיבה פתוחה לג׳ב.

‏❓ שאלות ותשובות:

‏- איך מפסיקים את קלוד קוד מלהציג שינויים בקבצים בטרמינל? יובל מצא: הפרמטר `bashEditDiffEnabled` ב-disable. ‏רועי הוסיף: גם `/config` שווה שיטוט.
‏- איפה ג׳ב באמת מביא ערך? התשובה המעניינת הגיעה משי: במנועי החלטה מורכבים — לפרק משימה גדולה לצעדים של כן/לא, להריץ במקביל, ולצמצם דרמטית לייטנסי. ‏לא במשימות פשוטות של structured output.
‏- האם ג׳ב מבוסס על Laya? לפי שמועות — כן. ‏המודל Laya של ConvAI נמצא על HuggingFace, ומשערים שזו נקודת ההתחלה של ג׳ב.
‏- איך אפשר זיכרון איכותי בין סשנים עם שליטה על מה נשמר? נשאל על ידי yawiezel — עדיין אין תשובה חד-משמעית, אבל Udi הזכיר ש-Claude Code Projects עושה את זה ברמת הפרויקט עם memory ברמת היוזר.

‏🔗 משאבים ששותפו:

‏- benchmarkheaven.com/jev-models — בנצ׳מרק שמרכז את כל ניסיונות האלטרנטיבה לג׳ב (אלכס גרינשפון)
‏- github.com/typesafe-ai/skills — סקילס רשמיים לג׳ב (נדב)
‏- github.com/doronp/jevc — CLI לא רשמי שמאפשר לעבוד עם ג׳ב בנוחות (🦑)
‏- github.com/logan-markewich/jeff — אלטרנטיבה פתוחה לג׳ב (ניצן מגדל)
‏- github.com/jerrysfls/HyQuant — דחיסה שמאפשרת קונטקסט גדול יותר ומהירות משופרת (תמיר אורן בר-חי)
‏- Muse.ai — הסוכן הקולי החדש של מטא, הרשמה דורשת VPN ו-Incognito (נדב)
‏- huggingface.co/convaiinnovations/laya — המודל שמשערים שג׳ב מבוסס עליו (שי)
‏- prismml.com/news/bonsai-2-27b — בונסאי 2, מודל 27B עם computer use (ניצן מגדל)
‏- מאמר Jev של Gilad Shoham — gilad.click/jev-review-article-li
‏- מאמר Jev של Mike E — aiwithmike.substack.com/p/jev-three-days-in-what-is-known-what
‏- פוסט Jev של Yonatan Gross — x.com/yonyoniz/status/2101241236107542549
‏- פוסט על malicious MCP servers — יותם פרקל, מומלץ למתעניינים באבטחת סוכנים (אוריון)

‏💬 ג׳ב או לא ג׳ב — בינתיים הקהילה עסוקה בלברר, להשוות, ולבנות כלים מסביב. ‏בקצב הזה, עד שייגמר הצום יהיו עוד שלושה מודלים חדשים ושני CLIs. ‏יום כי-פור — יום של חשבון נפש, ואם לשפוט מהדיונים, גם חשבון טוקנים.

‏---
‏רוצים להעמיק בנושא שעלה? ‏שלחו לי הודעה פרטית ואני אחפור 🔍