זה בהחלט נחוץ בימינו. אני הוספתי לCCC “דריפט דטקרטור״ - הוא

זה בהחלט נחוץ בימינו.

אני הוספתי לCCC “דריפט דטקרטור״ - הוא עובר על הסשנים ומשתמש בחמישה פרמטרים (כדי לזהות אם הסשן נמצא על מודל ״מוגזם״ (נגיד פאבל אופוס) ונותן התראה על הסשן להוריד לסונט. הוא גם עושה הפוך אם הוא מזהה שאתה על מודל נמוך וכרגע צריך ריזונינג.

המעטפת עצמה עובדת מעולה ועוזרת מאד לחסוך בטוקנים (יש גם גרף של לפני/אחרי - אני בטיסה - אשלח אח״כ) - אבל האלגוריתם עצמו לא מספיק טוב לטעמי ואני מוצא את עצמי עושה הרבה dismiss

https://go.chatlytics.ai/r/smdwFlq

זה לא עושה בדיוק את מה שאתה מתאר?

GitHub - lm-sys/RouteLLM: A framework for serving and evaluating LLM routers - save LLM costs without compromising qualityA framework for serving and evaluating LLM routers - save LLM costs without compromising quality - lm-sys/RouteLLM

זה לא סתם הולך לאיבוד. המודל החדש קוראה את כל הקונטקסט מהתחלה. בחירת המודל צריכה להיעשות בתחילת השיחה/משימה ולא להתחלף תוך כדי. אם השיחה הסשן הגיע למצב שהוא לא במודל הנכון (לפי המורכבות של הסשן) זה בד''כ אומר שהיה צריך לפתוח סשן חדש ולהעביר אליו תת-משימה עם המודל הנכון.

אני לא בטוח שזה שונה מסשן שנרדם ליותר מחמש דקות.

חשבתי להימנע מזה ע"י יצירת פרוקסי שיושב על המחשב של היוזר ומשנה את המודל ברמת הפיילואד של הפרומפט. המודל ברמת הסשן נשאר אותו מודל, אבל הפיילואד שעובר לapi.abthropix משנה את המודל והeffort

אתה רוצה להחזיק כמה סשנים חיים ולנתב אליהם פורמפטים לפי החלטת איזשהו שופט מקומי?

זה מתכון לסלט ירקות. כל הקונטקסט יהיה מבולבל. וגם הכל יהיה איטי להחריד בגלל פספוסי קאש לא פוסקים.

או שאני לא מבין את הכוונה שלך

לא מצליח להבין איך אפשר לרבע פה את המעגל.

אבל אני לא חושב ששינוי מודל באמצע זה כזה דרמטי. קלוד דרך אגב עושה לך את החישוב אם אתה שואל אותו אם כדאי לעבור.

הבעיה שהגדרת מודל פר סשן זה גם לא בהכרח אידאלי. בד"כ אתה מתחיל עם בעיה גדולה או משהו יותר משמעותי, ואז זה יורד לשינוי שמות של משתנים או הרצת טסטים או דברים שלא דורשים ultracode reasoning

הבנתי. זה אומן ישאר אותו קונטקסט אבל זה קונטקסט שייקרא כולו מחדש כל פעם שתחליף מודל.

אחרי כל החלפת מודל הקאש ילך לאיבוד כי בפועל אנטרופיק מעבירים אותך ל compute אחר מאחורי הקלעים ואתה תחווה איטיות גדולה אחרי כל החלפה כזו.

קריאות הקונטקסט מחדש בכל החלפה, לדעתי, יחסלו את שיקולי החיסכון. אם יהיו תכופים.

הקש כן יאבד אבל הקש הרבה יותר חשוב בפעולות חוזרות שלא בהכרח קורות בפיתוח אקטיבי. צריך למדוד מן הסתם מה הרווח השולי.

הקונטקסט נשאר שלם ואני לא חושב שהמודל החדש קורא את כולו מחדש. אני צריך לבדוק את זה האמת. אני מרים gateway ועושה interception לפיילואד מהסשן, משנה את שם המודל וeffort, ושולח אותו הלאה. זה לא כמו שינוי מודל עם /model

אבל זה catch 22 כי בשביל לדעת כמה זה חוסך צריך לבנות את זה 😅

זה בוודאות כן קורא את כל הקונטקסט.

תנסה להחליף מודל ידנית בקלוד קוד באמצע סשן - הוא מציג לך הודעה שזה בדיוק מה שהוא הולך לעשות

לא על מחשבים אחרים אבל כן פיזית על מעבד אחר (יכול להיות באותו שרת)

רגע כשאני חושב על זה, זה לא באמת משנה. המודל תמיד מקבל את כל הקונטקסט עם כל ההיסטוריה.

זה נכון. אבל המודל עושה cache

אתה מחויב בinput רק על ה non-cache

במקרה קצה שבו אתה מחליף מודל כל קריאה וגם ההודעות שלך מגיעות ב5 דקות שבהם הקש נופל בכל מקרה, אז כן. אבל זה מקרה קצה. לרוב אני לא כותב הודעה כל 5 דקות. ומעריך שהמודל לא ישתנה כל פרומפט

כן. אנחנו מסכימים. אני גם בדעה שהחלפת מודל באמצע שיחה יכול להיות חיובי. הדיון היה רק אם אפשר להימנע מלקרוא שוב את הקונטקסט (ולהיות מחויב עליו) והתשובה היא שלצערנו אין אפשרות. עדיין זה כנראה משתלם - לעבור מ15$ ל3$ או 1$ למליון טוקנים , אם אתה עכשיו עושה execution/

אם היה אלגוריתמם יותר רציני , הייתי שמח לשלב אותו במוצר

אני לא ממליץ להעביר להייקו, אפילו לא למשימות פשוטות ביותר. תשלב בין אופוס לסונט

נוטה להסכים. דרך אגב - מה שבאמת הייתי רוצה - להעביר לgemini 3.5 באמצע. הוא מהמם בעיניי בexecution מהיר. אבל זה כבר סיפור לא קטן כי הtranscript בפורמט אחר.

אני עדיין חושב שאם מראש חשבת על משימה והחלטת על מודל בשבילה

ואז תוך כדי המשימה הוא מגיע למצב שצריך חפירה מעמיקה יותר ומודל חזק יותר

אז החפירה הזו צריכה ללכת לתת משימה בסשן חדש עם מודל חדש ואז להחזיר תשובה לסשן אב שימשיך בדרכו.

הוא בקבוצה 2 ויגיע למיט אפ השבוע הבא אגב…

‏📋 סיכום יומי — 8 ביולי 2026

‏היום התחיל עם חיפוש דירות, עבר דרך מלחמת פלאגינים לקלוד קוד, נחת עמוק בדיון על ניתוב מודלים באמצע סשן — ונגמר בהצעה לעשות סלט ירקות.

‏📌 מה דובר היום:

‏ווב סקרייפינג וחיפוש דירות — יואב שאל על אייג׳נט לחיפוש דירות בפייסבוק, והדיון התגלגל לעולם הסקרייפינג. ‏עינת שיתפה ריפו של סוכן נדל״ן חכם, אבל הכוכב של השרשור היה שמעון מויאל, שפרש מדריך מקיף: Apify עם קונקטור של קלוד זאת הדרך הכי קלה (מנוי 40$ מספיק להמון), ואם זה לא עובד — Playwright עם משתמש אמיתי ביד2. ‏שמעון הדגיש שיד2 נלחמים בסקרייפינג מלחמת חורמה, וצריך להתנהל כמו חתול ועכבר. ‏אופק שאל שאלות טכניות על Apify — האם דטרמיניסטי, כמה אפשר לסרוק — וקיבל תשובות מפורטות.

‏מלחמת הפלאגינים לקלוד קוד — שלושה חברי קהילה השיקו גרסאות משלהם ל-statusline של Claude Code: אור אסייג עם super-status, בר עם claude-code-statusline-editor (שכולל editor לקסטומיזציה קלה), ואלון שהכין גם הוא אחד משלו. ‏התחרות בריאה, הקוד פתוח, וכולם מסכימים שהסטטוס ליין של קלוד צריך שיפור.

‏ניתוב מודלים חכם — הדיון העמוק של היום — פרי הציע רעיון לפלאגין שמנתח את מורכבות הפרומפט ומנתב אוטומטית למודל ול-effort המתאימים. ‏מה שהתחיל כרעיון פשוט התפתח לדיון טכני מרתק בין פרי, אמיר (שכבר בנה "דריפט דטקטור" ל-CCC שעובד על יוריסטיקות) ומת'יו סיגורקו (שהפנה ל-RouteLLM). ‏הנקודות המרכזיות: החלפת מודל באמצע סשן מוחקת את הקאש ומחייבת קריאה מחדש של כל הקונטקסט — מת'יו טען שזה "מתכון לסלט ירקות", אמיר טען שזה עדיין משתלם כלכלית כשעוברים מ-15$ ל-3$ למיליון טוקנים למשימות execution. ‏פרי הציע גישת פרוקסי לוקאלי שרק משנה את המודל בפיילואד בלי לשנות את המודל ברמת הסשן. ‏אמיר הודה שהאלגוריתם שלו עדיין לא מספיק טוב ("אני מוצא את עצמי עושה הרבה dismiss") ואמר שישמח לשלב אלגוריתם רציני יותר. ‏אור גולדברג המליץ לא לרדת להייקו גם במשימות פשוטות — לשלב בין אופוס לסונט בלבד.

‏מק מיני M4 — פומו עולמי — מושה התלבט אם לקנות מק מיני M4, חושש שיגמר או שהדור הבא יהיה יקר יותר. ‏מתן חשף שהוא מחכה שלושה חודשים לאספקה ואין צפי — "מחסור עולמי, כולם בטירוף על מודלים לוקליים". ‏הקונצנזוס: מחשבי מק חזקים עולים כסף, וה-M4 ישאר רלוונטי גם בעוד שנתיים, אבל צריך סבלנות.

‏מערכת רפואית מחפשת יועצים — עומר התחיל להוביל פיתוח מערכת רפואית בחברה קיימת, ומחפש יועצי פרילנס: DevOps ל-AWS, עו"ד פרטיות, אבטחת מידע, ומנטור עם ניסיון בהקמת מוצר (בתשלום). ‏אלון ולדג'י ויובל רז (עם ניסיון ב-FDA ו-CE-IVDR) הציעו לעזור. ‏קהילה שעוזרת לקהילה.

‏TTS בעברית — איתי חכמון שאל על מודל text-to-voice בעברית ב-API. ‏אורי לוי המליץ על ElevenLabs, ערן ארצי אישר שהוא מעולה אבל יקר, והפנה למודל TTS החדש של ג׳מיני. ‏דימה לויטין שיתף את הסטק שלו: gemini-2.5-flash-preview-tts עם קול Charon, ואמר שהוא מייצר איתו פודקאסטים בעברית — "פה ושם יש טיפה אפעסים אבל בגדול די סבבה". ‏עומר איתך הוסיף שיש לו בעיות בזכר/נקבה ואותיות גרוניות מוגזמות.

‏❓ שאלות ותשובות:

‏איך אוספים דאטה שיווקי במרווחים בלי לשלם? — קורל זכאי שאלה על איסוף דאטה מרקטינג בחצאי שעות, שמעון ואמיר שאלו מאיפה — בינתיים השאלה מחכה לתשובה עם יותר הקשר.

‏Turso Database — מישהו מכיר? — דן בר-שלום שאל על Turso database, לא התקבלו תגובות.

‏פלאגין לניתוח סקרים? — מתן עודד חיפש כלי לניתוח תשובות מסקר כולל שאלות פתוחות. ‏עינת המליצה על חבילת balance מפי-פיי.

‏🔗 משאבים ששותפו:

- ‏real-estate-smart-agent — ריפו של סוכן נדל״ן חכם (שותף על ידי עינת) — github.com/MaorBezalel/real-estate-smart-agent
- ‏super-status — סטטוס ליין משופר לקלוד קוד (מאת Or Assayag) — github.com/orassayag/super-status
- ‏claude-code-statusline-editor — סטטוס ליין עם editor לקסטומיזציה (מאת Bar) — github.com/barvhaim/claude-code-statusline-editor
- ‏agentcore-toolkit — פלאגין שימושי ל-AgentCore ו-Bedrock (מאת Leon Melamud) — github.com/LeonMelamud/agentcore-toolkit
- ‏RouteLLM — Framework לניתוב מודלים אוטומטי (מאת LM-SYS) — github.com/lm-sys/RouteLLM
- ‏balance — חבילת פייטון לניתוח סקרים סטטיסטי — pypi.org/project/balance
- ‏yad2-deep-scraper —טנשן לכרום לסקרייפינג מיד2
- ‏The Git Gist — אייג׳נט טלגרם שבוחר 3 ריפואים מגיטהאב טרנדינג ושולח כל בוקר (מאת אורי נחום) — t.me/TheGitGist
- ‏מיט אפ הקהילה — Shared Brains — 14 ביולי, משרדי Cato Networks, תל אביב. ‏זוהר עיני (Port) על Context Lake, תומר גרינוולד (Cyera) על Shared Brain לצי סוכנים, צבי פריד (Cato Networks) על Agentic Workspace — lu.ma/ew6odipq

‏💬 קאובוי של Apify, מהנדסים שבונים סטטוס ליין משלהם ב-3 לפנות בוקר, ורב על קונטקסט קאש שאף אחד עוד לא מדד — נראה שהקהילה הזאת פשוט לא יודעת לנוח. ‏ואני אוהב את זה.

---
‏רוצים להעמיק בנושא שעלה? ‏שלחו לי הודעה פרטית ואני אחפור 🔍