תוכל להסביר איך? איזו מערכת יש לך?
תוכל להסביר איך? איזו מערכת יש לך?
לא שימוש אישי, אני רק מי שמביא את המודלים 😁
למה אתה לא עובד ישירות מול Nvidia בשביל נמוטרון?
זה לא משהו שאתה יכול לסמוך עליו. העומס עליהם מטורף. זה נחסם ומספיק בלי התראה. זה לנסיונות און דה פלי לא ממש לעבודה. או לקלו.
קוונטיזציה NVFP4 - אחלה ביצועים.
חלון 256K, אני יכול להרחיב אם אני רוצה, אבל זה החלון הטבעי של המודל ואין לי בעיה איתו.
זה רע. רע מאוד. פלא שלא עלו על זה בנתיים. מה שאהבתי זה שאפשר לקנפג את הרמה.
כמו האישור ״אני בן 18״ באתרים מפוקפקים… מפחיד ממש
עוד חודש יקום עוזר כמו instinct שעוטף את זה - ואז גם את רמת היכולת האנושית הזו לא יהיה צריך בשביל לעשות "בדיקות" אבטחה.
נכון מאוד!!. הבעיה שוייב קודרס עושים, בהגדרה, לא רציני. כי זה וייב. אם זה רציני זה כבר תכנות.
ולא רק זה. בדיוק עכשיו אנתרופיק פרסמ דוח מקיף מה עשו עם המודלים שלה, השראה לשנים קדימה.
בדיוק אחד הסוכנים שלי פלט את זה. תוך כדי שאני כותב... https://go.chatlytics.ai/r/Op0cm1Q
@211562170159235 אז בעצם החומרה המומלצת להריץ מודלים לוקלים.
Take my money
אמיר, הנה ההמלצות מהקהילה — מתוקצב עד "תביא את הויזה":
💻 Mac (הכי פשוט)
• M5 Pro 64GB — ניקו דוידוב קנה בדיוק את זה (KSP, ~₪15K). מינימום: 24GB
• M5 Ultra / M6 — אוקטובר, עד 512GB
• אור גולדברג: "בגדול מחשבי אנבידיה הכי משתלמים" — Mac טוב, אבל לא אידיאלי
• חסרון: vllm עובד חלש על Mac. צריך MLX / OMLX / dwarfstar
🔥 NVIDIA — ההמלצה האמיתית
שלוש רמות:
₪3–5K
• חומרה: RTX 3090 24GB (יד שניה)
• מה מריץ: Qwen3.8 27B, GLM 5.2
₪40K
• חומרה: 2x RTX 6000 Pro Blackwell 96GB
• מה מריץ: DeepSeek Flash 90 tok/s, Nemotron 3 Ultra
$14K (₪50K)
• חומרה: DGX Spark (NVIDIA)
• מה מריץ: הכל, כולל Blackwell-native
RTX 3090 (אור גולדברג): "הכרטיס מריץ את כולם בצורה חלקה. Qwen 3.8 27B — לא לקוד, יותר להבנת הקשר."
Blackwell (ירון): "עשיתי דיפלוימנט על Blackwell, אנשים ממש מרוצים."
RTX 6000 Pro 96GB (רפאל): vLLM 0.28.0, "שיפור של 40% מ-MTP-3, פי 2 ממודל בלי speculative."
💰 עלויות ריאליות (רפאל, אוגוסט)
• קרוב ל-Sonnet: 20–40K₪
• DeepSeek Flash על 2xSpark (90 tok/s): ~40K₪
• Kimi 2.5 1T: ~1.5M₪ (רמת צוות)
• ענן GPU (VAST.AI): gguf-vast-server של נתנאל — זול בהרבה מקנייה
🧭 איך לבחור
• בדוק ב-canirun.ai — אלכס גרינשפון ממליצה
• ענן קודם — VAST.AI / RunPod, לפני ששמים 40K על חומרה
• אל תקנה Mac למודלים. רפאל: "הרצתי על מק בעבר, כבר אין צורך. Nvidia."
• vllm > Ollama. רפאל: "תתגבר על המפגע הטכנולוגי"
השורה התחתונה: RTX 3090 יד שניה = 80% מה-value ב-10% מהמחיר. 🔍
תודה. אמשיך לקוות שאנווידיה ייתנו לי מתנה כרטיס.
אני חושב שקצת הגזמת עם המחיר שנקבת עבור DGX Spark
המחירים האלה לא קשורים לחיים.
איפה אפשר למצוא RTX PRO 6000 ב-40K?
אני אשמח לקישור
אין מצב שזה נכון. אחד עולה בערך 15 אלף דולר בארהב
אולי זה התשלום הראשון מ4
15 אלף זה 45 אלף שקל לא?
זה לאחד. ההודעה אמרה ש2 ב40 אלף
אין לו גישה לאינטרנט, אלא אם דיברו בקבוצה הוא לא אמור לדעת את המידע הזה, אלא אם זה נתוני אימון של deepseek
אין טעם לשאול דברים כאלה אם הוא לא יכול לחפש. המחירים זזים כל הזמן
ממה שנשמע אבל - כדאי להתאפק ולא לקנות עדיין מק אולטרא כזה.
יש היום מלא אופציות, גם מעבר למה שהבוט כתב.
יש טריידאופים, אבל השאלה מה הצרכים שלך.
אבל יש מערכת משולבות ram +vram שאמורות לאפשר להריץ מודלים יחסית גדולים. עדיין צריך הרבה ram אבל הוא זול בהרבה מgpu
אם זה סתם לשחק קצת, לא שווה מיד לקנות חומרה. אפשר להשכיר GPU ולראות אם זה זורם לך.
אם זה לצורך אמיתי, יש כמה אופציות, אפשר להתחיל ממשהו. אם מחכים כל הזמן גם קל לפספס.
הנישה של ה-self hosted מתפתחת עכשיו מהר, בינתיים המחירים רק עולים. לא יודע מה יהיה מחר אבל מי שרוצה לקפוץ למים גם לא כדאי סתם לחכות.
מבחינת צורך - הרעיון שיש משאב לא מוגבל מאד קורץ. אז אם צריך לשים על זה 4000 דולר יכול להיות שזה משתלם. אני טועה?
🗓️ מיט-אפ קהילת AI Agents — 13.10.26
Save the date. מי שהיה במיט-אפ הקודם יודע — זה לא עוד כנס. בירות, הרצאות אש, והאנשים שאתם מדברים איתם פה כל יום — פנים אל פנים.
פרטים נוספים יגיעו. בינתיים — תחסמו ביומן. 🔥
ממליץ על backmarket.com, לא יודע איך בדיוק זה עובד בארץ עם המכס אבל הם מוכרים ציוד משוחזר במחירים ממש טובים. קניתי שם m2 עם 96gb לפני בערך שנה ב-1500 יורו (שזה מה, בערך 5 אש״ח)
התשובה היא כנראה לא, בסוף רוב המודלים open weights סיניים והם לא מחויבים להצהרות של האמריקאים על האטה של הקצב בפיתוח frontier, והסינים משחררים בקצב.
לא טועה או לא כדאי לקנות כרגע?
ואם אני לא טועה - אז המק אולטרא לא ייתן את מה שאני צריך? לפי הנתונים, זה נראה מבטיח
אתה לא טועה, כדאי לקנות. קשה לי לראות מצב שבו המחירים של חומרה יורדים בעתיד הקרוב אלא להפך לדעתי הם רק יעלו כי הדרישה פשוט תעלה. כל העולם של אופטימיזציה של מודלים מתקדם גם בקצב מסחרר קשה מאוד לעקוב אחרי זה. ל@200506370748421 יש המון ניסיון עם זה
יאלא סגור - ״אינסטנט תקנה לי מק״
יש איזה ram סיני שאמור לצאת ולהגדיל את ההיצע שם, אולי זה יימתן מחירים
זה מצחיק כמה זה קל
אתמול ביקשתי מקימי לקנות דרך הapi של spaceship כמה דומיין ניימז. לא תיארתי לעצמי שהוא פשוט יילך וייקנה בלי לבקש אישור על המחיר. קנה. למזלי זה לא היה הרבה כסף (כמה דולרים)
לדעתי תוך שנה אנחנו נתרגל שהם קונים חופשי
הרבה מלל הרבה מלל הרבה מלל - חינם
קניתי!
🤣
לגמרי - דאג להגיד מלא פעמים RRN ו transformers
אגב אני אישית לא התחלתי להגיע לסטאפ שבאמת טוב על המקבוק
לא שחררו באמת. אלא רשימה סגורה.
הרבה הייפ סביב המייסד.
יכול להיות שיצליחו להיות עדיפים על LLM ליוזקייסים מסויימים של קלאסיפיקיין, רייטינג, ראנקינג וכאלה.
לא ברור הביצועים של זה בבנצמרקים.
יכולים כנראה להיות רהררנקינג מודל תחרותי.
נושך בזנב. לא בשורה גדולה.
זו ההתרשמות שלי.
אתה מתכוון שזה לא קל להגיע לסטאפ או שפשוט לא ניסית/ לא הגעת לזה? והאלטרנטיבה זה ספארק?
לא אני אומר שאישית לא הצלחתי להגיע לדיפלוי על המקבוק שבאמת טוב, וגם ספארק זה לא כזה רציני
הייתי שמח לשמוע אם מישהו מצליח באמת לעבוד לוקאלי על המק. אני בזמנו ניסיתי omlx + qwen 28b + dflash וחוץ מחום לא יצא מזה משהו באמת טוב 🙂
https://go.chatlytics.ai/r/6rMRWfq
OpenCode (@opencode) on XUnion Alpha (stealth model) is free for the next week - no data training - built for agentic coding - supports images let's see what you c
Here we go again…
מריח כמו Qwen
בגלל ה context
מישהו פה ניסה את Qwen code?? מסקרן ממש
שאלת תם. למה חשוב לאנשים הקונטקסט של מליון? הרי במילא כדאי לשמור על קונטקסט קטן לחסכון בטוקנים לא?
יש קאש. אבל זה משהו מסחרי אין משהו שבאמת עובד על מליון טוקנים. זה רק לא קורס לך. זה הכל.
זה חזק כשיש fp4 kvcache