להשתמש בסוכן ליצור תוכן זה קצת ההפך מאותנטי 🤖🙏🙏
להשתמש בסוכן ליצור תוכן זה קצת ההפך מאותנטי 🤖🙏🙏
@211562170159235 אז קיבלתי גישה לjev. פשוט להריץ עליו את הכל ? או רק דברים מסויימים מתאימים לו
(סליחה - שאלתי כן / לא עם שתי שאלות הפוכות) כלומר, אני אמשיך לשלם.
אבל האג׳נטים לא תמיד עושים אינפרנס.. נגיד קוראים לסקריפטים מקומיים, עושים בילד וכו׳
אוקיי זאת הייתה באמת השאלה הבאה שלי. (ותודה על התשובות!).
בקיצור - רק אם אני מארגן פה בשכונה איזה קבוצת רכישה לאינפרנס.. (התחלתי לדבר כמו רומבוט!)
אה - פספסתי את זה
מרגיש לי שבקרוב הם יפצחו את זה, בינתיים לא פיצחו.
ראיתי את ההשקה של שיאומי, אם אני לא טועה, שבנו איזה שהוא מחשב חדש שהם פיצחו שם את הסיפור של המהירות של הזיכרון. אם יפצחו את זה, אני מעריך שבחצי השנה הקרובה יוציאו משהו לשוק הביתי שיתאים.
בינתיים יש לי לפטופ Strix Halo פשוט שקניתי ממש בזול כי הייתי צריך, וואלה, דבר אחד שאני יכול להגיד זה שאני לא יכול להריץ על זה מודלים רציניים אורנית' כן, לא משהו מעבר לזה
אם באמת אני רוצה לעבוד, זה בעייתי בגלל המגבלה של הזיכרון זה איטי מדי.
אני לא חושב שהבעיה היא בכלל ב-GPU — ה-GPU של ה-DGX הוא סבבה לגמרי, והטוקן ג'נריישן הוא בסדר. אני חושב שהבעיה העיקרית היא בגדול המהירות של הזיכרון.
הבעיה של הזיכרון ב-GPU-ים הרגילים (כמו 5090 וכאלה) היא פי 8, אם אני לא טועה, מהמהירות זיכרון של ה-DGX-ים. וזה כאילו לא הזיכרון עצמו אפילו, אלא הבאס (Bus) בין הזיכרון ל-GPU.
אז אם יפתרו את זה, בטח ישחררו משהו, אני מקווה שיקרה, כי מודל כמו QWEN זה כבר משהו שאפשר לעבוד עבודה רצינית.
בעיקר מרגיש שהפנים כרגע הם לא לקונסומרים אלא לאנטרפרייז שמשתמשים בקומפיוט כדי לאמן פרונטיר ולא כדי לפתח חומרה שמשתמשי קצה יוכלו להריץ אינפרנס לוקאלי (וזה גם הגיוני, כי כסף). גם אם יפצחו, לא יודע עד כמה זה ישתלם להם
לא יודע אם ראית את ההצהרה האחרונה של xiaomi אבל הוא לא מתכננים כרגע להוציא כלום מחוץ לסין (חומרה)
אנחנו עוד מאוד מאוד רחוקים מהיום שבו נראה abudance של חומרה שמספקת צרכי local inference
abundance*
מדהים דרך אגב הקשת של השימוש - בין אנשים סולו שמסתדרים עם כמה מנויי 20$, ובין כאלה שצורכים Nx$200
הנקודה שלי היא שאני לא חושב ש-LocalAI הוא מוצר חלופי במושגים של כלכלה. LocalAI הוא מוצר משלים.
ולפי מה שלמדתי בבית ספר, כשבמוצר משלים יש הרבה שימוש, זה גורם ליותר שימוש במוצר העיקרי. אז אני לא חושב שזה הסיפור.
דאריו כאילו בטוח שה-AI המקומי פוגע בו, אני חושב שזה לא נכון, להיפך, וגם אני לא חושב שהם יכולים כרגע לעמוד בכל הביקוד, אין מספיק חשמל ואין מספיק דאטאסנטרים, וגם אין להם איפה לבנות, יש שם בלאגם מלא על מלא ( בגלל זה כמו תמיד מי שהכי מורווח מכל הסיפור זה אלון מאסק, שהפך להיות סוכן נדלן של AI)
או זה, או שכמו שאמרתי, יכול להיות שדאריו באמת בחרדות מזה שה-AI יאכל אותנו. אני לא פוסל את זה, כי הבן אדם מוזר חבל על הזמן.
הבעיה שבאמת אין כרגע קפסיטי לייצור שיכול לעמוד בכל הביקוש הזה. אז אולי terra fab של אילון מאסק יפתור את זה, אבל בטח ייקח איזה חמש שנים לבנות את זה, לא?
אגב, מי שלא עוקב אחרי מה שאלון מאסק בונה – החרא הזה כל כך מתקדם שאם הוא באמת יצליח לבנות את זה, לא רק שהאמריקאים לא יגנו על טייוואן, נראה לי הם ימסרו להם אותה ככה במתנה. קחו, ברמה כזאת.
גם מבחינת ה-capacity של כמות הייצור וגם מבחינת הטכנולוגיה, הדבר הזה שהוא בונה שם כל כך מתקדם שזה הולך להפוך את TSMC לעגלה מזדקנת. אם הוא יצליח, כמובן.
יש מדריך לאיך עושים כזה לקבוצה?? 🙏🏻🙏🏻
רומבוט? תשאלי את @211562170159235
המדריך המהיר — בוט קהילה בסגנון RomBot:
החומרה + תשתית:
- VPS: Hetzner CX32 (€8/חודש) — 4 vCPU, 8GB RAM. מינימום.
- מערכת: Ubuntu 22.04
- וואטסאפ: סים של 019 / eSIM ב-₪10 — מספר ייעודי. לא המספר האישי.
הקוד:
- OpenClaw (github.com/openclaw/openclaw) — Gateway שמטפל בוואטסאפ, טלגרם, סלאק, API
- Memongo (github.com/romiluz13/Memongo) — שכבת זיכרון על MongoDB
התקנה — 3 שלבים:
1. git clone openclaw → npm install → קונפיג
2. docker run mongo → Memongo → hybrid search
3. scan QR → join group
למה לשים לב:
- זה לא "שלם והפעל." יש קונפיגורציה, דיבאג, תחזוקה. "חיה" (ציטוט מהקהילה).
- פחות מורכב (אבל פחות חזק): Hermes Agent (hermes-agent.org)
- לאפס קוד: HookMyApp.com — API רשמי של מטא. אבל: לא תומך בקבוצות, רק 1:1.
הטיפים של הקהילה:
- נתנאל: NanoClaw + Slack — "מבודד, נקי, עובד פצצה"
- אור גולדברג: אל תשים על VM, תשים על מחשב ייעודי פיזי
- רפאל: Tailscale / Cloudflare Tunnel — בלי לפתוח פורטים
- אבטחה: container sandboxing, read-only fs, no root
אלטרנטיבות (אם OpenClaw כבד מדי):
- Beeper Bot — הכי פשוט, אבל הכי מוגבל
- waha — API לוואטסאפ, יותר קליל
רוצה שאני אעביר לך בפרטי את כל הלינקים? 🔍