פוסט שכתבתי על הרצת מודלים פתוחים בענן. עושה סדר בספק תשתית

פוסט שכתבתי על הרצת מודלים פתוחים בענן. עושה סדר בספק תשתית וראוטר. בהמשך יהיה על מודלים לוקלים על מוכנה לוקלית שווה לעקוב וכו
פה, אני גם יכול לדבר על המטא דטה של הפוסט, כמובן שגם קרוסלה נ"י נעשתה על ידי OPEN SLIDE.
https://go.chatlytics.ai/r/cg2IwPz

Open models in the cloud map | Netanel Rotemכשאומרים "מודל קוד פתוח", הרבה מפתחים עדיין מדמיינים מחשב עם GPU שיושב בבית. בפועל, זאת רק דרך אחת מתוך חמש. שואלים אותי הרבה איך מריצים מוד

אנת'רופיק: Claude Code יפסיק מעכשיו לחכות לאישור שלכם על כל פעולה

https://go.chatlytics.ai/r/RaUeXTL

אנת'רופיק: Claude Code יפסיק מעכשיו לחכות לאישור שלכם על כל פעולה | גיקטייםתעצרו אותנו אם אתם מכירים את התסריט הזה: אתם נותנים ל-Claude Code לרוץ, עוזבים את הסשן והולכים לעשות משהו מועיל למען האנושות - רק כדי לחזור

אף פעם לא חיכה … הטקס של לחכות לשאלה הבאה וללחוץ, לא מבין איך אפשר לעבוד ככה

alias claude="claude --dangerously-skip-permissions"

אני בדיוק מוביל פרויקט בעבודה שלי של קלוד בתוך קונטיינר עם צמצום של מעל 99% מהחולשות אבטחה שלו. אפרסם פה כשזה מגיע 😁

יש לי חבר שזה היה הפיצ'ר שהוא היה אחראי עליו בopenai
הוא בדיוק פוטר

NanoClaw

ננו עוזר, בי דיזיין אבל זה בהחלט לא הסוף.
וזה די אמיץ לשים OPENCLAW בחברה. רק אומר.

משהו בסגנון?
https://go.chatlytics.ai/r/fU93lnP

הרעיון דומה, אבל עם יותר הקשחות ומניעה לגישה לקרנל
ככה שהכי גרוע שתוקף יכול לעשות זה רק לכתוב קבצים

למה שיכתוב קבצים? אפשר לעשות mount עם דגל ro בכל מקום שאתה לא רוצה שיכתבו.

למה לא פשוט e2b וכאלה ?

אם אתה מריץ את האייג'נט שלך בענן או אפילו במחשב אתה רוצה שהוא יכתוב מחוץ לקונטיינר שלו

זה גם אחלה פתרון האמת כי הם אשכרה מטפלים באיסולציה, ה-use case שלנו הוא קצת אחר דורש פחות overhead

מבטיח לשתף הכל בימים הקרובים 🙏🫶

אה וזה בחינם להבדיל מ e2b

זאת אופציה אחת, אפשר להקשיח את זה יותר ועדיין להוציא את התכנים. יאללה מחכה לראות

זה אומר שאבטחת מידע איבדו שליטה!

בסוף כל המשחק זה הרשאות read/write וקריאה לכלים שונים

מה ההרשאות שאייג׳נט עצמאי מקבל

Https://mcpip.ai

זה סבבה אולי בתור כלי פנימי שיכול לעזור במשהו (גם, עם הרבה רבה הרבה זהירות )
אבל בחיים לא הייתי שם את זה מול לקוחות

לא צריך openclaw בתור סוכן אוטונומי, יש מספיק סוכנים long-horizon שיכולים לעשות דברים בצורה אמינה. ב-openclaw יש כמות אדירה של bloat וחיבורים לדברים שלא תשתמש בהם בחיים בסביבת עבודה אמיתית. עדיף להתאים את הסוכן למשימה עם משהו כמו pi, ולארוז אותו בנפרד לגמרי מכל סביבת פרודקשן. (דרך אגב, openclaw בנוי על pi). אם אפשר להריץ אותו air-gapped על מכשיר ייעודי ורק עם חיבור למה שהוא צריך, זה יכול לעבוד.

לבנות על לאנגגראף?

בדקתם גם נונו?
https://go.chatlytics.ai/r/AvDZ8PQ

זה מבודד יותר טוב את הסביבה של האייג'נט, אבל זה לא מקטין את החולשות שבאות בקונטיינר (למשל כל ה bloat שמגיע בדביאן , מה שנקרא slim למינהם)

הפתרון שלנו הוא לא במקום, אלא בנוסף

כלומר מקשיח יותר את הסביבת הרצה עצמה

גם בסביבת sandbox אם לתוקף יש גישה למכונה אפשר לעשות escape from container או במקרים מסוימים escape from VM

אז המטרה שלנו היא בכלל להקטין למינימום את הוקטורי תקיפה האפשריים

דווקא e2b ומה שדומה לו זה שכבת הגנה נוספת שמאוד מאוד כדאי

אפשר. אבל צריך להכיר את ההבדל בין workflow מוגדר מראש לבין סוכן שיש לו מידה של אוטונומיה והצעדים שלו לא מוגדרים מראש. את שניהם אפשר לעשות עם LG, אבל אני מרגיש שהם יותר חזקים ב-workflows. פרויקט כמו pi בנוי בצורה יותר מתאימה לסוכן אוטונומי שאתה יכול לבנות לפי משימה.

gvisor ?

אז הרמס?

אולי השילוב של ננו והרמס? הרמס המתכנן והמבקר , וננו מריץ

איזה פתרון יש לכם?

איזה ננו? כאילו לruntime?

אז gVisor פותר בגדול את אותה הבעיה שציינתי.

נניח ואני תוקף.

אני:
1. צריך לקבל גישה למכונה
2. ברגע שאני במכונה אני יכול להתחיל לתקוף

כל הפתרונות שהוצעו בגדול דואגים לאבטחה של צעד 2, של אם כבר מישהו השיג גישה למכונה הוא יכול לעשות פחות.

הפתרון שעשינו הוא לצמצם את החולשות בקונטיינר עצמו ככה שהדרכים להגיע למכונה באופן כללי יפחתו

אין סיבה למשוך מ-debian.
אתה רק צריך את ה-dependencies להריץ את ה-agent. למשל ב-opencode מספיק לך node.
בלינק שנתתי יש דוגמה ל-dockerfile.

תניח ש1 קרה כי הוא יקרה

מה אתה צריך מעבר לgvisor ?

הנחה טובה, ובכל זאת אם אני יכול לצמצם את הוקטורי תקיפה מ-3200 ל-12 אני אקח את האפשרות שלי

Node עובד על לינוקס

לא מדויק אחי
תנסה להריץ
docker run --rm -it myImmagre cat /etc/os-release

ותראה שזה דביאן מאחורי הקלעים....

הרמס יותר user-oriented, גם לדעתי לא מתאים מספיק לשימוש בפרודקשן. אבל שוב, כל אחד והטולרנטים שלו ורמת הסיכון שמתאימה למשימה שלכם. אין פה תשובות מוחלטות. לדעתי אם יש לך יכולת לבנות סוכן pi שמתאים למשימה, הוא תמיד ינצח ותמיד יהיה לך יותר קל גם להגן עליו ומפניו.

כמו כן שים לב שאתה מושך לא רק דביאן מאחורי הקלעים אלא node 20 שהוא end of life ומפוצץ פרצות

אז מה אין שום קונטיינר היום בלי זבל שלא צריך?

אתם לא מדייקים מבחינת node/linux.
קודם כל, docker עובד על לינוקס. כל מערכת אחרת שתפעילו בה docker מריצה לינוקס בשביל להריץ את docker, כולל מק ו-windows.
אז כן בהחלט דוקר רץ על לינוקס.

אבל דוקר לא מספק לך קרנל, והוא לא מספק לך מערכת, הוא רק מספק לך namespace ומשתמש באותו הקרנל של מערכת ההפעלה. כלומר אם תריץ docker על אובונטו תקבל קרנל של אובונטו.

זה מאפשר לך לבנות קונטיינרים מאוד מאוד רזים. אתה יכול לבנות קונטיינר שיש בו כלום והוא יכול רק להריץ בינארים, וזה עובד, וזה הבסיס להקשחה רצינית שיצא לי כבר לעשות.

מבחינת node צריך לבדוק, אבל אין שום חובה שהוא ימשוך alpine/ubuntu/וואטאבר.

לאלפיין אין פרוטוקול תקשורת חיצוני

אתה אומר הכל נכון אחי

דוקר רץ על הקרנל שלך ובוינדואס ספציפית הוא יותר לך את זה על ה wsl נגיד

קונטיינר זה אשליה של namespaces, cgroups וcapabities

אני? כלומר ב-writeup?
זה מלפני 8-10 חודשים כן?
אפשר אולי לעדכן, אבל אני כבר מזמן לא שם.

אבל האימג' שאתה מושך שקוראים לו node הוא למעשה סביבת node שרצה על debian

זה אחד הסקאמים הכי גדולים של דוקר

חלילה אתה, התכוונתי בכללי למי שמשתמש עדיין בנוד 20, אתה נראה לי אחד האנשים שיותר מבינים עניין

ולכן תצטרך להקים image פרטי

יאפ

או להשתמש במשהו שמישהו אחר הכין ואתה סומך עליו

אין משהו מבוסס rhel?

בפעם האחרונה שהצצתי זה רץ על משהו כמו bookworm ונותן לך glibc. בעיניי זה לא נורא. אין שם כלום, לא פייתון, לא כלים, זה מאוד מינימלי ואפשר לנעול אותו בקלות עם docker capabilities. אבל אם אתה ממש על משהו קריטי של חיים ומוות, אז אל תמשוך node, תבנה image מאפס.

יש והם אפילו ממש קידמו את podman שמתחרה בדוקר אנג'ין

כן bookwarm זה debian ובגלל זה יורש חלק מהבעיות שלו

זה למה החברה של לינוקס אוהבים את פישמן

גם אני אוהב את פודמן, המפתח הראשי של פודמן (Dan Walsh) בן אדם סופר נחמד ויש לו מלא הרצאות טובות ביוטיוב

יש חשיבות מסוימת להפצה שיש בקונטיינר אבל זה לא כל הסיפור, הדרך שבה אתה מריץ את הקונטיינר מאוד משפיעה. בסוף אתה מריץ דברים שהם לא מאובטחים, כולל האייג'נט עצמו, ה-stack של node, בהכל יש באגים וחולשות.

לגבי לבנות image מאפס יש חברות כמו echo ויש fips

פודמן זה אחלה להרבה דברים, גם לא צריך daemon כמו דוקר, שזה מצוין.

אצל אקו הכל סגור מאחורי חומת תשלום

אבל התאימות לא אחד לאחד וצריך להכיר את זה

https://go.chatlytics.ai/r/kwDXJ6uz31q5p_gcl_auMTk1OTQ1OTYzMC4xNzc2MzU0NTM3LjEzNjI5ODk5ODQuMTc3ODA3NDAxOC4xNzc4MDc0MDE3_gaMTY0Mzk5NTk3NS4xNzc2MzU0NTM4_ga_QFPVLXKPY7*czE3ODIwMzI1NzckbzU5JGcxJHQxNzgyMDMzOTgwJGo2MCRsMCRoNDU2MDQxNjAy

אצלנו יש מלא קונטיינרים מוקשחים בחינם

בלי לוגין, בלי אשראי ובלי כל מיני חרטות

יש docker sandbox

אתה עובד ב-minimus?

כן, זה לא רע
להם יש 800 חולשות
הצלחנו להוריד ל-10

זה לא ה docker הרגיל

לא הכרתי, נראה מגניב.
יש לכם Dockerfiles או שצריך להתאמץ להוציא אותם מה-image? 😅

כן אני יודע
תריץ docker scout עליו

ממש מגניב, השאלה היא האם הסוכן מצפה לכל מני כלים שיש ב images הסטנדרטיים ואם ה image מינימלי הסוכן יכשל בחלק מהמקרים ויעבוד פחות טוב או יבזבז יותר טוקנים

Docker pull
ואפילו יש לזה סקיל

פול ייתן לי את ה-image, אני רוצה לראות את ה-Dockerfile
אבל כן אפשר לשחזר

אין dockerfile, זה קונטיינר מוקשח שנבנה מאפס

איך בונים בלי Dockerfile?

לא משנה, אני אשחזר אותו לבד.
בכל מקרה כיף לראות מישהו שלוקח ברצינות סגירה של קונטיינרים. אני אסתכל על זה ואולי הזדמנות לעדכן את המאמר על ה-Sandboxes.

בניתם עם apko?

אנחנו בונים עם ספריות שלנו

זאת אחת הדרכים לעשות דיסטרולס

וגם לגוגל יש פתרון לא רע האמת

כן, מה דעתך ?

על איזה פתרון לגוגל אתה מדבר?

יש להם פרוייקט שמשתמש ב Bazel לבניית דיסטרולס

Maybe a stupid question but is this basically a hardened registry and a sandbox env? How does the sandbox differ from kata containers?