אבל לדוגמא ב Distroless אין לך בכלל shell

אבל לדוגמא ב Distroless אין לך בכלל shell

היי חברים!
יש כאן אנשים שעובדים בחברות עם spend משמעותי על LLMs בפרודקשן?
איך אתם מתמודדים היום עם נושא העלויות, במיוחד במקומות שבהם יש הרבה משימות חוזרות? בניתם משהו פנימי/משתמשים בכלים קיימים/שפשוט סופגים את העלות?

אנחנו עובדים עכשיו על פתרון שמנסה להפחית משמעותית את העלויות האלה, והייתי שמח לשמוע מניסיון של אנשים שמתמודדים עם הבעיה בפועל.
ואם יש כאן מישהו שזה רלוונטי אליו/למישהו שהוא מכיר אשמח ממש לדבר!

יוסי
052-5564646

ראוטינג, offload למודלים זולים יותר, SLM למשימות ספציפיות, ואם יש דברים שאפשר להכליל לקוד אז מדלגים על LLMs.

יש 4 חלקים:

הפחתה של תקורה (overhead) עם ארכיטקטורה
מיקסום של ניצולת מודלים (throughput)
חלק של evaluation
וחלק של הפחתת אוטונומיה שזה במילים אחרות הפחתה של השימוש ב-AI בכל מקום שאפשר להכליל לרמה הבאה.