איך באמת מריצים LLM בסקייל עצום? [עושים תוכנה]

About this episode

The episode discusses the complexities of running large language models at scale, featuring insights from AI expert Mike Ehrlichson.

מה הופך בקשה אחת ל-LLM למורכבת כל כך מאחורי הקלעים? איך מאות מיליארדי פרמטרים נדחסים על עשרות GPUs, ואיך כל ה-cluster הזה משרת אלפי משתמשים במקביל בלי להתפוצץ? אירחתי את מייק ארליכסון, אושייה בעולם הAI, ופירקנו את עולם ה-inference מבפנים: KV cache, batching, ההבדל בין prefill ל-decode, חלוקה של מודל בין GPUs שונים, ו-Mixture of Experts. דיברנו גם על למה זה הפך לאחד התחומים הכי קריטיים בעולם ה-AI - וגם איך נכנסים אליו אם אתם מהנדסים שרוצים להתחיל להריץ מודלים בעצמכם. האזנה נעימה, עמית בן דור.

People in this episode

Host: עמית בן דור

Guest: מייק ארליכסון

Topics covered

• LLM
• AI
• inference
• GPU
• technology
• engineering

Keywords

• LLM
• inference
• GPU
• KV cache
• batching
• Mixture of Experts
• AI engineering

Mentioned in this episode

Organizations: AI

More episodes of עושים תוכנה Osim Tochna

• הAI לא טועה אתם פשוט משתמשים בו לא נכון [עושים תוכנה] · June 1, 2026 · 1h 6m
• כשאייג׳נטים נשברים [עושים תוכנה] · April 5, 2026 · 36 min
• בינה מלאכותית בפרודקשן: מציאות מול דמיון  [עושים תוכנה] · February 23, 2026 · 42 min
• בינה מלאכותית 2026. מה מצפה לנו? [עושים תוכנה] · February 9, 2026 · 44 min
• קלוד קוד [עושים תוכנה] · January 26, 2026 · 52 min
• Manager README [עושים תוכנה] · January 12, 2026 · 39 min