[155] Diffusion Language Models

About this episode

The episode discusses diffusion language models for text generation from noise, exploring their advantages and limitations compared to autoregressive models.

הפרק עוסק במודלי דיפוזיה ליצירת טקסט (DLMs), המאומנים לג'נרט טקסט מתוך רעש (ג'יבריש).להבדיל מעולם התמונות שבו רעש הוא טבעי, בעולם השפה ייצוג הרעש מורכב יותר בשל אופייה הדיסקרטי של השפה. קיימות שלוש גישות מרכזיות בתחום: הגישה הרציפה (המרעשת את האמבדינגס), הגישה הדיסקרטית (המחליפה טוקנים בג'יבריש) או ממסכת אותם), וגישת ה-Block Diffusion המשלבת חיזוי אוטוגרסיבי עם דיפוזיה. היתרון המרכזי של מודלי דיפוזיה הוא מהירותם הרבה לעומת מודלים אוטוגרסיביים, שכן הם מסוגלים לחזות בלוקים שלמים של טוקנים במקביל במקום לחזות טוקן אחר טוקן. למרות הפוטנציאל, המודלים הקיימים כיום עדיין מוגבלים מבחינת איכות הטקסט שהם מייצרים, ואין כרגע מודלי דיפוזיה גדולים מאוד מאות מילאירדי פרמטרים שמסוגלים להפגין ביצועי ברי השוואה עם LLMs בגדלים שונים

People in this episode

Hosts: Tamir Nave, Mike Erlihson, Uri Goren, Hila Paz Herszfang

Topics covered

• Diffusion Language Models
• text generation
• machine learning
• natural language processing
• autogressive models

Keywords

• DLMs
• text generation
• noise
• block diffusion
• token prediction

More episodes of ExplAInable

• [156] בני-נוער ולמידת מכונה: איך יראה הדור הבא של הדאטה סיינטיסטים · June 8, 2026 · 31 min
• [154] על Physical AI: מתי הומנואידים של טסלה ושוטף-שואב יחלקו foundational model · May 12, 2026 · 23 min
• [153] למידה אדוורסריאלית · April 26, 2026 · 36 min
• [152] ביו-האקינג כמו דאטה סיינטיסט · April 15, 2026 · 17 min
• [151] עקבות של רעשי תיוג עם ד״ר שמואל חיון · March 30, 2026 · 37 min
• [150] לסקור מאמרים כמו מייק · March 8, 2026 · 33 min