פרק 36: לרמות במבחן שפה ולהרוויח מיליארדים

About this episode

The episode discusses the promises and realities of language models and their performance on benchmarks.

כל מודל שפה חדש יוצא לעולם עם אותה הבטחה: "שברנו את ה-MMLU, אנחנו הכי חכמים בכיתה". אבל מי כתב את המבחן, מי בודק את המחברות, והאם הציונים האלה אומרים משהו על איך שהמודל יעבוד על הדאטה שלי? על תעשיית הבנצ'מרקים ואיך מודלים מרמים במבחני שפה.

People in this episode

Host: מיכאל לוגסי

Topics covered

• language models
• benchmarking
• technology
• business
• education

Keywords

• language models
• MMLU
• benchmarking
• education
• technology

Mentioned in this episode

Organizations: MMLU, תעשיית הבנצ'מרקים

More episodes of הפודקאסט של מיכאל

• עתיד ראיונות העבודה · June 9, 2026 · 13 min
• האתר שלכם לא מוכן לסוכנים · June 4, 2026 · 12 min
• קולוסוס והאנרגיה של אילון מאסק · May 24, 2026 · 8 min
• כריית ביטקוין במיליונים · May 2, 2026 · 14 min
• ההתרסקות של אוברון מדיה · April 25, 2026 · 13 min
• מודלי שפה לבעיות לא מילוליות · March 15, 2026 · 11 min