Revision 711: LLMs zuhause betreiben
About this episode
The episode discusses how to run current language and image models at home, focusing on hardware, sustainability, and practical applications.
Wir sprechen darüber, wie man aktuelle Sprach- und Bildmodelle zu Hause betreiben kann, welche Hardware dafür realistisch ist und warum das Thema gerade zwischen Datenschutz, Kostenkontrolle und digitaler Souveränität interessant wird. Schepp erzählt von seinem Setup mit einem gebrauchten Mac Studio, LM Studio, ComfyUI, lokalen Modellen und Open WebUI als Weboberfläche für die Familie. Dabei geht es nicht nur um die Technik, sondern auch um die Frage, wie nachhaltig die aktuellen Abo- und Credit-Modelle großer AI-Anbieter sind, wie viel RAM Modelle und Kontextfenster wirklich brauchen und wo lokale LLMs im Alltag schon nützlich sind. UNSER SPONSOR Im Webcafé, dem Podcast zu Webentwicklung, Webdesign und Unternehmenskultur, nehmen euch Felix und Kay mit auf eine spannende Reise durch die Welt moderner Softwareentwicklung. Gerade ihre unterschiedliche Perspektive macht dabei den Reiz aus: Felix schaut als Geschäftsführer der Geenen IT-Systeme GmbH auf Strategie, Führung und Unternehmensentwicklung, Kay bringt als Technical Lead den Blick auf Technik, Tools und Architektur ein. Genau daraus entstehen ehrliche, fundierte und persönliche Gespräche über Webtechnologien, Zusammenarbeit…
More episodes of Working Draft
- Revision 710: React- & TypeScript-Glücksrad, mit Hans-Christian Otto
- Revision 709: HTTP/3 und WebTransport, mit Max Inden
- Revision 708: Temporal, mit Philipp Dunkel
- Revision 707: ARIA-Glücksrad, die Dritte
- Revision 706: v0 und Vercel, mit Leo Reuter
- Revision 705: Browser-News-Roundup
Explore listener stats, chart rankings, contacts and more on the Working Draft podcast page.