#265 One Billion Row Challenge: Java mit mmap, Unsafe & richtig vielen Bit-Tricks
About this episode
This episode dives into the One Billion Row Challenge, exploring Java performance and various optimization techniques.
Java und Performance in einem Satz? Für viele klingt das immer noch wie ein Widerspruch. Dann kommt eine Challenge daher, bei der eine Milliarde Zeilen Wetterdaten verarbeitet werden sollen, und plötzlich wird aus Stammtischwissen ein echter Engineering-Nerdfight. Genau darum geht es in dieser Episode. Wir tauchen tief in die One Billion Row Challenge ein und schauen uns an, wie eine vermeintlich einfache Aufgabe zum internationalen Performance-Contest wurde. Wir sprechen darüber, warum Gunnar Morling diese Challenge gestartet hat, wie aus einer naiven Lösung mit fast fünf Minuten Laufzeit optimierte Implementierungen mit rund 1,5 Sekunden wurden und welche Rolle dabei Java, GraalVM, Memory Mapping, Unsafe, SIMD, Branchless Coding, Hashmaps, Cache-Lines und Integer-Arithmetik spielen. Außerdem schauen wir auf die Kritik an der Challenge, etwa RAM-Disk, Dataset-Overfitting und CPU-spezifische Optimierungen, und wir werfen einen Blick auf alternative Umsetzungen in C, Go, PHP, SQL, DuckDB, ClickHouse, AWK und sogar auf GPU-Ansätze. Wenn du Performance-Optimierung nicht nur als Buzzword, sondern als Mischung aus Hardware-Verständnis, Datenstrukturen, Compiler-Wissen und…
More episodes of Engineering Kiosk
- #264 Seniorität im KI-Zeitalter: Eine Ode an den Junior
- #263 Das Monorepo Comeback: Project Graphs, Dev-Kultur und AI Agents mit Max Kless von Nx
- #262 Value Based Pricing: Mehr Verantwortung statt Stunden zählen mit Christoph Burchartz
- #261 Git 3.0, SHA-256, Reftables: Die Zukunft von Git mit Maintainer Patrick Steinhardt
- #260 Crazy Attacks Part 2: Acoustic DoS & Garmin Hack im Luftverkehr
- #259 Modern Fortran: Nach 70 Jahren immer noch ein HPC-Arbeitstier mit Prof. Martin Diehl
Explore listener stats, chart rankings, contacts and more on the Engineering Kiosk podcast page.