#265 One Billion Row Challenge: Java mit mmap, Unsafe & richtig vielen Bit-Tricks
From Engineering Kiosk by Wolfgang Gassler, Andy Grunwald
April 28, 2026 · 1h 11m · Episode 265
About this episode
This episode dives into the One Billion Row Challenge, exploring Java performance and various optimization techniques.
Java und Performance in einem Satz? Für viele klingt das immer noch wie ein Widerspruch. Dann kommt eine Challenge daher, bei der eine Milliarde Zeilen Wetterdaten verarbeitet werden sollen, und plötzlich wird aus Stammtischwissen ein echter Engineering-Nerdfight. Genau darum geht es in dieser Episode. Wir tauchen tief in die One Billion Row Challenge ein und schauen uns an, wie eine vermeintlich einfache Aufgabe zum internationalen Performance-Contest wurde. Wir sprechen darüber, warum Gunnar Morling diese Challenge gestartet hat, wie aus einer naiven Lösung mit fast fünf Minuten Laufzeit optimierte Implementierungen mit rund 1,5 Sekunden wurden und welche Rolle dabei Java, GraalVM, Memory Mapping, Unsafe, SIMD, Branchless Coding, Hashmaps, Cache-Lines und Integer-Arithmetik spielen. Außerdem schauen wir auf die Kritik an der Challenge, etwa RAM-Disk, Dataset-Overfitting und CPU-spezifische Optimierungen, und wir werfen einen Blick auf alternative Umsetzungen in C, Go, PHP, SQL, DuckDB, ClickHouse, AWK und sogar auf GPU-Ansätze. Wenn du Performance-Optimierung nicht nur als Buzzword, sondern als Mischung aus Hardware-Verständnis, Datenstrukturen, Compiler-Wissen und…
People in this episode
Hosts: Wolfgang Gassler, Andy Grunwald
Topics covered
- Java performance
- One Billion Row Challenge
- performance optimization
- data processing
- engineering
- programming languages
Keywords
- Java
- performance
- GraalVM
- memory mapping
- SIMD
- optimization
- programming
- data processing
- AWK
- performance contest
Mentioned in this episode
Organizations: GraalVM, AWK, DuckDB, ClickHouse, PHP, SQL, Go, Java, Memory Mapping, Unsafe
More episodes of Engineering Kiosk
- #271 Selbstmanagement statt Zeitmanagement: Warum du nie fertig wirst - mit Dirk Deimeke · June 9, 2026 · 1h 27m
- #270 Ada und Zangemann: Ein Märchen über Software, Skateboards und Himbeereis mit Matthias Kirschner von der FSFE · June 2, 2026 · 1h 24m
- #269 Performance-Basics: Indexstrukturen, Cache-Lokalität & Zugriffsmuster · May 26, 2026 · 1h 6m
- #268 Unsere Side-Project-Fails: Wo wir aufgegeben haben ... und warum · May 19, 2026 · 1h 7m
- #267 No Deploy Friday: Meme, Ausrede oder Reifegrad-Test? mit Sujeevan Vijayakumaran · May 12, 2026 · 1h 17m
- #266 Level, Titel, Geld: Die Spielregeln für Beförderungen & Gehälter · May 5, 2026 · 1h 9m
Explore listener stats, chart rankings, contacts and more on the Engineering Kiosk podcast page.