About this episode
The episode discusses the complexities of scaling large language models compared to traditional web applications.
Servir un LLM no es como escalar una web app normal. Hablamos de tokens, GPUs, KV cache, latencia, costos y por qué “agregar más pods” ya no salva a nadie. Fuentes: • https://www.dheeth.blog/llm-serving-is-not-normal-web-serving/ • https://arxiv.org/abs/2309.06180 • https://kubernetes.io/docs/concepts/workloads/autoscaling/horizontal-pod-autoscale/
People in this episode
Host: elbruno
Topics covered
- LLM serving
- scaling
- latency
- costs
- GPU
- KV cache
Keywords
- LLM
- scaling
- tokens
- GPUs
- latency
- costs
- KV cache
Mentioned in this episode
Organizations: dheeth.blog, arxiv, kubernetes.io
More episodes of No Tiene Nombre
- NTN 532 - IA: ¿Quién Maneja Esto? · June 12, 2026 · 21 min
- NTN 531 - Fable 5: IA con Bozal y WWDC 2026 · June 10, 2026 · 21 min
- NTN 530 - IA 10x, Burnout 20x · June 8, 2026 · 17 min
- NTN 529 - La IA se programa sola · June 5, 2026 · 19 min
- NTN 528 - Build 2026 · June 3, 2026 · 20 min
- NTN 527- La Trampa Económica de la IA · June 1, 2026 · 16 min
Explore listener stats, chart rankings, contacts and more on the No Tiene Nombre podcast page.