Nvidia le puso fecha de producción a la apuesta más cara de su historia reciente: el acelerador Groq 3 LPX, construido sobre tecnología que licenció de Groq Inc. por 20,000 millones de dólares en diciembre, ya salió de la línea. Lo anunció hoy en Hot Chips 2026, con un número que es la verdadera noticia: 3,400 tokens por segundo de salida con una ventana de contexto de 100,000 tokens.
Qué pasó
Groq 3 LPX no es una GPU nueva ni reemplaza nada. Es una extensión de la plataforma Vera Rubin NVL72: un acelerador dedicado exclusivamente a la fase de generación de la inferencia, esa donde el modelo va escupiendo token por token. Los GPUs Vera Rubin siguen encargándose de digerir el contexto —el prompt gigante, los archivos, el historial— y el LPX se queda con el decode.
La cifra que Nvidia puso al frente viene de un benchmark de terceros, Artificial Analysis, corriendo Gemma 4 31B (modelo abierto, orientado a agentes) con 100,000 tokens de contexto: 3,400 tokens por segundo de salida, el registro más rápido jamás medido para ese modelo. Nvidia traduce eso a 4x más responsividad que la plataforma alternativa más cercana en cargas sensibles a latencia.
El primer cliente ya tiene nombre: Nebius, el neocloud, que lo va a meter a su Nebius Token Factory. Según SiliconANGLE, un despliegue rack-scale completo puede juntar hasta 256 aceleradores enlazados por los interconnects de alto ancho de banda de Nvidia, trabajando en tándem con los GPUs como un solo motor de inferencia.
Por qué importa
Durante tres años la conversación de infraestructura de IA fue sobre entrenamiento: cuántos GPUs, cuántos megawatts, cuánto tarda un run. Este anuncio confirma el giro completo del mercado. Jensen Huang lo dijo sin adornos:
"La inferencia es el motor de crecimiento de la IA. Vera Rubin extiende esa visión con configuraciones de AI factory optimizadas por carga de trabajo, diseñadas para la era de la IA agéntica."
Y el problema que resuelve es muy concreto para cualquiera que haya operado un agente en producción. Un agente no hace una inferencia: hace cientos o miles de pasos —leer un archivo, escribir código, llamar una herramienta, verificar el resultado, iterar—. Cada paso arrastra la latencia de decode del anterior. Ese es el motivo real de que una tarea agéntica tarde horas en lugar de minutos, y no la "inteligencia" del modelo. El cuello de botella es de arquitectura, no de razonamiento.
De ahí que la estrategia sea desagregar: separar físicamente el procesamiento de contexto de la generación de tokens, porque son perfiles de cómputo distintos. Uno es hambriento de ancho de banda y paralelismo; el otro, de latencia por token. Meterlos en el mismo silicio es lo que venía forzando el tradeoff entre throughput y tiempo de respuesta.
El CTO de Nebius, Danila Shtan, puso el énfasis en el lado práctico: que llega "a través de la misma API que los desarrolladores ya usan, sin migración a un stack nuevo".
El detalle técnico
Vale la pena separar el marketing del dato duro:
- Lo verificable: 3,400 tokens/s en un benchmark independiente, un modelo específico (Gemma 4 31B, 31B de parámetros, abierto) y un contexto específico (100k). No es una cifra de laboratorio propio, y eso cuenta.
- Lo que el benchmark no dice: no hay números públicos de consumo por token, ni de costo por millón de tokens, ni de cómo escala con modelos frontier de cientos de miles de millones de parámetros. Un modelo de 31B en 100k de contexto es un caso de uso legítimo para agentes de código, pero es el escenario cómodo para un acelerador de decode.
- La comparación de 4x es contra "la plataforma alternativa más cercana", sin nombrarla. Trátenla como lo que es: una comparación de vendor.
- La jugada de negocio: los 20,000 millones a Groq no fueron por una fábrica ni por patentes sueltas. Nvidia se llevó también al fundador Jonathan Ross y al presidente Sunny Madra. Compró la tesis de que la inferencia interactiva necesita silicio propio antes de que alguien más la convirtiera en una alternativa creíble a CUDA.
Qué hacer
- Si están evaluando agentes en producción y el dolor es la espera del usuario y no la calidad de las respuestas, esto cambia el cálculo. Vale medir cuánto de su latencia total es decode antes de asumir que necesitan un modelo más grande.
- Si consumen inferencia vía API, esperen movimientos de precio y de SLA de latencia en los próximos trimestres: Nebius lo prende primero, los demás van a tener que responder.
- Si están construyendo el business case interno, ojo con extrapolar los 3,400 tokens/s a su carga real. Pidan el número con su modelo y su tamaño de contexto.
Nvidia acaba de blindar el flanco donde era más atacable. La pregunta ya no es si la inferencia es el negocio: es cuánto va a costar el token cuando todos tengan silicio dedicado para generarlo.