The Strangest Bottleneck in Modern LLMs

Artykuł omawia nowe podejście do optymalizacji szybkości wnioskowania (inference speed) dużych modeli językowych (LLM), nazwane TiDAR (Think in Diffusion, Talk in Autoregression), opracowane przez badaczy z Nvidia. TiDAR łączy techniki dyfuzyjne z autoregresywnymi, aby przezwyciężyć wąskie gardło transferu danych między pamięcią a procesorem graficznym, co jest głównym ograniczeniem obecnych modeli. Nowa architektura umożliwia równoległe generowanie i weryfikację tokenów, znacząco przyspieszając proces tworzenia tekstu.