Desarrollan el algoritmo 'Prefix Sliding' para triplicar la velocidad de razonamiento en modelos de IA

Uno de los mayores cuellos de botella en los modelos de lenguaje orientados al razonamiento profundo (como los modelos de cadena de pensamiento o test-time compute) es la enorme acumulación de tokens en la memoria de atención (KV Cache). Un equipo de investigadores ha presentado Prefix Sliding, un algoritmo innovador que triplica la velocidad de inferencia al podar dinámicamente pasos de cálculo redundantes sin comprometer la precisión lógica.

Mecanismo de funcionamiento del Prefix Sliding

El algoritmo redefine cómo el modelo gestiona su historial de pensamiento intermedio:

• Poda dinámica del KV Cache: Descarta tokens de exploración fallida o derivaciones intermedias que ya han sido sintetizadas en conclusiones parciales.
• Compresión adaptativa de premisas: Mantiene activos únicamente los nodos de atención esenciales para la resolución del problema actual.
• Reducción de consumo de memoria VRAM: Disminuye hasta en un 65% el uso de memoria por hilo de inferencia, permitiendo mayor concurrencia de usuarios.

«Prefix Sliding demuestra que la eficiencia en razonamiento no depende de generar millones de tokens invisibles, sino de saber olvidar a tiempo lo irrelevante.» — Paper de Investigación / AIdapted.

Impacto en el despliegue de sistemas en tiempo real

Esta técnica allana el camino para asistentes conversacionales y copilotos de programación mucho más rápidos y económicos en entornos de producción.