La compresión de contexto finalmente funciona en producción: una nueva investigación reduce la entrada de LLM 16 veces sin afectar la precisión.

Los investigadores propusieron modelos de lenguaje de contexto latente, compresores codificador-decodificador que reducen el contexto de entrada antes del prellenado del decodificador para ahorrar memoria y recursos computacionales. El artículo reporta una compresión de hasta 16x con una velocidad de salida 8,8 veces mayor que los métodos de referencia de caché KV en RULER, con una menor pérdida de precisión que otros métodos, y los modelos son de código abierto y están disponibles en HuggingFace.