A kontextustömörítés végre működik éles környezetben: egy új kutatás 16-szorosára csökkenti az LLM bemenetét a pontosság romlása nélkül

A kutatók látens kontextus nyelvi modelleket (Latent Context Language Model) javasoltak, amelyek olyan kódoló-dekódoló tömörítők, amelyek a dekóder előtöltése előtt zsugorítják a bemeneti kontextust a memória és a számítási kapacitás csökkentése érdekében. A tanulmány akár 16-szoros tömörítésről és 8,8-szor gyorsabb kimenetről számol be a RULER KV-gyorsítótár alapverzióihoz képest, kisebb pontosságcsökkenéssel, mint más módszerek, és a modellek nyílt forráskódúak a HuggingFace-en.