Jelentés: A GKE Inference Gateway akár 92%-kal gyorsabb AI-válaszokat biztosít

A Google Kubernetes Engine Inference Gateway valós idejű modellmetrikák és előtag-gyorsítótár-tudatos, modell-tudatos útválasztás segítségével irányítja az LLM-kérelmeket a gyorsító újraszámításának és a késleltetés csökkentése érdekében. Egy független benchmark 15,7%-kal nagyobb átviteli sebességet, 92,8%-kal rövidebb időt az első tokenig, és 62,6%-kal alacsonyabb tokenek közötti késleltetést jelent a körforgásos terheléselosztáshoz képest.