Az inferencia adó: Hogyan szünteti meg az előtag-alapú útvonalválasztás az LLM-ek rejtett költségeit skálában

A DigitalOcean DigitalOcean Inference Gateway optimalizálja a vLLM modellek előtagú útvonal- és gyorsgyorsítótárázását AMD Instinct MI325X GPU-kon és NVIDIA Hopperen, így a számítási költségeket kérésenként 4-szer vagy annál többre csökkenti. A prefix gyorsítótár kihagyja a redundáns számításokat, így 350 ms előkitöltési munkát takarít meg gyorsítótár után.