Az Inference Alpha: A Frontier modellek maximalizálása AMD-n

A DigitalOcean jelentős következtetési sebességnövekedésről számolt be az AMD MI350X/MI355x GPU-kon futó, határterületi LLM-ek esetében a Wafer-támogatású, egyéni kernel- és stack-optimalizálások használatával. A Kimi 2.5 sebessége 22,5-ről 255,2 tok/s-ra nőtt, a DeepSeek V3.2 javította az egyszeres és egyidejű átviteli sebességet, a 774B GLM-5 pedig 151,1 tok/s sebességet ért el 17,8 ms ITL-lel egyetlen 8 GPU-s csomóponton.