Publikuj

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Zastrzeżenie: Treść na OKX Orbiter ma charakter wyłącznie informacyjny. Dowiedz się więcej

Odpowiedzi

Brak komentarzy. Bądź pierwszą osobą, która odpowie!

Related Flash News

Awatar źródłowyBlockbeats44min temu

Adres Ethereum OG kupił dziś 3 942 ETH przy spadkach, przy średniej cenie 2 049 dolarów

Awatar źródłowyOdaily47min temu

Ethereum OG, które kiedyś osiągało zwrot 376x, znów znalazło się na dnie, kupując już ponad 8 milionów dolarów ETH

Awatar źródłowyBlockbeats48min temu

Napływy ETF w USA osiągnęły rekordowy poziom w tym roku, z dziennym napływem netto w wysokości 8,5 miliarda dolarów

Awatar źródłowyOdaily57min temu

Analiza: Dalszy wzrost rentowności obligacji skarbowych USA osłabił gotowość rynku do alokacji w Bitcoina

Awatar źródłowyOdaily2godz. temu

Dyrektor Polymarket: Rotacja kluczy prywatnych została zakończona, a wszystkie klucze prywatne planowane są do przeniesienia do KMS w przyszłości

Awatar źródłowyOdaily2godz. temu

Przegląd ustawy o jasności USA może zostać przełożony do lipca, z prawdopodobieństwem ostatecznego uchwalenia w sierpniu

Awatar źródłowyOdaily2godz. temu

Wang Chun, współzałożyciel F2Pool: Udział w przelocie wokół Marsa przypomina SpaceX, by nie odchodzić od swojej wizji i nie zostawiać planu lądowania następnemu pokoleniu

Awatar źródłowyOdaily3godz. temu

Długie pozycje Maji Big Brother na Ethereum stoją w obliczu częściowych wymuszonych likwidacji, aktualny zwrot z inwestycji -124,94%

Awatar źródłowyBlockbeats5godz. temu

Analiza: Odpływ z ETF Bitcoin w wysokości 1,26 miliarda dolarów może stać się "sygnałem zakupu odwrotnego"

Awatar źródłowyChainCatcher5godz. temu

W stanie São Paulo w Brazylii skonfiskowano około 1400 maszyn do kopania Bitcoina z powodu kradzieży energii elektrycznej