Post

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Disclaimer: i contenuti di OKX Orbit sono forniti solo a scopo informativo. Scopri di più

Risposte

Ancora nessun commento. Rispondi prima di tutti!

Related Flash News

Avatar di origineOdaily1ora fa

Dirigente del polimercato: La rotazione delle chiavi private è stata completata e tutte le chiavi private sono previste per essere trasferite a KMS in futuro

Avatar di origineOdaily1ora fa

La revisione dell'U.S. CLARITY Act potrebbe essere posticipata a luglio, con la probabilità di approvazione finale ad agosto risentita

Avatar di origineOdaily1ora fa

Wang Chun, cofondatore di F2Pool: Partecipare al sorvolo su Marte serve come promemoria a SpaceX di non allontanarsi dalla propria visione e di non lasciare il piano di atterraggio alla prossima generazione

Avatar di origineOdaily2ore fa

Le posizioni long di Maji Big Brother su Ethereum sono sottoposte a liquidazioni forzate parziali, ritorno degli investimenti attuali -124,94%

Avatar di origineBlockbeats4ore fa

Analisi: l'uscita di 1,26 miliardi di dollari di ETF Bitcoin potrebbe diventare un 'segnale di acquisto inverso'

Avatar di origineChainCatcher4ore fa

Circa 1.400 macchine di mining Bitcoin furto elettricità sono state sequestrate nello stato di São Paulo, Brasile

Avatar di origineChainCatcher5ore fa

Dati: Morgan Stanley ha aumentato le sue partecipazioni di altri 14 Bitcoin, portando il totale a 3.486

Avatar di origineBlockbeats6ore fa

La FDIC degli Stati Uniti ha proposto l'attuazione del Bank Secrecy Act e sanzioni i requisiti di conformità per gli emittenti di stablecoin

Avatar di origineBlockbeats6ore fa

Garrett Jin ha venduto in short oltre 57.000 ZEC a 3 volte, con una posizione 5x in BTC che mostra una perdita fluttuante di 920.000 dollari

Avatar di origineBlockbeats6ore fa

Michael Saylor: La strategia non esclude la vendita di alcuni Bitcoin nel 2026