Postar

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Aviso legal: o conteúdo do OKX Orbit é fornecido apenas para fins informativos. Saiba mais

Respostas

Ainda não há comentários. Seja a primeira pessoa a responder!

Related Flash News

Avatar da fonteBlockbeats8m atrás

O Irã propôs a abertura de Hormuz em troca de compensação dos EUA e pediu discussões sobre sanções e congelamentos de recursos

Avatar da fonteOdaily18m atrás

A Lei de Clareza dos EUA pode impulsionar uma nova linha de "receita como serviço", promovendo o desenvolvimento de infraestrutura de receita de conformidade impulsionada por IA

Avatar da fonteBlockbeats23m atrás

Mídia dos EUA: Trump está disposto a dar 'mais tempo' às negociações EUA-Irã

Avatar da fonteBlockbeats1h atrás

Análise: Nos dois mercados de baixa anteriores, a perda em BTC no fundo foi de 10,6 milhões de moedas, correspondendo a um preço de $60.000 nesta rodada

Avatar da fonteBlockbeats2h atrás

Um endereço OG do Ethereum comprou 3.942 ETH em quedas hoje, a um preço médio de $2.049

Avatar da fonteOdaily2h atrás

O Ethereum OG, que já recebeu um retorno de 376x, voltou a pescar fundo, tendo já comprado mais de US$ 8 milhões em ETH

Avatar da fonteBlockbeats2h atrás

Entradas de ETFs dos EUA atingiram um recorde no ano, com um fluxo líquido diário de US$ 8,5 bilhões

Avatar da fonteOdaily2h atrás

Análise: A contínua alta nos rendimentos dos títulos do Tesouro dos EUA enfraqueceu a disposição do mercado em alocar para Bitcoin

Avatar da fonteChainCatcher3h atrás

Prever o Catcher: "LoL: Team WE vs. LNG Esports (BO5) - Play-In da LPL" "Total de ataques vencedores superado/abaixo de 27,5 no jogo 1?" A taxa de vitórias dispara para 49,45%

Avatar da fonteOdaily4h atrás

Executivo do Polymarket: A rotação de chaves privadas foi concluída, e todas as chaves privadas estão planejadas para serem transferidas para a KMS no futuro