Допис

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Застереження. Вміст, опублікований на OKX Orbit, надається виключно в інформаційних цілях. Докладніше

Відповіді

Ще немає коментарів. Додайте першу відповідь!

Related Flash News

Аватар джерелаBlockbeats1г тому

Іран запропонував відкрити Ормуз в обмін на компенсацію від США та закликав до обговорення санкцій і замороження фінансування

Аватар джерелаOdaily1г тому

Закон про ясність у США може стимулювати новий напрямок «доходи як послуги», сприяючи розвитку інфраструктури доходів від відповідності на основі ШІ

Аватар джерелаBlockbeats1г тому

Американські ЗМІ: Трамп готовий дати переговорам між США та Іраном «більше часу»

Аватар джерелаBlockbeats2г тому

Аналіз: На двох попередніх ведмежих ринках збитки BTC на дну становили 10,6 мільйона монет, що відповідає ціні $60,000 у цьому раунді

Аватар джерелаBlockbeats3г тому

Адреса Ethereum OG сьогодні придбала 3 942 ETH під час спадів за середньою ціною $2 049

Аватар джерелаOdaily3г тому

Ethereum OG, який колись отримував прибуток у 376x, знову опинився на дні, вже придбавши ETH на суму понад $8 мільйонів

Аватар джерелаBlockbeats3г тому

Припливи ETF у США досягли рекордного рівня за рік, з добовим чистим притоком у 8,5 мільярда доларів

Аватар джерелаOdaily3г тому

Аналіз: Постійне зростання доходності казначейських облігацій США послабило готовність ринку інвестувати в біткоїн

Аватар джерелаChainCatcher4г тому

Прогноз кетчера: "LoL: Команда WE проти LNG Esports (BO5) - LPL Play-in" "Загальна кількість вбивств перевищила/менше 27,5 у першій грі?" Відсоток виграшів зростає до 49,45%

Аватар джерелаOdaily5г тому

Керівник Polymarket: Ротація приватних ключів завершена, і всі приватні ключі планується передати KMS у майбутньому