Допис

Zyphra发布首个MI355X推理评测：长文本直逼B200

币界网
币界网
币界网消息，Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测，测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1，并对标NVIDIA B200。实测显示，AMD的288GB显存远超B200的180GB，使其在处理超长文本时能更高效地利用缓存，降低硬件成本。然而，AMD在芯片间互联上处于劣势，B200通过NVLink交换机实现900GB/s带宽，而MI355X采用点对点直连，通信效率较低。为弥补这一短板，Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示，尽管在单请求速度上NVIDIA B200仍领先，但在长文本场景下，Zyphra推理栈的吞吐量逐渐逼近B200，证明AMD在长文本生产环境中具备竞争力。
NVDA-3,13%
AMD-0,66%
18:44 · 19.05.26·7,05 тис. перегляд.·
Відкрити джерело
0
0

Застереження. Вміст, опублікований на OKX Orbit, надається виключно в інформаційних цілях. Докладніше

Відповіді

Ще немає коментарів. Додайте першу відповідь!

Related Flash News

Аватар джерела币界网•22г тому

Інституції: індекс S&P 500 готується до найсильнішого зростання прибутків з 2021 року

Аватар джерелаBlockbeats•23г тому

Аналіз: IPO SpaceX може розширити експозицію Nasdaq BTC, але може стати короткостроковим негативним фактором для технологічних акцій і відкачування коштів Bitcoin

Аватар джерелаChainCatcher•1д тому

Стартап у сфері ШІ Hark завершив раунд серії A на суму 700 мільйонів доларів за оцінкою 6 мільярдів доларів, очолюваний Parkway Venture Capital

Аватар джерелаOdaily•1д тому

Білий дім відклав церемонію підписання виконавчого указу щодо ШІ

Аватар джерелаOdaily•1д тому

Ціна акцій Nvidia впала на 2%, а падіння Intel розширилося до 4,3%.

Аватар джерелаChainCatcher•1д тому

Акції США можуть відновити зростання, оскільки ціни на сиру нафту та доходність казначейських облігацій відновляться

Аватар джерела币界网•1д тому

Надбагаті сімейні офіси збільшили акції чипів у першому кварталі

Аватар джерелаBlockbeats•1д тому

Після звіту про прибутки Nvidia кілька інвестиційних банків підвищили цільові ціни

Аватар джерела币界网•2д тому

Увага ринку ще належить побачити, оскільки Nvidia продовжує перевершувати очікування в майбутньому

Аватар джерелаOdaily•2д тому

Більшість криптосекторів зросли до відкриття американського фондового ринку, при цьому Circle (CRCL) піднявся більш ніж на 1%