Публикация

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Дисклеймер: контент OKX Orbit предоставляется исключительно в информационных целях. Подробнее

Ответы

Комментариев еще нет. Будьте первым!

Related Flash News

Аватар по умолчанию币界网17 ч. назад

Учреждения: Индекс S&P 500 готовится к самому сильному росту прибыли с 2021 года

Аватар по умолчаниюBlockbeats18 ч. назад

Анализ: IPO SpaceX может увеличить экспозицию Nasdaq BTC, но может стать краткосрочный медвежьим фактором для технологических акций и откачивания биткоинов-фондов

Аватар по умолчаниюChainCatcher1 д. назад

Стартап в области искусственного интеллекта Hark завершил раунд серии A на сумму 700 миллионов долларов при оценке 6 миллиардов долларов, возглавляемый Parkway Venture Capital

Аватар по умолчаниюOdaily1 д. назад

Белый дом отложил церемонию подписания исполнительного указа по ИИ

Аватар по умолчаниюOdaily1 д. назад

Цена акций Nvidia упала на 2%, а падение Intel увеличилось до 4,3%.

Аватар по умолчаниюChainCatcher1 д. назад

Американские акции могут вернуть прирост по мере восстановления цен на сырую нефть и доходность казначейских облигаций

Аватар по умолчанию币界网1 д. назад

Сверхбогатые семейные офисы увеличили свои доли в акциях чипов в первом квартале

Аватар по умолчаниюBlockbeats1 д. назад

После отчета о доходах Nvidia ряд инвестиционных банков повысили целевые цены

Аватар по умолчанию币界网1 д. назад

Рынок обеспокоен тем, что будущее Nvidia продолжит превосходить ожидания, которые всё ещё требуют проверки

Аватар по умолчаниюOdaily1 д. назад

Большинство криптосекторов выросли в предрыночной торговле, при этом Circle (CRCL) вырос более чем на 1% в премаркете