Bài đăng

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Miễn trừ trách nhiệm: Nội dung OKX Orbit chỉ để tham khảo. Tìm hiểu thêm

Phản hồi

Chưa có bình luận. Trở thành người phản hồi đầu tiên!

Related Flash News

Ảnh đại diện gốc币界网18 giờ trước

Các tổ chức: Chỉ số S&P 500 đã sẵn sàng cho mức tăng trưởng lợi nhuận mạnh nhất kể từ năm 2021

Ảnh đại diện gốcBlockbeats19 giờ trước

Phân tích: IPO của SpaceX có thể mở rộng mức độ tiếp xúc với Nasdaq BTC, nhưng có thể là một yếu tố giảm giá ngắn hạn đối với cổ phiếu công nghệ và sự bòn rút các quỹ Bitcoin

Ảnh đại diện gốcChainCatcher1 ngày trước

Công ty khởi nghiệp AI Hark đã hoàn thành vòng gọi vốn Series A trị giá 700 triệu USD với mức định giá 6 tỷ USD, dẫn đầu bởi Parkway Venture Capital

Ảnh đại diện gốcOdaily1 ngày trước

Nhà Trắng hoãn lễ ký sắc lệnh hành pháp AI

Ảnh đại diện gốcOdaily1 ngày trước

Giá cổ phiếu của Nvidia giảm 2% và mức giảm của Intel mở rộng lên 4,3%.

Ảnh đại diện gốcChainCatcher1 ngày trước

Chứng khoán Mỹ có thể tăng trở lại khi giá dầu thô và lợi suất trái phiếu kho bạc phục hồi

Ảnh đại diện gốc币界网1 ngày trước

Các văn phòng gia đình siêu giàu tăng nắm giữ cổ phiếu chip trong quý I

Ảnh đại diện gốcBlockbeats1 ngày trước

Sau báo cáo thu nhập của Nvidia, một số ngân hàng đầu tư đã tăng giá mục tiêu của họ

Ảnh đại diện gốc币界网1 ngày trước

Sự chú ý của thị trường vẫn còn phải xem xét khi Nvidia tiếp tục vượt quá mong đợi trong tương lai

Ảnh đại diện gốcOdaily1 ngày trước

Hầu hết các lĩnh vực tiền điện tử đều tăng trước khi thị trường chứng khoán Mỹ mở cửa, với Circle (CRCL) tăng hơn 1%