<匯港通訊> DeepSeek(深度求索)於知乎開設官方賬號發布《DeepSeek-V3/R1推理系統概覽》技術文章,首次公布模型推理系統優化細節,並披露成本利潤率關鍵訊息。
文章表示,假定 GPU 租賃成本為每小時2美元,每天的總成本為近8.71萬美元,如果所有 tokens 全部按照 DeepSeek R1 的定價計算,理論上一天的總收入為約56.2萬美元,成本利潤率545%。
文章又稱,DeepSeek-V3/R1 推理系統的最佳化目標是更大的吞吐,更低的延遲;為實現這兩個目標,其方案是使用大規模跨節點專家並行(EP),但方案亦增加了系統複雜性。文章的主要內容就是關於如何使用 EP 增長批量大小(batch size)、隱藏傳輸耗時、以及進行負載平衡。 (BC)
#DeepSeek #深度求索
新聞來源 (不包括新聞圖片): 滙港資訊