硅基流动公司近日宣布了一项重要更新,其SiliconCloud平台上的DeepSeek-R1和V3 API现已支持批量推理功能,即BatchInference,这一变化即刻生效。
用户现在可以利用SiliconCloud的批量API提交请求,这一方式不受实时推理速率限制,为大规模数据处理提供了更多灵活性。据硅基流动透露,用户提交的任务预计将在24小时内完成。
价格方面,与实时推理相比,DeepSeek-V3的批量推理服务价格降低了50%,为用户带来了显著的成本节约。更值得注意的是,在3月11日至3月18日期间,DeepSeek-R1的批量推理服务推出了特别优惠,价格直降75%。具体来说,输入价格仅为1元/百万Tokens,输出价格为4元/百万Tokens,这一优惠力度无疑将吸引大量用户尝试该服务。
批量推理功能的推出,将极大地帮助用户处理大规模数据处理任务,如生成报告和数据清洗等。同时,对于那些无需实时响应的数据分析、模型性能评估等场景,DeepSeek-R1和V3 API的批量推理服务将成为一个更加经济高效的选择。
硅基流动公司表示,将继续致力于提升平台性能和服务质量,以满足用户不断变化的需求。此次批量推理功能的推出,不仅丰富了平台的功能,也为用户提供了更多样化的选择。