DeepSeek开源周的第五天(2025年2月28日)主要发布了发布3FS与Smallpond双技术方案:
- Fire-Flyer文件系统(3FS):这是一个专为充分利用现代SSD和RDMA网络带宽设计的并行文件系统,旨在实现高速数据访问,从而提升AI模型训练和推理的效率。
- 数据处理框架Smallpond:基于3FS开发,进一步优化了3FS的数据管理能力,使数据处理更加便捷高效。
这两项技术共同解决了大规模AI训练中数据存储与调度的性能瓶颈,为开发者提供了更高效的底层支持。
DeepSeek开源周的第五天(2025年2月28日)主要发布了发布3FS与Smallpond双技术方案:
这两项技术共同解决了大规模AI训练中数据存储与调度的性能瓶颈,为开发者提供了更高效的底层支持。