- 设计深度学习系统
- (美)王迟 (美)司徒杰鹏
- 263字
- 2025-03-13 16:30:30
2.1 理解数据集管理服务
数据集管理组件或服务是一个专门的数据存储,用于组织数据,以支持模型训练和模型性能故障排查。它处理从上游数据源输入的原始数据,并以定义良好的结构(数据集)形式返回训练数据,以用于模型训练。图2.1展示了数据集管理服务提供的核心价值。在图中我们可以看到,数据集管理组件将原始数据转换为一致的数据格式,这有利于模型训练,因此下游的模型训练应用可以只专注于算法开发。

图2.1 数据集管理服务是一种特殊的数据存储,它使用自己的原始数据格式将数据摄取到其内部存储中。在训练过程中,它将原始数据转换为有利于模型训练的一致的数据格式