工具介绍与任务方法
Dud
用命令行把大型数据文件的版本和生成步骤与代码关联,构建可串联的数据处理流程。
Dud 能做什么
用命令行把大型数据文件的版本和生成步骤与代码关联,构建可串联的数据处理流程。
- 模型训练数据制作与标注
如何使用 Dud
为模型实验保存数据版本与生成流程
准备输入
- 数据文件
- 代码仓库
- 数据生成命令
操作步骤
- 为数据文件建立阶段描述并记录生成方式。
- 把阶段描述纳入版本控制,配置数据存储和传输。
- 切换或重建样例数据,核对文件与代码版本是否对应。
预期交付物
- 数据版本记录
- 数据流水线描述
大文件与敏感数据的存储权限需另外管理,版本记录不证明数据质量。
开始前需要了解
账号权限、费用与可用功能请以官方入口的当前说明为准。重要结果应先检查,再用于实际工作。