华为云AI开发平台ModelArts数据管理简介_云淘科技
当前ModelArts同时存在新版数据集和旧版数据集。本文档主要介绍旧版数据集及数据管理相关功能。
旧版数据集即将下线，推荐用户使用新版数据集及相关功能，具体请参考数据准备与分析、数据标注、数据处理。
新版数据集在旧版的基础上将创建数据集和创建标注任务进行了解耦，创建数据集和创建标注作业分别是独立的任务，使用更灵活。
旧版数据集需要在创建数据集时创建标注任务，不支持分开单独创建数据集和数据标注任务。
在ModelArts中，您可以在“数据管理”页面，完成数据导入、数据标注等操作，为模型构建做好数据准备。ModelArts以数据集为数据基础，进行模型开发或训练等操作。
数据集的类型
当前ModelArts支持如下类型的数据集。包含图片、音频、文本、表格、视频和其他类别。
图片
图像分类：识别一张图片中是否包含某种物体。
物体检测：识别出图片中每个物体的位置及类别。
图像分割：识别出图片中每个物体的轮廓。
音频
声音分类：对声音进行分类。
语音内容：对语音内容进行标注。
语音分割：对语音进行分段标注。
文本
文本分类：对文本的内容按照标签进行分类处理。
命名实体：针对文本中的实体片段进行标注，如“时间”、“地点”等。
文本三元组：针对文本中的实体片段和实体之间的关系进行标注。
表格
表格：适合表格等结构化数据处理。文件格式支持csv。不支持标注，支持对部分表格数据进行预览，但是最多支持100条数据预览。
视频
视频标注：识别出视频中每个物体的位置及分类。目前仅支持mp4格式。
其他
自由格式：管理的数据可以为任意格式，目前不支持标注，适用于无需标注或开发者自行定义标注的场景。如果您的数据集需存在多种格式数据，或者您的数据格式不符合其他类型数据集时，可选择自由格式的数据集。
图1 自由格式数据集示例
规格限制
除图片类型之外的数据集（如视频、文本、音频等），单个样本大小限制：5GB
针对图片类数据集（物体检测、图像分类、图像分割），单个图片大小限制：25MB
单个manifest文件大小限制：5GB
文本文件单行大小限制：100KB
数据管理标注结果文件大小限制：100MB
数据集管理流程及功能简介
图2 标注管理全流程
|
功能 |
说明 |
|---|---|
|
创建数据集（旧版） |
创建一个新的数据集。 |
|
图像分类 物体检测 文本分类 命名实体 文本三元组 声音分类 语音内容 语音分割 视频标注 |
针对不同类型的数据集，对数据进行标注。“自由格式”和“表格”类型的数据集暂不支持数据标注。 |
|
导入操作 |
将数据导入数据集中。 |
|
导出数据 |
支持将部分数据导出为新的数据集或者将数据导出至OBS。同时支持对任务历史进行查看和管理。 |
|
修改数据集 |
修改数据集的基本信息。如数据集名称、描述或标签等信息。 |
|
发布数据集 |
将标注后的数据集发布为新版本，以便应用于后续的模型构建。 |
|
管理数据集版本 |
通过数据集版本查看演进过程。 |
|
智能标注 |
支持对未标注的数据快速完成数据标注，为您节省70%以上的标注时间。 |
|
自动分组 |
您可以针对您选中的数据，执行自动分组，提升您的数据标注效率。 |
|
数据特征 |
对数据进行特征分析，帮助您了解数据。 |
|
团队标注简介 |
支持多人标注同一个数据集，且支持数据集创建者统一管理标注任务。添加团队及其成员，参与到数据集的标注工作。 |
|
数据处理 |
为了保障数据质量，以免对后续操作（如数据标注、模型训练等）带来负面影响，开发过程通常需要进行数据处理。常见的数据处理类型有：数据校验、数据清洗、数据选择、数据增强。 |
|
删除数据集 |
删除数据集以释放资源。 |
不同类型数据集支持的功能列表
其中，不同类型的数据集，支持不同的功能，详细信息请参见表2。
|
数据集类型 |
创建数据集 |
导入数据 |
导出数据 |
发布数据集 |
修改数据集 |
管理版本 |
智能标注 |
团队标注 |
自动分组 |
数据特征 |
一键模型上线 |
|---|---|---|---|---|---|---|---|---|---|---|---|
|
图像分类 |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
|
物体检测 |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
|
图像分割 |
支持 |
支持 |
支持 |
支持 |
支持 |
支持 |
– |
– |
支持 |
– |
– |
|
声音分类 |
支持 |
支持 |
– |
支持 |
支持 |
支持 |
– |
– |
– |
– |
– |
|
语音内容 |
支持 |
支持 |
– |
支持 |
支持 |
支持 |
– |
– |
– |
– |
– |
|
语音分割 |
支持 |
支持 |
– |
支持 |
支持 |
支持 |
– |
支持 |
– |
– |
– |
|
文本分类 |
支持 |
支持 |
– |
支持 |
支持 |
支持 |
– |
支持 |
– |
– |
– |
|
命名实体 |
支持 |
支持 |
– |
支持 |
支持 |
支持 |
– |
支持 |
– |
– |
– |
|
文本三元组 |
支持 |
支持 |
– |
支持 |
支持 |
支持 |
– |
支持 |
– |
– |
– |
|
表格 |
支持 |
支持 |
– |
支持 |
支持 |
支持 |
– |
– |
– |
– |
– |
|
视频 |
支持 |
支持 |
– |
支持 |
支持 |
支持 |
– |
– |
– |
– |
– |
|
自由格式 |
支持 |
– |
支持 |
支持 |
支持 |
支持 |
– |
– |
– |
– |
– |
父主题： 数据管理（旧版即将下线）
同意关联代理商云淘科技，购买华为云产品更优惠（QQ 78315851）
内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家
