华为云AI开发平台ModelArts查询数据集导入任务列表_云淘科技

功能介绍

分页查询数据集导入任务列表。

调试

您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。

URI

GET /v2/{project_id}/datasets/{dataset_id}/import-tasks

表1 路径参数

参数

是否必选

参数类型

描述

dataset_id

String

数据集ID。

project_id

String

用户项目ID。获取方法请参见获取项目ID和名称。

表2 Query参数

参数

是否必选

参数类型

描述

limit

Integer

指定每一页返回的最大条目数,取值范围[1,100],默认为10。

offset

Integer

分页列表的起始页,默认为0。

请求参数

响应参数

状态码: 200

表3 响应Body参数

参数

参数类型

描述

import_tasks

Array of ImportTaskStatusResp objects

导入任务列表。

total_count

Integer

导入任务的数量。

表4 ImportTaskStatusResp

参数

参数类型

描述

annotated_sample_count

Long

已标注样本数量。

create_time

Long

任务创建时间。

data_source

DataSource object

数据来源。

dataset_id

String

数据集ID。

elapsed_time

Long

任务运行时间,单位秒。

error_code

String

错误码。

error_msg

String

错误信息。

file_statistics

FileCopyProgress object

文件复制进度。

finished_file_count

Long

传输完成文件数。

finished_file_size

Long

传输完成文件大小(字节)。

import_path

String

导入的OBS路径或manifest路径。

导入manifest时,path必须精确到具体manifest文件。

导入为目录时,目前仅支持数据集类型为图片分类、物体检测、文本分类、声音分类。

import_type

Integer

导入方式。可选值如下:

0:目录导入

1:按manifest文件导入

imported_sample_count

Long

已导入的样本数量。

imported_sub_sample_count

Long

已导入的子样本数量。

processor_task_id

String

预处理任务ID。

processor_task_status

Integer

预处理任务状态。

status

String

导入任务的当前状态。可选值如下:

QUEUING:排队中

STARTING:开始执行

RUNNING:运行中

COMPLETED:已完成

FAILED:已失败

NOT_EXIST:不存在

task_id

String

任务ID。

total_file_count

Long

总文件数。

total_file_size

Long

总文件大小(字节)。

total_sample_count

Long

样本总数量。

total_sub_sample_count

Long

从父样本生成的子样本总数。

unconfirmed_sample_count

Long

待确认样本数量。

update_ms

Long

任务更新时间。

表5 DataSource

参数

参数类型

描述

data_path

String

数据源所在路径。

data_type

Integer

数据类型。可选值如下:

0:OBS桶(默认值)

1:GaussDB(DWS)服务

2:DLI服务

3:RDS服务

4:MRS服务

5:AI Gallery

6:推理服务

schema_maps

Array of SchemaMap objects

表格数据对应的schema映射信息。

source_info

SourceInfo object

导入表格数据源所需的信息。

with_column_header

Boolean

文件中首行是否是列名,用于表格数据集。可选值如下:

true:文件首行为列名

false:文件首行不为列名

表6 SchemaMap

参数

参数类型

描述

dest_name

String

目的方的列名。

src_name

String

来源方的列名。

表7 SourceInfo

参数

参数类型

描述

cluster_id

String

MRS集群ID。可登录MRS控制台查看。

cluster_mode

String

MRS集群运行模式。可选值如下:

0:普通集群

1:安全集群

cluster_name

String

MRS集群名称。可登录MRS控制台查看。

database_name

String

导入表格数据集,数据库名字。

input

String

表格数据集,HDFS路径。例如/datasets/demo。

ip

String

用户GaussDB(DWS)集群的IP地址。

port

String

用户GaussDB(DWS)集群的端口。

queue_name

String

表格数据集,DLI队列名。

subnet_id

String

MRS集群的子网ID。

table_name

String

导入表格数据集,表名。

user_name

String

用户名,GaussDB(DWS)数据需提供此参数。

user_password

String

用户密码,GaussDB(DWS)数据需提供此参数。

vpc_id

String

MRS集群所在的vpc的ID。

表8 FileCopyProgress

参数

参数类型

描述

file_num_finished

Long

传输完成文件数。

file_num_total

Long

总文件数。

file_size_finished

Long

传输完成文件大小(字节)。

file_size_total

Long

总文件大小(字节)。

请求示例

获取数据集导入任务列表

GET https://{endpoint}/v2/{project_id}/datasets/{dataset_id}/import-tasks

响应示例

状态码: 200

OK

{
  "total_count" : 1,
  "import_tasks" : [ {
    "status" : "COMPLETED",
    "task_id" : "gfghHSokody6AJigS5A_RHJ1zOkIoI3Nzwxj8nh",
    "dataset_id" : "gfghHSokody6AJigS5A",
    "import_path" : "obs://test-obs/daoLu_images/animals/",
    "import_type" : 0,
    "total_sample_count" : 20,
    "imported_sample_count" : 20,
    "annotated_sample_count" : 20,
    "total_sub_sample_count" : 0,
    "imported_sub_sample_count" : 0,
    "total_file_size" : 0,
    "finished_file_count" : 0,
    "finished_file_size" : 0,
    "total_file_count" : 0,
    "create_time" : 1606114833874,
    "elapsed_time" : 2
  } ]
}

状态码

状态码

描述

200

OK

401

Unauthorized

403

Forbidden

404

Not Found

错误码

请参见错误码。

父主题: 数据管理(旧版)

同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家