华为云对象存储OBS列举桶内对象(Python SDK)_云淘科技
功能介绍
调用列举桶内对象接口,可列举指定桶内的部分或所有对象的描述信息。您还可以通过设置前缀、数量、起始位置等参数,返回符合您筛选条件的对象信息。返回结果以对象名的字典序排序。
接口约束
每次接口调用最多返回1000个对象信息。
您必须是桶拥有者或拥有列举桶内对象的权限,才能列举桶内对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:bucket:ListBucket权限,如果使用桶策略则需授予ListBucket权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、自定义创建桶策略。
OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。
方法定义
ObsClient.listObjects(bucketName, prefix, marker, max_keys, delimiter)
请求参数说明
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
bucketName |
str |
必选 |
参数解释: 桶名。 约束限制: 桶的名字需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。 同一用户在同一个区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。 默认取值: 无 |
prefix |
str |
可选 |
参数解释: 列举桶内对象列表时,指定一个前缀,限定返回的对象名必须带有prefix前缀。 例如,您拥有以下对象:logs/day1、logs/day2、logs/day3和ExampleObject.jpg。如果您将logs/指定为前缀,将返回以字符串“logs/”开头的三个对象。如果您指定空的前缀且请求中没有其他过滤条件,将返回桶中的所有对象。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
marker |
str |
可选 |
参数解释: 列举桶内对象列表时,指定一个标识符,作为列举时的起始位置,从该标识符以后按对象名的字典顺序返回对象列表。 例如,您拥有以下对象:test/a、test/b、test/c、test/d。如果您将test/b指定为标识符,将返回test/c、test/d两个对象。 约束限制: 仅用于非多版本列举。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
max_keys |
int |
可选 |
参数解释: 列举对象的最大数目,返回的对象列表将是按照字典顺序的最多前max_keys个对象。 取值范围: 1~1000,当超出范围时,按照默认的1000进行处理。 默认取值: 1000 |
delimiter |
str |
可选 |
参数解释: 将对象名进行分组的分隔符。如果指定了prefix,从prefix到第一次出现delimiter间具有相同字符串的对象名会被分成一组,形成一条CommonPrefix;如果没有指定prefix,从对象名的首字符到第一次出现delimiter间具有相同字符串的对象名会被分成一组,形成一条CommonPrefix。 例如,桶中有3个对象,分别为abcd、abcde、bbcde。如果指定delimiter为d,prefix为a,abcd、abcde会被分成一组,形成一条前缀为abcd的CommonPrefix;如果只指定delimiter为d,abcd、abcde会被分成一组,形成一条前缀为abcd的CommonPrefix,而bbcde会被单独分成一组,形成一条前缀为bbcd的CommonPrefix。 对于并行文件系统,不携带此参数时默认列举是递归列举此目录下所有内容,会列举子目录。在大数据场景下(目录层级深、目录下文件多)的列举,建议设置[delimiter=/],只列举当前目录下的内容,不列举子目录,提高列举效率。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
encoding_type |
str |
可选 |
参数解释: 对响应中的部分元素进行指定类型的编码。如果 delimiter、key_marker、prefix、nextKeyMarker 和 key 包含 xml 1.0 标准不支持的控制字符,可通过设置 encoding_type 对响应中的 delimiter、key_marker、prefix(包括 commonPrefixes 中的 Prefix)、nextKeyMarker 和 key 进行编码。 取值范围: 可选值为url。 默认取值: 无,不设置则不编码。 |
返回结果说明
类型 |
说明 |
---|---|
GetResult |
参数解释: SDK公共结果对象。 |
参数名称 |
参数类型 |
描述 |
---|---|---|
status |
int |
参数解释: HTTP状态码。 取值范围: 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码。 默认取值: 无 |
reason |
str |
参数解释: HTTP文本描述。 默认取值: 无 |
errorCode |
str |
参数解释: OBS服务端错误码,当status参数小于300时为空。 默认取值: 无 |
errorMessage |
str |
参数解释: OBS服务端错误描述,当status参数小于300时为空。 默认取值: 无 |
requestId |
str |
参数解释: OBS服务端返回的请求ID。 默认取值: 无 |
indicator |
str |
参数解释: OBS服务端返回的错误定位码。 默认取值: 无 |
hostId |
str |
参数解释: 请求的服务端ID,当status参数小于300时为空。 默认取值: 无 |
resource |
str |
参数解释: 发生错误时相关的桶或对象,当status参数小于300时为空。 默认取值: 无 |
header |
list |
参数解释: 响应消息头列表,由多个元组构成。每个元组均包含两个元素,代表响应头的键值对。 默认取值: 无 |
body |
object |
参数解释: 操作成功后的结果数据,当status大于300时为空。该值根据调用接口的不同而不同,参见“桶相关接口”章节和“对象相关接口”章节的详细描述。 默认取值: 无 |
GetResult.body类型 |
说明 |
---|---|
ListObjectsResponse |
参数解释: 列举桶内对象响应结果,参考ListObjectsResponse。 |
参数名称 |
参数类型 |
描述 |
---|---|---|
name |
str |
参数解释: 桶名。 约束限制: 桶的名字需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。 同一用户在同一个区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。 默认取值: 无 |
location |
str |
参数解释: 桶所在的区域。 约束限制: 该参数定义了桶将会被创建在哪个区域,如果使用的终端节点是obs.myhuaweicloud.com,可以不携带此参数;如果使用的终端节点不是obs.myhuaweicloud.com,则必须携带此参数。 取值范围: 当前有效的OBS区域和终端节点的更多信息,请参考地区和终端节点。终端节点即调用API的请求地址,不同服务不同区域的终端节点不同,您可以向企业管理员获取区域和终端节点信息。 默认取值: 终端节点为obs.myhuaweicloud.com且用户未设定区域时,默认为华北-北京一(cn-north-1)。 |
prefix |
str |
参数解释: 列举桶内对象列表时,指定一个前缀,限定返回的对象名必须带有prefix前缀。 例如,您拥有以下对象:logs/day1、logs/day2、logs/day3和ExampleObject.jpg。如果您将logs/指定为前缀,将返回以字符串“logs/”开头的三个对象。如果您指定空的前缀且请求中没有其他过滤条件,将返回桶中的所有对象。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
marker |
str |
参数解释: 列举桶内对象列表时,指定一个标识符,作为列举时的起始位置,从该标识符以后按对象名的字典顺序返回对象列表。 例如,您拥有以下对象:test/a、test/b、test/c、test/d。如果您将test/b指定为标识符,将返回test/c、test/d两个对象。 约束限制: 仅用于非多版本列举。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
delimiter |
str |
参数解释: 将对象名进行分组的分隔符。如果指定了prefix,从prefix到第一次出现delimiter间具有相同字符串的对象名会被分成一组,形成一条CommonPrefix;如果没有指定prefix,从对象名的首字符到第一次出现delimiter间具有相同字符串的对象名会被分成一组,形成一条CommonPrefix。 例如,桶中有3个对象,分别为abcd、abcde、bbcde。如果指定delimiter为d,prefix为a,abcd、abcde会被分成一组,形成一条前缀为abcd的commonPrefix;如果只指定delimiter为d,abcd、abcde会被分成一组,形成一条前缀为abcd的commonPrefix,而bbcde会被单独分成一组,形成一条前缀为bbcd的commonPrefix。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
max_keys |
int |
参数解释: 列举对象的最大数目,返回的对象列表将是按照字典顺序的最多前max_keys个对象。 取值范围: 1~1000,当超出范围时,按照默认的1000进行处理。 默认取值: 1000 |
is_truncated |
bool |
参数解释: 表明本次请求是否返回了全部结果。 取值范围: True表示没有返回全部结果。 默认取值: 无 |
next_marker |
str |
参数解释: 下次列举对象请求的起始位置。 取值范围: 字符串,下一次请求起始位置的对象名 默认取值: 无 |
contents |
list of Content |
参数解释: 桶内对象列表。 取值范围: 参考Content。 |
commonPrefixs |
list of CommonPrefix |
参数解释: 当请求中设置了delimiter分组字符时,返回按delimiter分组后的对象名称前缀列表。 取值范围: 参考CommonPrefix |
encoding_type |
str |
参数解释: 对响应中的部分元素进行指定类型的编码。如果 delimiter、key_marker、prefix、nextKeyMarker 和 key 包含 xml 1.0 标准不支持的控制字符,可通过设置 encoding_type 对响应中的 delimiter、key_marker、prefix(包括 commonPrefixes 中的 Prefix)、nextKeyMarker 和 key 进行编码。 取值范围: 可选值为url。 默认取值: 无,不设置则不编码。 |
参数名称 |
参数类型 |
描述 |
---|---|---|
key |
str |
参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
lastModified |
str |
参数解释: 对象的最近一次修改时间。 约束限制: 日期格式为ISO8601的格式。 例如:2018-01-01T00:00:00.000Z,表示最后一次修改时间为2018-01-01T00:00:00.000Z。 默认取值: 无 |
etag |
str |
参数解释: 对象的base64编码的128位MD5摘要。ETag是对象内容的唯一标识,可以通过该值识别对象内容是否有变化。比如上传对象时ETag为A,下载对象时ETag为B,则说明对象内容发生了变化。ETag只反映变化的内容,而不是其元数据。上传的对象或拷贝操作创建的对象,都有唯一的ETag。 约束限制: 当对象是服务端加密的对象时,ETag值不是对象的MD5值。 取值范围: 长度为32的字符串。 默认取值: 无 |
size |
int |
参数解释: 对象数据的长度。 取值范围: 0~48.8TB,单位:字节。 默认取值: 无 |
owner |
Owner |
参数解释: 对象的所有者。 取值范围: 参考Owner。 |
storageClass |
str |
参数解释: 对象的存储类型。 取值范围: 当对象存储类型是标准存储时,该值为空。 默认取值: 无 |
isAppendable |
bool |
参数解释: 对象是否可被追加上传。 取值范围: True:可以追加。 False:不可追加。 默认取值: 无 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
owner_id |
str |
作为请求参数时必选 |
参数解释: 所有者的帐号ID,即domain_id。 取值范围: 如何获取帐号ID请参见如何获取帐号ID和用户ID? 默认取值: 无 |
owner_name |
str |
作为请求参数时可选 |
参数解释: 所有者的帐号用户名。 取值范围: 如何获取帐号用户名请参见如何获取用户名? 默认取值: 无 |
参数名称 |
参数类型 |
描述 |
---|---|---|
prefix |
str |
参数解释: 当请求中设置了delimiter分组字符时,返回按delimiter分组后的对象名称前缀列表。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
参数名称 |
参数类型 |
描述 |
---|---|---|
STANDARD |
标准存储 |
参数解释: 标准存储拥有低访问时延和较高的吞吐量,适用于有大量热点对象(平均一个月多次)或小对象(<1MB),且需要频繁访问数据的业务场景。 |
WARM |
低频访问存储 |
参数解释: 低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。 |
COLD |
归档存储 |
参数解释: 归档存储适用于很少访问(平均一年访问一次)数据的业务场景。 |
代码样例
本示例用于列举桶内对象,桶名为examplebucket,前缀为test/的对象,且指定返回对象的数量为100个。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 |
from obs import ObsClient import os import traceback # 推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险。 # 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html。 ak = os.getenv("AccessKeyID") sk = os.getenv("SecretAccessKey") # 【可选】如果使用临时AKSK和SecurityToken访问OBS,则同样推荐通过环境变量获取 security_token = os.getenv("SecurityToken") # server填写Bucket对应的Endpoint, 这里以华北-北京四为例,其他地区请按实际情况填写。 server = "https://obs.cn-north-4.myhuaweicloud.com" # 创建obsClient实例 # 如果使用临时AKSK和SecurityToken访问OBS,需要在创建实例时通过security_token参数指定securityToken值 obsClient = ObsClient(access_key_id=ak, secret_access_key=sk, server=server) try: bucketName = "examplebucket" # 指定列举对象的前缀 prefix = 'test/' # 指定单次列举对象个数为100 max_keys = 100 # 列举桶内对象 resp = obsClient.listObjects(bucketName, prefix, max_keys=max_keys,encoding_type='url') # 返回码为2xx时,接口调用成功,否则接口调用失败 if resp.status < 300: print('List Objects Succeeded') print('requestId:', resp.requestId) print('name:', resp.body.name) print('prefix:', resp.body.prefix) print('max_keys:', resp.body.max_keys) print('is_truncated:', resp.body.is_truncated) index = 1 for content in resp.body.contents: print('object [' + str(index) + ']') print('key:', content.key) print('lastModified:', content.lastModified) print('etag:', content.etag) print('size:', content.size) print('storageClass:', content.storageClass) print('owner_id:', content.owner.owner_id) print('owner_name:', content.owner.owner_name) index += 1 else: print('List Objects Failed') print('requestId:', resp.requestId) print('errorCode:', resp.errorCode) print('errorMessage:', resp.errorMessage) except: print('List Objects Failed') print(traceback.format_exc()) |
代码样例(超过1000个对象的全量列举)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
try: max_num = 1000 mark = None while True: resp = obsClient.listObjects('bucketname', marker=mark, max_keys=max_num, encoding_type='url') if resp.status < 300: print('requestId:', resp.requestId) print('name:', resp.body.name) print('prefix:', resp.body.prefix) print('max_keys:', resp.body.max_keys) print('is_truncated:', resp.body.is_truncated) index = 1 for content in resp.body.contents: print('object [' + str(index) + ']') print('key:', content.key) print('lastModified:', content.lastModified) print('etag:', content.etag) print('size:', content.size) print('storageClass:', content.storageClass) print('owner_id:', content.owner.owner_id) print('owner_name:', content.owner.owner_name) index += 1 if resp.body.is_truncated is True: mark = resp.body.next_marker else: break else: print('errorCode:', resp.errorCode) print('errorMessage:', resp.errorMessage) except: import traceback print(traceback.format_exc()) |
相关链接
关于列举桶内对象的API说明,请参见列举桶内对象。
更多关于列举对象的示例代码,请参见Github示例。
列举桶内对象过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。
桶和对象相关常见问题请参见桶和对象相关常见问题。
父主题: 桶相关接口
同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家