华为云对象存储OBS分段上传-上传段(Python SDK)_云淘科技
功能说明
初始化分段上传任务后,通过分段上传任务的ID,上传段到指定桶中。除了最后一段以外,其他段的大小范围是100KB~5GB;最后一段的大小范围是0~5GB。上传的段的编号也有范围限制,其范围是1~10000。
上传段时,除了指定上传ID,还必须指定段编号。您可以选择1和10000之间的任意段编号。段编号在您正在上传的对象中唯一地标示了段及其位置。如果您使用之前上传的段的同一段编号上传新段,则之前上传的段将被覆盖。无论您何时上传段,OBS都将在其响应中返回ETag标头。对于每个段上传任务,您必须记录每个段编号和ETag值。您在随后的请求中需要添加这些值以完成多段上传。
接口约束
您必须是桶拥有者或拥有上传段的权限,才能上传段。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:PutObject权限,如果使用桶策略则需授予PutObject权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、配置对象策略。
OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。
初始化上传段任务并上传一个或多个段之后,您必须合并段或取消多段上传任务,才能停止收取已上传的段的存储费用。仅当在合并段或取消多段上传任务之后,OBS才释放段存储并停止向您收取段存储费用。
段任务中的partNumber是唯一的,重复上传相同partNumber的段,后一次上传会覆盖前一次上传内容。多并发上传同一对象的同一partNumber时,服务端遵循Last Write Win策略,但“Last Write”的时间定义为段元数据创建时间。为了保证数据准确性,客户端需要加锁保证同一对象的同一个段上传的并发性。同一对象的不同段并发上传不需要加锁。
方法定义
ObsClient.uploadPart(bucketName, objectKey, partNumber, uploadId, object, isFile, partSize, offset, sseHeader, isAttachMd5, md5, progressCallback, autoClose)
请求参数
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
bucketName |
str |
必选 |
参数解释: 桶名。 约束限制: 桶的名字需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。 同一用户在同一个区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。 默认取值: 无 |
objectKey |
str |
必选 |
参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 说明: 对象链接地址格式为:https://桶名.域名/文件夹目录层级/对象名。如果该对象存在于桶的根目录下,则链接地址将不需要有文件夹目录层级。 |
partNumber |
int |
必选 |
参数解释: 段号。 取值范围: [1,10000] 默认取值: 无 |
uploadId |
str |
必选 |
参数解释: 分段上传任务的ID。任务ID可以通过初始化分段上传任务生成。例如:000001648453845DBB78F2340DD460D8。 约束限制: 长度为32的字符串。 默认取值: 无 |
object |
str 或 readable object |
必选 |
参数解释: 待上传段的内容。 取值范围: 字符串或者可读对象。 说明: 如果object是可读对象(包含“read”属性),则从中读取数据,否则作为字符串处理。 默认取值: 无 |
isFile |
bool |
可选 |
参数解释: 指明object字段是否代表文件路径。 取值范围: True:object字段代表文件路径。 False:object字段不代表文件路径。 默认取值: False |
offset |
int |
可选 |
参数解释: 源文件中某一分段的起始偏移大小。 取值范围: 非负整数,不大于待上传对象的大小,单位:字节。 默认取值: 0 |
partSize |
int |
可选 |
参数解释: 当前段的长度。 取值范围: 100KB~5GB,单位:字节。 默认取值: 102400字节 |
sseHeader |
SseCHeader |
可选 |
参数解释: 服务端加密头域。详见SseCHeader。 默认取值: 无 |
isAttachMd5 |
bool |
可选 |
参数解释: 是否自动计算待上传数据的MD5值。 约束限制: isAttachMd5和md5同时使用时,忽略isAttachMd5字段。 取值范围: True:自动计算上传数据的MD5值。 False:不自动计算上传数据的MD5值。 默认取值: False |
md5 |
str |
可选 |
参数解释: 待上传段数据的MD5值(经过Base64编码),是上传段数据内容的唯一标识,可以通过该值识别对象内容是否有变化。 约束限制: isAttachMd5和md5同时使用时,忽略isAttachMd5字段。 取值范围: 长度为32的字符串。 默认取值: 无 |
progressCallback |
callable |
可选 |
参数解释: 获取上传进度的回调函数。 默认取值: 无 说明: 该回调函数依次包含三个参数:已上传的字节数、总字节数、已使用的时间(单位:秒)。 |
autoClose |
bool |
可选 |
参数解释: 上传完成后,自动关闭数据流。 取值范围: True:自动关闭数据流。 Flase:不自动关闭数据流。 默认取值: True |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
encryption |
str |
必选 |
参数解释: 以SSE-C方式加密对象。 取值范围: AES256,即高级加密标准(Advanced Encryption Standard,AES)。 默认取值: 无 |
key |
str |
必选 |
参数解释: SSE-C方式下加密的密钥,与加密方式对应,如encryption=‘AES256’,name密钥就是由AES256加密算法得到的密钥。 取值范围: 长度为32字符串。 默认取值: 无 |
返回结果
类型 |
说明 |
---|---|
GetResult |
参数解释: SDK公共结果对象。 |
参数名称 |
参数类型 |
描述 |
---|---|---|
status |
int |
参数解释: HTTP状态码。 取值范围: 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码。 默认取值: 无 |
reason |
str |
参数解释: HTTP文本描述。 默认取值: 无 |
errorCode |
str |
参数解释: OBS服务端错误码,当status参数小于300时为空。 默认取值: 无 |
errorMessage |
str |
参数解释: OBS服务端错误描述,当status参数小于300时为空。 默认取值: 无 |
requestId |
str |
参数解释: OBS服务端返回的请求ID。 默认取值: 无 |
indicator |
str |
参数解释: OBS服务端返回的错误定位码。 默认取值: 无 |
hostId |
str |
参数解释: 请求的服务端ID,当status参数小于300时为空。 默认取值: 无 |
resource |
str |
参数解释: 发生错误时相关的桶或对象,当status参数小于300时为空。 默认取值: 无 |
header |
list |
参数解释: 响应消息头列表,由多个元组构成。每个元组均包含两个元素,代表响应头的键值对。 默认取值: 无 |
body |
object |
参数解释: 操作成功后的结果数据,当status大于300时为空。该值根据调用接口的不同而不同,参见“桶相关接口”章节和“对象相关接口”章节的详细描述。 默认取值: 无 |
GetResult.body类型 |
说明 |
---|---|
UploadPartResponse |
参数解释: 上传段响应结果。 |
参数名称 |
参数类型 |
描述 |
---|---|---|
etag |
str |
参数解释: 段的base64编码的128位MD5摘要。ETag是段内容的唯一标识,可以通过该值识别段内容是否有变化。 取值范围: 长度为32的字符串。 默认取值: 无 |
sseKms |
str |
参数解释: 表示服务端加密是SSE-KMS方式。对象使用SSE-KMS方式加密。 取值范围: 可选值:kms,即选择SSE-KMS方式加密对象。 默认取值: 无 |
sseKmsKey |
str |
参数解释: SSE-KMS加密方式下使用的KMS主密钥的ID值。 取值范围: 有效值支持两种格式: regionID:domainID(帐号ID):key/key_id 其中: regionID是使用密钥所属region的ID,可在地区和终端节点页面获取; 默认取值: 如果用户没有提供该头域,那么默认的主密钥将会被使用。 |
sseC |
str |
参数解释: 使用SSE-C方式加解密对象时,选择的加解密算法。 取值范围: 支持的值为AES256,即高级加密标准(Advanced Encryption Standard,AES)。 默认取值: 无 |
sseCKeyMd5 |
str |
参数解释: SSE-C方式下加密使用密钥的MD5值,该值用于验证密钥传输过程中是否出错。 约束限制: 由密钥值经过MD5加密再经过Base64编码后得到,示例:4XvB3tbNTN+tIEVa0/fGaQ== 默认取值: 无 |
代码样例
本示例用于上传段。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 |
from obs import ObsClient import os import traceback # 推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险。 # 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html。 ak = os.getenv("AccessKeyID") sk = os.getenv("SecretAccessKey") # 【可选】如果使用临时AKSK和SecurityToken访问OBS,则同样推荐通过环境变量获取 security_token = os.getenv("SecurityToken") # server填写Bucket对应的Endpoint, 这里以华北-北京四为例,其他地区请按实际情况填写。 server = "https://obs.cn-north-4.myhuaweicloud.com" # 创建obsClient实例 # 如果使用临时AKSK和SecurityToken访问OBS,需要在创建实例时通过security_token参数指定securityToken值 obsClient = ObsClient(access_key_id=ak, secret_access_key=sk, server=server) try: bucketName = "examplebucket" # 上传到obs桶里的对象名称 objectKey = "objectname" # 段号,取值范围:1~10000 partNumber = "your partNumber" # 分段上传任务的ID uploadId = "your uploadid" # 待上传段的内容str或readable object object = 'Hello OBS' # 指明object字段是否代表文件路径,默认为False isFile = False # 源文件中某一分段的起始偏移大小,默认值为0, 单位为字节 offset = 0 # 源文件中某一分段的大小,默认值为文件大小减去offset的剩下字节数,单位为字节 partSize = 9 * 1024 * 1024 # 指明object字段是否代表文件路径,默认为False isAttachMd5 = True # 通过分段上传任务的ID,上传段到指定桶中 resp = obsClient.uploadPart(bucketName, objectKey, partNumber, uploadId, object, isFile, partSize, offset, isAttachMd5=isAttachMd5) # 返回码为2xx时,接口调用成功,否则接口调用失败 if resp.status < 300: print('Upload Part Succeeded') print('requestId:', resp.requestId) print('etag:', resp.body.etag) else: print('Upload Part Failed') print('requestId:', resp.requestId) print('errorCode:', resp.errorCode) print('errorMessage:', resp.errorMessage) except: print('Upload Part Failed') print(traceback.format_exc()) |
相关链接
关于分段上传-上传段的API说明,请参见上传段。
更多关于分段上传的示例代码,请参见Github示例。
分段上传过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。
父主题: 多段相关接口
同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家