首页 > 华为云产品及优惠 > 华为云云存储

华为云对象存储OBS分段上传-合并段(Go SDK)_云淘科技

12 月 22, 2023
102 0

功能说明

如果用户上传完所有的段，就可以调用合并段接口，系统将在服务端将用户指定的段合并成一个完整的对象。在执行“合并段”操作以前，用户不能下载已经上传的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息拷贝到对象元数据中，其处理过程和普通上传对象带这些消息头的处理过程相同。在并发合并段的情况下，仍然遵循Last Write Win策略，但“Last Write”的时间定义为段任务的初始化时间。

已经上传的段，只要没有取消对应的多段上传任务，都要占用用户的容量配额；对应的多段上传任务“合并段”操作完成后，只有指定的多段数据占用容量配额，用户上传的其他此多段任务对应的段数据如果没有包含在“合并段”操作制定的段列表中，“合并段”完成后系统将删除多余的段数据，且同时释放容量配额。

合并段时，OBS通过按升序的段编号规范化多段来创建对象。如果在初始化上传段任务中提供了任何对象元数据，则OBS会将该元数据与对象相关联。成功完成请求后，段将不再存在。合并段请求必须包括上传ID以及段编号和相应的ETag值的列表。OBS响应包括可唯一地识别组合对象数据的ETag。此ETag无需成为对象数据的MD5哈希。

接口约束

您必须是桶拥有者或拥有合并段的权限，才能合并段。建议使用IAM或桶策略进行授权，如果使用IAM则需授予obs:object:PutObject权限，如果使用桶策略则需授予PutObject权限。相关授权方式介绍可参见OBS权限控制概述，配置方式详见使用IAM自定义策略、配置对象策略。
OBS支持的Region与Endpoint的对应关系，详细信息请参见地区与终端节点。
如果上传了10个段，但合并时只选择了9个段进行合并，那么未被合并的段将会被系统自动删除，未被合并的段删除后不能恢复。在进行合并之前请使用列出已上传的段接口进行查询，仔细核对所有段，确保没有段被遗漏。

方法定义

func (obsClient ObsClient) CompleteMultipartUpload(input *CompleteMultipartUploadInput, extensions…extensionOptions) (output *CompleteMultipartUploadOutput, err error)

请求参数说明

表1 请求参数列表

参数名称

参数类型

是否必选

描述

input

*CompleteMultipartUploadInput

必选

参数解释：

合并段请求参数。详情参见CompleteMultipartUploadInput。

extensions

extensionOptions

可选

参数解释：

拓展配置项。通过调用拓展配置项为对应请求配置额外的拓展请求头，详情参考extensionOptions。
表2 CompleteMultipartUploadInput

参数名称

参数类型

是否必选

描述

Bucket

string

必选

参数解释：

桶名。

约束限制：

桶的名字需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。
桶命名规则如下：

3～63个字符，数字或字母开头，支持小写字母、数字、“-”、“.”。
禁止使用IP地址。
禁止以“-”或“.”开头及结尾。
禁止两个“.”相邻（如：“my..bucket”）。
禁止“.”和“-”相邻（如：“my-.bucket”和“my.-bucket”）。

同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。

默认取值：

无

Key

string

必选

参数解释：

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径，路径中不包含桶名。

例如，您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中，对象名为folder/test.txt。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

UploadId

string

必选

参数解释：

分段上传任务的ID，例如：000001648453845DBB78F2340DD460D8

取值范围：

长度为32的字符串。

默认取值：

无

Parts

[]Part

必选

参数解释：

待合并的段列表。详情参见Part。

EncodingType

string

可选

参数解释：

对响应中的Key进行指定类型的编码。如果Key包含xml 1.0标准不支持的控制字符，可通过设置该参数对响应中的Key进行编码。

取值范围：

可选值为url。

默认取值：

无，不设置则不编码。
表3 Part

参数名称

参数类型

描述

PartNumber

int

参数解释：

段号。

取值范围：

取值范围是[1,10000]的非负整数。

默认取值：

无

ETag

string

参数解释：

段的ETag值。分段的base64编码的128位MD5摘要。

取值范围：

长度为32的字符串。

默认取值：

无

返回结果说明

表4 返回结果

参数名称

参数类型

描述

output

*CompleteMultipartUploadOutput

参数解释：

接口返回信息。详情参见CompleteMultipartUploadOutput。

err

error

参数解释：

接口返回错误信息。
表5 CompleteMultipartUploadOutput

参数名称

参数类型

描述

StatusCode

int

参数解释：

HTTP状态码。

取值范围：

状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见状态码。

默认取值：

无

RequestId

string

参数解释：

OBS服务端返回的请求ID。

默认取值：

无

ResponseHeaders

map[string][]string

参数解释：

HTTP响应头信息。

默认取值：

无

ETag

string

参数解释：

合并段后根据各个段的ETag值计算出的结果。对象的base64编码的128位MD5摘要。ETag是对象内容的唯一标识，可以通过该值识别对象内容是否有变化。比如上传对象时ETag为A，下载对象时ETag为B，则说明对象内容发生了变化。ETag只反映变化的内容，而不是其元数据。上传的对象或拷贝操作创建的对象，都有唯一的ETag。

约束限制：

当对象是服务端加密的对象时，ETag值不是对象的MD5值。

取值范围：

长度为32的字符串。

默认取值：

无

Bucket

string

参数解释：

合并段所在的桶名。

约束限制：

桶的名字需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。
桶命名规则如下：

3～63个字符，数字或字母开头，支持小写字母、数字、“-”、“.”。
禁止使用IP地址。
禁止以“-”或“.”开头及结尾。
禁止两个“.”相邻（如：“my..bucket”）。
禁止“.”和“-”相邻（如：“my-.bucket”和“my.-bucket”）。

同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。

默认取值：

无

Key

string

参数解释：

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径，路径中不包含桶名。

例如，您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中，对象名为folder/test.txt。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

Location

string

参数解释：

合并段后得到的对象的url。

例如：https://example-Bucket.obs.regions.myhuaweicloud.com/example-Object

默认取值：

无

VersionId

string

参数解释：

合并段后得到的对象版本号。如果桶的多版本状态为开启，则会返回对象的版本号。

取值范围：

长度为32的字符串。

默认取值：

无

SseHeader

SseCHeader

或

SseKmsHeader

参数解释：

服务端加密头信息。SSE-C加密方式详情参见SseCHeader，SSE-KMS加密方式详情参见SseKmsHeader。

EncodingType

string

参数解释：

用于指定对响应中的Key进行指定类型的编码。如果Key包含xml 1.0标准不支持的控制字符，可通过设置该参数对响应中的Key进行编码。

取值范围：

可选值为url。

默认取值：

无，不设置则不编码。
表6 SseCHeader

参数名称

参数类型

是否必选

描述

Encryption

string

作为请求参数时必选

参数解释：

表示服务端加密是SSE-C方式。对象使用SSE-C加密方式。

取值范围：

可选值：AES256，即选择SSE-C方式加密对象。

默认取值：

无

Key

string

作为请求参数时必选

参数解释：

SSE-C方式下加密使用的密钥，该密钥用于加密对象。

约束限制：

该头域由256bit的密钥经过Base64编码得到，示例：K7QkYpBkM5+hca27fsNkUnNVaobncnLht/rCB2o/9Cw=

默认取值：

无

KeyMD5

string

作为请求参数时可选

参数解释：

SSE-C方式下加密使用密钥的MD5值，该值用于验证密钥传输过程中是否出错。

约束限制：

由密钥值经过MD5加密再经过Base64编码后得到，示例：4XvB3tbNTN+tIEVa0/fGaQ==

默认取值：

无
表7 SseKmsHeader

参数名称

参数类型

是否必选

描述

Encryption

string

作为请求参数时必选

参数解释：

表示服务端加密是SSE-KMS方式。对象使用SSE-KMS方式加密。

取值范围：

可选值：kms，即选择SSE-KMS方式加密对象。

默认取值：

无

Key

string

作为请求参数时可选

参数解释：

SSE-KMS加密方式下使用的KMS主密钥的ID值。

取值范围：

有效值支持两种格式：

regionID:domainID(帐号ID):key/key_id
key_id

其中：

regionID是使用密钥所属region的ID，可在地区和终端节点页面获取；
domainID是使用密钥所属帐号的帐号ID，获取方法参见如何获取帐号ID和用户ID?；
key_id是从数据加密服务创建的密钥ID，获取方法请参见查看密钥。

默认取值：

如果用户没有提供该头域，那么默认的主密钥将会被使用。
若默认主密钥不存在，将默认创建并使用。

代码样例

本示例用于合并指定桶 examplebucket 中已上传的段，并且对象名是example/objectname，上传任务ID是 00000188677110424014075CC4A77xxx

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
 
package main
import (
    "fmt"
    "os"
    obs "github.com/huaweicloud/huaweicloud-sdk-go-obs/obs"
)
func main() {
    //推荐通过环境变量获取AKSK，这里也可以使用其他外部引入方式传入，如果使用硬编码可能会存在泄露风险。
    //您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html。
    ak := os.Getenv("AccessKeyID")
    sk := os.Getenv("SecretAccessKey")
    // 【可选】如果使用临时AK/SK和SecurityToken访问OBS，同样建议您尽量避免使用硬编码，以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK，也可以使用其他外部引入方式传入。
    // securityToken := os.Getenv("SecurityToken")
   // endpoint填写Bucket对应的Endpoint, 这里以华北-北京四为例，其他地区请按实际情况填写。
    endPoint := "https://obs.cn-north-4.myhuaweicloud.com"
    // 创建obsClient实例
    // 如果使用临时AKSK和SecurityToken访问OBS，需要在创建实例时通过obs.WithSecurityToken方法指定securityToken值。
    obsClient, err := obs.New(ak, sk, endPoint/*, obs.WithSecurityToken(securityToken)*/)
    if err != nil {
        fmt.Printf("Create obsClient error, errMsg: %s", err.Error())
    }
    input := &obs.CompleteMultipartUploadInput{}
    // 指定存储桶名称
    input.Bucket = "examplebucket"
    // 指定对象名，此处以 example/objectname 为例。
    input.Key = "example/objectname"
    // 指定多段上传任务号，此处以00000188677110424014075CC4A77xxx为例。
    input.UploadId = "00000188677110424014075CC4A77xxx"
    // 指定待合并的段列表
    input.Parts = []obs.Part{
        {PartNumber: 1, ETag: "etag1"},
        {PartNumber: 2, ETag: "etag2"},
        {PartNumber: 3, ETag: "etag3"},
    }
    // 合并多任务段
    output, err := obsClient.CompleteMultipartUpload(input)
    if err == nil {
        fmt.Printf("Complete multipart upload(%s) successful with bucket(%s) and object(%s)!
", input.Bucket, input.Key)
        fmt.Printf("Location:%s, Bucket:%s, Key:%s, ETag:%s
", output.Location, output.Bucket, output.Key, output.ETag)
        return
    }
    fmt.Printf("Complete multipart upload(%s) fail with bucket(%s) and object(%s)!
", input.Bucket, input.Key)
    if obsError, ok := err.(obs.ObsError); ok {
        fmt.Println("An ObsError was found, which means your request sent to OBS was rejected with an error response.")
        fmt.Println(obsError.Error())
    } else {
        fmt.Println("An Exception was found, which means the client encountered an internal problem when attempting to communicate with OBS, for example, the client was unable to access the network.")
        fmt.Println(err)
    }
}

相关链接

关于分段上传-合并段的API说明，请参见合并段。
更多关于分段上传的示例代码，请参见Github示例。
分段上传过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。

父主题： 多段相关接口(Go SDK)

同意关联代理商云淘科技，购买华为云产品更优惠（QQ 78315851）

内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家

相关文章

分类

近期文章

近期评论

您尚未收到任何评论。

友情链接

同尘科技 同尘云 云淘科技 数据百度 西数云 站长论坛 阿里云代理 阿里云代理商 阿里云优惠 腾讯云代理 腾讯云优惠 云小二

分类目录