华为云对象存储OBS追加写对象_云淘科技

功能介绍

追加写对象操作是指在指定桶内的一个对象尾追加上传数据,不存在相同对象键值的对象则创建新对象。

通过Append Object操作创建的Object类型为Appendable Object,而通过Put Object上传的Object是Normal Object。

用户上传的对象存储在桶中。用户必须对桶有WRITE权限,才可以在桶中上传对象。同一个桶中存储的对象名必须是唯一的。

为了确保数据在传输过程中没有遭到破坏,用户可以在请求消息头中加入Content-MD5参数,OBS收到上传数据后,会对数据进行MD5校验,如果不一致则返回出错信息。

该操作支持在创建Appendable对象时指定x-obs-acl参数,设置对象的权限控制策略。

该操作支持服务端加密功能。

和其他操作的关系

对一个已经存在的Appendable对象进行Put Object操作,那么该Appendable对象会被新Object覆盖,类型变为Normal对象,反之出错。
Appendable对象复制后变成Normal对象,不支持Appenable对象复制成Appendable对象。

WORM

在开启了WORM开关的桶中,使用追加写上传对象将失败并返回403。

约束

每次追加上传都会更新该对象的最后修改时间。
服务端加密SSE-C方式,那么追加上传和初始化段一样,设置诸如x-obs-server-side-encryption之类的请求Header,后续追加上传也必须携带。
服务端加密SSE-KMS方式,有且只有第一次上传且桶内不存在同名对象时,才设置诸如x-obs-server-side-encryption之类的请求Header,后续追加上传不携带。
每次追加上传的长度不能超过对象长度上限5G的限制。
每个Appendable对象追加写次数最多为10000次。
如果对象存储类型为COLD(归档存储)或深度归档存储,则不能调用该接口。
如果桶设置了跨区域复制配置,则不能调用该接口。
并行文件系统不支持追加写对象。

请求消息样式

POST /ObjectName?append&position=Position HTTP/1.1 
Host: bucketname.obs.cn-north-4.myhuaweicloud.com 
Content-Type: application/xml 
Content-Length: length
Authorization: authorization
Date: date
 

请求消息参数

该请求需要在消息中指定参数,表明这是追加写上传,同时指定本次追加上传位置,参数的具体意义如表1所示

表1 请求消息参数

参数名称

描述

是否必选

append

表明这是以追加写方式上传。

类型:String

position

追加写位置。需要追加写的对象首次上传时就必须指定position为0,下次追加需要填写的position会在服务端本次上传成功返回消息的头域x-obs-next-append-position中携带。

类型:Integer

请求消息头

该请求使用公共消息头,具体请参考表3。

请求参数position=0时,该请求可以使用的附加消息头,具体如表2所示。

该请求可以使用的服务端加密请求消息头,具体如表3所示。

表2 请求消息头

消息头名称

描述

是否必选

x-obs-acl

第一次写时,可以加上此消息头设置对象的权限控制策略,使用的策略为预定义的常用策略,包括:private;public-read;public-read-write(各策略详细说明见ACL章节的“使用头域设置ACL”)。

类型:String

说明:字符串形式的预定义策略。

x-obs-grant-read

第一次写时,使用此头域授权domain下所有用户有读对象和获取对象元数据的权限

类型:String

x-obs-grant-read-acp

第一次写时,使用此头域授权domain下所有用户有获取对象ACL的权限。

类型:String

x-obs-grant-write-acp

第一次写时,使用此头域授权domain下所有用户有写对象ACL的权限。

类型:String

x-obs-grant-full-control

第一次写时,使用此头域授权domain下所有用户有读对象、获取对象元数据、获取对象ACL、写对象ACL的权限。

类型:String

x-obs-storage-class

第一次写时,可以加上此头域设置对象的存储类型。如果未设置此头域,则以桶的默认存储类型作为对象的存储类型。

类型:String

说明:虽然存储类型有4种:STANDARD(标准存储)、WARM(低频访问存储)、COLD(归档存储)、DEEP_ARCHIVE(深度归档存储),但是归档存储和深度归档存储对象不支持追加上传,这里可配置的值只能是:STANDARD、WARM,注意大小写敏感。

示例:x-obs-storage-class:STANDARD

x-obs-meta-*

第一次写时,可以在HTTP请求中加入以“x-obs-meta-”开头的消息头,用来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回消息的头中出现。HTTP请求不包含消息体,长度不能超过8KB。

类型:String

示例:x-obs-meta-test:test metadata

x-obs-persistent-headers

第一次写时,可以在HTTP请求中加入“x-obs-persistent-headers”消息头,用来加入一个或多个自定义的响应头,当用户获取此对象或查询此对象元数据时,加入的自定义响应头将会在返回消息的头域中出现。

类型:String

格式:x-obs-persistent-headers: key1:base64_encode(value1),key2:base64_encode(value2)….

说明:其中key1/key2等为自定义header,若含有非ASCII码或不可识别字符,可以采用URL编码或者Base64编码,服务端只会作为字符串处理,不会做解码。value1/value2等为对应自定义header的值,base64_encode指做base64编码,即将自定义header和对应值的base64编码作为一个key-value对用“:”连接,然后用“,”将所有的key-value对连接起来,放在x-obs-persistent-headers这个header中即可,服务端会对上传的value做解码处理。

示例:x-obs-persistent-headers: key1:dmFsdWUx,key2:dmFsdWUy

下载此对象或获取此对象元数据时:返回两个头域分别为“key1:value1”与“key2:value2”

约束:

通过该方式指定的自定义响应头不能以“x-obs-”为前缀,比如可以指定“key1”,但是不能指定“x-obs-key1”
不能指定http标准头,例如host/content-md5/origin/range/Content-Disposition等
此头域和自定义元数据总长度不能超过8KB
如果传入相同key,将value以“,”拼接后放入同一个key中返回
若value解码后存在非US-ASCII值或不可识别字符,则服务端只会作为字符串处理并通过“?UTF-8?B??=”包装,而不会做解码,例如key1:abbc,会返回key1: =?UTF-8?B?abbc?=
value不支持包含的字符“空格”、“=”、“,”、“;”、“:”、”.”,如果需要包含,请使用URL编码或者Base64编码

x-obs-website-redirect-location

当桶设置了Website配置,可以将获取这个对象的请求重定向到桶内另一个对象或一个外部的URL,OBS将这个值从头域中取出,保存在对象的元数据中。

类型:String

默认值:无

约束:必须以“/”、“http://”或“https://”开头,长度不超过2K。

x-obs-expires

表示对象的过期时间,单位是天。过期之后对象会被自动删除。(从对象最后修改时间开始计算)

类型:Integer

示例:x-obs-expires:3

表3 服务端加密请求消息头

消息头名称

描述

是否必选

x-obs-server-side-encryption

使用该头域表示服务端加密是SSE-KMS方式。

类型:String

示例:x-obs-server-side-encryption:kms

否。当使用SSE-KMS方式时,必选。

x-obs-server-side-data-encryption

SSE-KMS方式下使用该头域,该头域表示对象使用的数据加密算法,有效值为SM4。

类型:String

示例:x-obs-server-side-data-encryption:SM4

x-obs-server-side-encryption-kms-key-id

SSE-KMS方式下使用该头域,该头域表示主密钥,如果用户没有提供该头域,那么默认的主密钥将会被使用。若默认主密钥不存在,将默认创建并使用。

类型:String

支持两种格式的描述方式:

1. regionID:domainID(租户ID):key/key_id

或者

2.key_id

其中regionID是使用密钥所属region的ID;domainID是使用密钥所属租户的租户ID;key_id是从数据加密服务创建的密钥ID。

示例:

1. x-obs-server-side-encryption-kms-key-id:cn-north-4:domainiddomainiddomainiddoma0001:key/4f1cd4de-ab64-4807-920a-47fc42e7f0d0 或者

2. x-obs-server-side-encryption-kms-key-id :4f1cd4de-ab64-4807-920a-47fc42e7f0d0

x-obs-server-side-encryption-customer-algorithm

SSE-C方式下使用该头域,该头域表示加密使用的算法。

类型:String

示例:x-obs-server-side-encryption-customer-algorithm:AES256

约束:需要和x-obs-server-side-encryption-customer-key, x-obs-server-side-encryption-customer-key-MD5一起使用。

否。当使用SSE-C方式时,必选。

x-obs-server-side-encryption-customer-key

SSE-C方式下使用该头域,该头域表示加密使用的密钥。该密钥用于加密对象。

类型:String

示例:x-obs-server-side-encryption-customer-key:K7QkYpBkM5+hca27fsNkUnNVaobncnLht/rCB2o/9Cw=

约束:该头域由256-bit的密钥经过base64-encoded得到,需要和x-obs-server-side-encryption-customer-algorithm,x-obs-server-side-encryption-customer-key-MD5一起使用。

否。当使用SSE-C方式时,必选。

x-obs-server-side-encryption-customer-key-MD5

SSE-C方式下使用该头域,该头域表示加密使用的密钥的MD5值。MD5值用于验证密钥传输过程中没有出错。

类型:String

示例:x-obs-server-side-encryption-customer-key-MD5:4XvB3tbNTN+tIEVa0/fGaQ==

约束:该头域由密钥的128-bit MD5值经过base64-encoded得到,需要和x-obs-server-side-encryption-customer-algorithm,x-obs-server-side-encryption-customer-key一起使用。

否。当使用SSE-C方式时,必选。

请求消息元素

该请求消息中不使用消息元素。

响应消息样式

1
2
3
4
HTTP/1.1 status_code
Date: date
ETag: etag
Content-Length: length

响应消息头

该请求的响应消息使用公共消息头,具体请参考表1。

ETag返回的是本次追加上传数据的Hash值,不是整个对象的Hash值。

表4 附加响应消息头

消息头名称

描述

x-obs-version-id

对象的版本号。如果桶的多版本状态为开启,则会返回对象的版本号。

类型:String

x-obs-server-side-encryption

如果服务端加密是SSE-KMS方式,响应包含该头域。

类型:String

示例:x-obs-server-side-encryption:kms

x-obs-server-side-data-encryption

如果服务端加密是SSE-KMS方式,且数据加密算法为SM4,响应包含该头域。

类型:String

示例:x-obs-server-side-data-encryption:SM4

x-obs-server-side-encryption-kms-key-id

如果服务端加密是SSE-KMS方式,响应包含该头域,该头域表示主密钥。

类型:String

格式为: regionID:domainID(租户ID):key/key_id

其中regionID是使用密钥所属region的ID;domainID是使用密钥所属租户的租户ID;key_id是本次加密使用的密钥ID。

示例: x-obs-server-side-encryption-kms-key-id:cn-north-4:domainiddomainiddomainiddoma0001:key/4f1cd4de-ab64-4807-920a-47fc42e7f0d0

x-obs-server-side-encryption-customer-algorithm

如果服务端加密是SSE-C方式,响应包含该头域,该头域表示加密使用的算法。

类型:String

示例:x-obs-server-side-encryption-customer-algorithm:AES256

x-obs-server-side-encryption-customer-key-MD5

如果服务端加密是SSE-C方式,响应包含该头域,该头域表示加密使用的密钥的MD5值。

类型:String

示例:x-obs-server-side-encryption-customer-key-MD5:4XvB3tbNTN+tIEVa0/fGaQ==

x-obs-next-append-position

指明下一次请求应该提供的position。

类型:Integer

响应消息元素

该请求的响应消息中不带消息元素。

错误响应消息

如果本次追加上传使对象长度超过对象长度限制,OBS返回400 Bad Request,错误码为AppendTooLarge。
如果position的值和当前对象的原始长度不一致,OBS返回409 Conflict,错误码为PositionNotEqualToLength。
如果指定桶中存在相同对象键值的对象,对象类型非Appendable,OBS返回409 Conflict,错误码为ObjectNotAppendable。
如果对象追加写次数超过10000次,OBS返回409 Conflict,错误码为ObjectNotAppendable。
如果对象存储类型为COLD(归档存储)或DEEP_ARCHIVE深度归档存储,则不能调用该接口,否则OBS返回409 Conflict,错误码为ObjectNotAppendable。
如果桶设置了跨区域复制配置,则不能调用该接口,否则OBS返回400 Bad Request,错误码为OperationNotSupported。

其他错误已包含在表2中。

请求示例:普通追加写对象

POST /object?append&position=0 HTTP/1.1
Host: examplebucket.obs.cn-north-4.myhuaweicloud.com
Expires: Wed, 27 Jun 2015 13:45:50 GMT
Date: Wed, 08 Jul 2015 06:57:01 GMT
Content-Type: image/jpg
Content-Length: 1458
Authorization: OBS H4IPJX0TQTHTHEBQQCEC:kZoYNv66bsmc10+dcGKw5x2PRrk=

[1458 bytes of object data]

响应示例:普通追加写对象

1
2
3
4
5
6
7
8
HTTP/1.1 200 OK
Date: Wed, 27 Jun 2015 13:45:50 GMT
ETag: "d41d8cd98f00b204e9800998ecf8427e"
Content-Length: 0  
Server: OBS
x-obs-request-id: 8DF400000163D3F0FD2A03D2D30B0542
x-obs-id-2: 32AAAUgAIAABAAAQAAEAABAAAQAAEAABCTjCqTmsA1XRpIrmrJdvcEWvZyjbztdd 
x-obs-next-append-position: 1458

请求示例:带redirect和自定义头域追加写对象

用户存在桶examplebucket,对象obj001不存在,通过追加写接口创建新对象, 设置重定向头域”x-obs-website-redirect-location”:”http://www.example.com/”,自定义头域”x-obs-meta-redirect”:”redirect”,请求为

POST /obj001?append&position=0 HTTP/1.1
Host: examplebucket.obs.cn-north-4.myhuaweicloud.com
Expires: Wed, 27 Jun 2015 13:45:50 GMT
Date: Wed, 08 Jul 2015 06:57:01 GMT
x-obs-website-redirect-location: http://www.example.com/
x-obs-meta-redirect: redirect
Content-Length: 6
Authorization: OBS H4IPJX0TQTHTHEBQQCEC:kZoYNv66bsmc10+dcGKw5x2PRrk=

[6 bytes of object data]

响应示例:带redirect和自定义头域追加写对象

1
2
3
4
5
6
7
8
HTTP/1.1 200 OK
Date: Wed, 27 Jun 2015 13:45:50 GMT
ETag: "9516dfb15f51c7ee19a4d46b8c0dbe1d"
Content-Length: 0  
Server: OBS
x-obs-request-id: 5DEB00000164A3150AC36F8F0C120D50
x-obs-id-2: 32AAAUgAIAABAAAQAAEAABAAAQAAEAABCSrVlTYwsA4p9GEW+LYqotSl5BYDxHfT 
x-obs-next-append-position: 6

请求示例:已启用版本控制

POST /object01?append&position=0 HTTP/1.1
PUT /?lifecycle HTTP/1.1
Authorization: OBS H4IPJX0TQTHTHEBQQCEC:iqSPeUBl66PwXDApxjRKk6hlcN4=
User-Agent: curl/7.29.0
Host: examplebucket.obs.region.myhuaweicloud.com
Date: WED, 01 Jul 2015 02:37:22 GMT
Content-Type: application/octet-stream
 
[1458 bytes of object data]

响应示例:已启用版本控制

x-obs-id-2: 32AAAQAAEAABSAAgAAEAABAAAQAAEAABCSZbDadL1f7fYU44bvRLvc0l6D10+wzG
x-obs-request-id: 0000018A2BCBB3ABD3046B99E3ED2E30
Server: OBS
Content-Length: 0
Date: WED, 01 Jul 2015 02:37:22 GMT
x-obs-next-append-position: 4
ETag: "56468d5607a5aaf1604ff5e15593b003"
x-obs-version-id: G001118A6803675AFFFFD3043F7F91D0

父主题: 对象操作

同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家