华为云对象存储OBS断点续传上传(Java SDK)_云淘科技
功能说明
对分段上传的封装和加强,解决上传大文件时由于网络不稳定或程序崩溃导致上传失败的问题。其原理是将待上传的文件分成若干个分段分别上传,并实时地将每段上传结果统一记录在checkpoint文件中,仅当所有分段都上传成功时返回上传成功的结果,否则返回错误信息提醒用户再次调用接口进行重新上传(重新上传时因为有checkpoint文件记录当前的上传进度,避免重新上传所有分段,从而节省资源提高效率)。
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。
接口约束
您必须是桶拥有者或拥有上传对象的权限,才能上传对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:PutObject权限,如果使用桶策略则需授予PutObject权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、配置对象策略。
OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。
断点续传上传接口传入的文件大小至少要100K以上。
使用SDK的断点续传接口时,必须开启断点续传选项后才能在进程再次进入时读取上一次上传的进度。
方法定义
obsClient.uploadFile(UploadFileRequest request)
请求参数说明
参数 |
类型 |
是否必选 |
描述 |
---|---|---|---|
request |
UploadFileRequest |
是 |
参数解释: 上传对象请求参数,详见UploadFileRequest。 |
参数 |
类型 |
是否必选 |
描述 |
---|---|---|---|
bucketName |
String |
必选 |
参数解释: 桶名。 约束限制: 桶的名字需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。 同一用户在同一个区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。 默认取值: 无 |
objectKey |
String |
必选 |
参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
objectMetadata |
ObjectMetadata |
可选 |
参数解释: 对象元数据,详见ObjectMetadata。 默认取值: 无 |
acl |
AccessControlList |
可选 |
参数解释: 创桶时可指定桶的ACL访问策略,您可以使用预定义的ACL策略,也可以自定义ACL策略,有关访问控制列表(Access Control List,ACL)功能的详细信息可参见ACL功能介绍。 取值范围: 如果使用预定义ACL策略,则可选策略参见ACL预定义访问策略。 默认取值: AccessControlList.REST_CANNED_PRIVATE |
sseKmsHeader |
SseKmsHeader |
可选 |
参数解释: 服务端加密头信息。详见SseKmsHeader。 默认取值: 无 |
sseCHeader |
SseCHeader |
可选 |
参数解释: 服务端加密头信息。详见SseCHeader。 默认取值: 无 |
enableCheckpoint |
boolean |
可选 |
参数解释: 是否开启断点续传模式。 取值范围: true:开启断点续传模式。 false:关闭断点续传模式。 默认取值: false |
checkpointFile |
String |
可选 |
参数解释: 断点续传过程中,会生成一个进度记录文件,文件中会记录段的上传进度和段的相关信息。checkpointFile参数为该记录文件的文件路径。 约束限制: 仅在断点续传模式下有效。 默认取值: 当该值为空时,默认为待上传的本地文件的同级目录。 |
enableCheckSum |
boolean |
可选 |
参数解释: 是否校验待上传文件的内容,如若开启该参数,会在每次任务重新开始前对待上传文件进行校验,验证是否与任务初始化时使用文件为同一文件。 约束限制: 仅在断点续传模式下有效。 取值范围: true:校验待上传文件的内容。 false:不校验待上传文件的内容。 默认取值: false |
uploadFile |
String |
必选 |
参数解释: 待上传文件或文件夹的完整路径,如aa/bb.txt,或aa/。 默认取值: 无 |
extensionPermissionMap |
Map<ExtensionObjectPermissionEnum, Set> |
可选 |
参数解释: 桶ACL的授权Map,您可以为一个或多个账号授予桶权限。Map的ExtensionObjectPermissionEnum用于指定权限,Map的Set用于说明该权限授予的账号ID列表,即domain_id列表。 取值范围: 授予权限的范围详见ExtensionObjectPermissionEnum。 默认取值: 无 |
progressListener |
ProgressListener |
可选 |
参数解释: 设置数据传输监听器,用于获取上传进度。详见ProgressListener |
partSize |
long |
可选 |
参数解释: 分段大小。 取值范围: 100KB~5GB,单位:字节。 默认取值: 9MB |
taskNum |
int |
可选 |
参数解释: 分段上传时的最大并发数。 取值范围: 1~10000,单位:个。 默认取值: 1,即不设置则默认单任务上传。 |
encodeHeaders |
boolean |
可选 |
参数解释: 是否开启OBS对请求头域的自动编码。 由于HTTP编码规范限制,无法发送非ASCII码字符,SDK会在发送请求时对您头域中的中文汉字进行url编码,发送编码后数据。如您设置的值content-disposition为“attachment; filename=”中文.txt””,则对象元数据中存储的信息为“attachment; filename=”%E4%B8%AD%E6%96%87.txt””。使用浏览器访问时浏览器将会自动解码。 取值范围: true:启用SDK编码。 false:不启用SDK编码。 默认取值: true |
常量名 |
说明 |
---|---|
AccessControlList.REST_CANNED_PRIVATE |
私有读写。 桶或对象的所有者拥有完全控制的权限,其他任何人都没有访问权限。 |
AccessControlList.REST_CANNED_PUBLIC_READ |
公共读。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。 设在对象上,所有人可以获取该对象内容和元数据。 |
AccessControlList.REST_CANNED_PUBLIC_READ_WRITE |
公共读写。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、上传对象删除对象、初始化段任务、上传段、合并段、拷贝段、取消多段上传任务。 设在对象上,所有人可以获取该对象内容和元数据。 |
AccessControlList.REST_CANNED_PUBLIC_READ_DELIVERED |
桶公共读,桶内对象公共读。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据,可以获取该桶内对象的内容和元数据。 不能应用于对象。 |
AccessControlList.REST_CANNED_PUBLIC_READ_WRITE_DELIVERED |
桶公共读写,桶内对象公共读写。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、上传对象、删除对象、初始化段任务、上传段、合并段、拷贝段、取消多段上传任务,可以获取该桶内对象的内容和元数据。 不能应用于对象。 |
方法名称 |
返回值类型 |
是否必选 |
描述 |
---|---|---|---|
progressChanged |
void |
必选 |
参数解释: 获取上传进度,详见progressChanged。 默认取值: 无 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
status |
ProgressStatus |
必选 |
参数解释: 传输进度数据,详见ProgressStatus。 默认取值: 无 |
方法名称 |
返回值类型 |
说明 |
---|---|---|
getAverageSpeed() |
double |
上传平均速率。 |
getInstantaneousSpeed() |
double |
上传瞬时速率。 |
getTransferPercentage() |
int |
上传进度百分比。 |
getNewlyTransferredBytes() |
long |
新增的字节数。 |
getTransferredBytes() |
long |
已传输的字节数。 |
getTotalBytes() |
long |
待传输的字节数。 |
常量值 |
说明 |
---|---|
GRANT_READ |
授权指定租户有读对象和获取对象元数据的权限。 |
GRANT_READ_ACP |
授权指定租户有获取对象ACL的权限。 |
GRANT_WRITE_ACP |
授权指定租户有写对象ACL的权限。 |
GRANT_FULL_CONTROL |
授权指定租户有读对象、获取对象元数据、获取对象ACL、写对象ACL的权限。 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
algorithm |
ServerAlgorithm |
必选 |
参数解释: 表示服务端加密是SSE-C方式,对象使用SSE-C加密方式。 取值范围: 可选值:AES256,即选择SSE-C方式,使用高级加密标准(Advanced Encryption Standard,AES)加密对象。详见ServerAlgorithm。 默认取值: 无 |
sseAlgorithm |
SSEAlgorithmEnum |
可选 |
参数解释: 加密算法。 约束限制: 只支持AES256。 取值范围: 详见SSEAlgorithmEnum。 默认取值: 无 |
sseCKey |
byte[] |
必选 |
参数解释: SSE-C方式下加密使用的原始密钥,byte[]形式,该密钥用于加密对象。 默认取值: 无 |
sseCKeyBase64 |
String |
可选 |
参数解释: SSE-C方式下的密钥,由原始密钥经过Base64编码后得到,该密钥用于加密对象。 默认取值: 无 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
encryption |
ServerEncryption |
必选 |
参数解释: 表示服务端加密是SSE-KMS方式。对象使用SSE-KMS方式加密。 取值范围: 可选值:kms,即选择SSE-KMS方式加密对象,详见ServerEncryption。 默认取值: 无 |
sseAlgorithm |
SSEAlgorithmEnum |
可选 |
参数解释: 加密算法。 约束限制: 只支持kms。 取值范围: 详见SSEAlgorithmEnum。 默认取值: 无 |
kmsKeyId |
String |
可选 |
参数解释: SSE-KMS加密方式下使用的KMS主密钥的ID值。 取值范围: 有效值支持两种格式: regionID:domainID(账号ID):key/key_id 其中: regionID是使用密钥所属region的ID,可在地区和终端节点页面获取; 默认取值: 如果用户没有提供该头域,那么默认的主密钥将会被使用。 |
常量值 |
原始值 |
---|---|
AES256 |
AES256 |
常量值 |
原始值 |
---|---|
OBS_KMS |
kms |
常量值 |
原始值 |
---|---|
KMS |
kms |
AES256 |
AES256 |
常量名 |
原始值 |
说明 |
---|---|---|
STANDARD |
STANDARD |
标准存储。 |
WARM |
WARM |
低频访问存储。 |
COLD |
COLD |
归档存储。 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
contentLength |
Long |
可选 |
参数解释: 对象数据的长度。 约束限制: 单次上传对象大小范围是[0, 5GB]。 默认取值: 如果不设置,则SDK会自动计算对象数据的长度。 |
contentType |
String |
可选 |
参数解释: 对象的文件类型(MIME类型)。contentType(MIME)用于标识发送或接收数据的类型,浏览器根据该参数来决定数据的打开方式。 取值范围: 常见的contentType(MIME)列表参见如何理解Content-Type(MIME)?(Java SDK)。 默认取值: 如果未指定Content-Type,SDK会根据指定Object名称的后缀来判定文件类型并自动填充Content-Type(如.xml判断为application/xml文件;.html判断为text/html文件)。 |
contentEncoding |
String |
可选 |
参数解释: 响应中的Content-Encoding头。指定对象内容编码格式。 默认取值: 无 |
contentDisposition |
String |
可选 |
参数解释: 为请求的对象提供一个默认的文件名赋值给该对象,当下载对象或者访问对象时,以默认文件名命名的文件将直接在浏览器上显示,或在弹出文件下载对话框时显示。 默认取值: 无 |
cacheControl |
String |
可选 |
参数解释: 响应中的Cache-Control头。指定对象被下载时的网页的缓存行为。 默认取值: 无 |
contentLanguage |
String |
可选 |
参数解释: 说明访问者希望采用的语言或语言组合,以根据自己偏好的语言来定制。详情请参见HTTP协议中关于ContentLanguage的定义。 默认取值: 无 |
expires |
String |
可选 |
参数解释: 表示对象的过期时间点(从对象最后修改时间开始计算)。 约束限制: 日期格式为GMT的格式。 默认取值: 无 |
contentMd5 |
String |
可选 |
参数解释: 对象数据的MD5值(经过Base64编码),提供给OBS服务端,校验数据完整性。OBS服务端会将该MD5值与对象数据计算出的MD5值进行对比,如果不匹配则上传失败,返回HTTP 400错误。 约束限制: 对象数据的MD5值必须经过Base64编码。 取值范围: 按照RFC 1864标准计算出消息体的MD5摘要字符串,即消息体128-bit MD5值经过Base64编码后得到的字符串。 示例:n58IG6hfM7vqI4K0vnWpog== 默认取值: 无 |
storageClass |
StorageClassEnum |
可选 |
参数解释: 对象的存储类别。创建对象时,可以加上此头域设置对象的存储类别。如果未设置此头域,则以桶的默认存储类别作为对象的存储类别。 取值范围: 可选择的存储类别参见StorageClassEnum。 默认取值: 无 |
webSiteRedirectLocation |
String |
可选 |
参数解释: 当桶设置了Website配置,可以将获取这个对象的请求重定向到桶内另一个对象或一个外部的URL,该参数指明对象的重定向地址。 例如,重定向请求到桶内另一对象: WebsiteRedirectLocation:/anotherPage.html 或重定向请求到一个外部URL: WebsiteRedirectLocation:http://www.example.com/ 约束限制: 必须以“/”、“http://”或“https://”开头,长度不超过2KB。 默认取值: 无 |
nextPosition |
long |
可选 |
参数解释: 下次追加上传的位置。 取值范围: 0~对象长度,单位:字节。 默认取值: 无 |
appendable |
boolean |
可选 |
参数解释: 对象是否为可追加上传的对象。 取值范围: true:是,可追加上传。 false:否,不可追加上传。 默认取值: 无 |
userMetadata |
Map |
可选 |
参数解释: 对象的自定义元数据,OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。Map中的String代表以“x-obs-meta-”开头的自定义元数据名称,Object代表自定义元数据的值。对象的自定义元数据可以通过ObsClient.getObjectMetadata获取,参见获取对象元数据。 约束限制: 一个对象可以有多个元数据,总大小不能超过8KB。 默认取值: 无 |
参数名称 |
参数类型 |
是否必选 |
参数类型 |
---|---|---|---|
owner |
Owner |
可选 |
参数解释: 桶所有者的信息,详见Owner。 |
delivered |
boolean |
可选 |
参数解释: 桶的ACL是否向桶内对象传递,作用于桶内所有对象。 取值范围: true:是,桶ACL向桶内对象传递。 false:否,桶ACL不向桶内对象传递,仅作用于桶。 默认取值: false |
grants |
Set |
可选 |
参数解释: 被授权用户相关信息,详见GrantAndPermission。 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
id |
String |
必选 |
参数解释: 桶所有者的账号ID,即domain_id。 取值范围: 如何获取账号ID请参见如何获取账号ID和用户ID?。 默认取值: 无 |
displayName |
String |
可选 |
参数解释: 所有者的账号名。 取值范围: 如何获取账号名请参见如何获取账号名?。 默认取值: 无 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
grantee |
GranteeInterface |
必选 |
参数解释: 被授权用户或用户组,详见GranteeInterface。 |
permission |
Permission |
必选 |
参数解释: 用户或用户组被授予的权限。 取值范围: 详见Permission。 默认取值: 无 |
delivered |
boolean |
可选 |
参数解释: 桶的ACL是否向桶内对象传递,作用于桶内所有对象。 取值范围: true:是,桶ACL向桶内对象传递。 false:否,桶ACL不向桶内对象传递,仅作用于桶。 默认取值: false |
常量名 |
原始值 |
说明 |
---|---|---|
PERMISSION_READ |
READ |
读权限。 若有桶的读权限,则可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。 若有对象的读权限,则可以获取该对象内容和元数据。 |
PERMISSION_WRITE |
WRITE |
写权限。 若有桶的写权限,则可以上传、覆盖和删除该桶内任何对象和段。 此权限在对象上不适用。 |
PERMISSION_READ_ACP |
READ_ACP |
读取ACL配置的权限。 若有读ACP的权限,则可以获取对应的桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有读对应桶或对象ACP的权限。 |
PERMISSION_WRITE_ACP |
WRITE_ACP |
修改ACL配置的权限。 若有写ACP的权限,则可以更新对应桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有写对应桶或对象的ACP的权限。 拥有了写ACP的权限,由于可以更改权限控制策略,实际上意味着拥有了完全访问的权限。 |
PERMISSION_FULL_CONTROL |
FULL_CONTROL |
完全控制权限,包括对桶或对象的读写权限,以及对桶或对象ACL配置的读写权限。 若有桶的完全控制权限意味着拥有READ、WRITE、READ_ACP和WRITE_ACP的权限。 若有对象的完全控制权限意味着拥有READ、READ_ACP和WRITE_ACP的权限。 |
参数名称 |
描述 |
---|---|
CanonicalGrantee |
参数解释: 被授权用户的用户信息,详见CanonicalGrantee。 |
GroupGrantee |
参数解释: 被授权用户组的用户组信息。 取值范围: 详见GroupGrantee。 默认取值: 无 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
grantId |
String |
如果Type为用户类型则必选 |
参数解释: 被授权用户的账号ID,即domain_id。 取值范围: 如何获取账号ID请参见如何获取账号ID和用户ID?。 默认取值: 无 |
displayName |
String |
可选 |
参数描述: 被授权用户的账号名。 取值范围: 如何获取账号名请参见如何获取账号名?。 默认取值: 无 |
常量名 |
说明 |
---|---|
ALL_USERS |
所有用户。 |
AUTHENTICATED_USERS |
授权用户,已废弃。 |
LOG_DELIVERY |
日志投递组,已废弃。 |
返回结果说明
参数名称 |
参数类型 |
描述 |
---|---|---|
statusCode |
int |
参数解释: HTTP状态码。 取值范围: 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。 完整的状态码列表请参见状态码。 默认取值: 无 |
responseHeaders |
Map |
参数解释: 响应消息头列表,由多个元组构成。元组中String代表响应消息头的名称,Object代表响应消息头的值。 默认取值: 无 |
bucketName |
String |
参数解释: 桶名。 约束限制: 桶的名字需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。 同一用户在同一个区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。 默认取值: 无 |
objectKey |
String |
参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
etag |
String |
参数解释: 对象的etag值,即Base64编码的128位MD5摘要。etag是对象内容的唯一标识,可以通过该值识别对象内容是否有变化。比如上传对象时etag为A,下载对象时etag为B,则说明对象内容发生了变化。etag只反映变化的内容,而不是其元数据。上传的对象或拷贝操作创建的对象,都有唯一的etag。 约束限制: 当对象是服务端加密的对象时,etag值不是对象的MD5值。 取值范围: 长度为32的字符串。 默认取值: 无 |
versionId |
String |
参数解释: 对象的版本号。如果桶的多版本状态为开启,则会返回对象的版本号。 取值范围: 长度为32的字符串。 默认取值: 无 |
代码示例
本示例展示了如何通过使用断点续传方式将本地文件localfile上传到examplebucket桶下的objectKey对象中。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 |
import com.obs.services.ObsClient; import com.obs.services.exception.ObsException; import com.obs.services.model.CompleteMultipartUploadResult; import com.obs.services.model.UploadFileRequest; public class UploadFile001 { public static void main(String[] args) { // 您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险。 // 您可以登录访问管理控制台获取访问密钥AK/SK String ak = System.getenv("ACCESS_KEY_ID"); String sk = System.getenv("SECRET_ACCESS_KEY_ID"); // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。 // 您可以通过环境变量获取访问密钥AK/SK/SecurityToken,也可以使用其他外部引入方式传入。 // String securityToken = System.getenv("SECURITY_TOKEN"); // endpoint填写桶所在的endpoint, 此处以华北-北京四为例,其他地区请按实际情况填写。 String endPoint = "https://obs.cn-north-4.myhuaweicloud.com"; // 您可以通过环境变量获取endPoint,也可以使用其他外部引入方式传入。 //String endPoint = System.getenv("ENDPOINT"); // 创建ObsClient实例 // 使用永久AK/SK初始化客户端 ObsClient obsClient = new ObsClient(ak, sk,endPoint); // 使用临时AK/SK和SecurityToken初始化客户端 // ObsClient obsClient = new ObsClient(ak, sk, securityToken, endPoint); try { UploadFileRequest request = new UploadFileRequest("examplebucket", "objectKey"); // 设置待上传的本地文件,localfile为待上传的本地文件路径,需要指定到具体带文件后缀的文件名 request.setUploadFile("localfile"); // 设置分段上传时的最大并发数 request.setTaskNum(5); // 设置分段大小为10MB request.setPartSize(10 * 1024 * 1024); // 开启断点续传模式 request.setEnableCheckpoint(true); // 进行断点续传上传 CompleteMultipartUploadResult result = obsClient.uploadFile(request); System.out.println("UploadFile successfully"); } catch (ObsException e) { // 发生异常时可再次调用断点续传上传接口进行重新上传 System.out.println("UploadFile failed"); // 请求失败,打印http状态码 System.out.println("HTTP Code:" + e.getResponseCode()); // 请求失败,打印服务端错误码 System.out.println("Error Code:" + e.getErrorCode()); // 请求失败,打印详细错误信息 System.out.println("Error Message:" + e.getErrorMessage()); // 请求失败,打印请求id System.out.println("Request ID:" + e.getErrorRequestId()); System.out.println("Host ID:" + e.getErrorHostId()); e.printStackTrace(); } catch (Exception e) { System.out.println("UploadFile failed"); // 其他异常信息打印 e.printStackTrace(); } } } |
相关链接
上传对象过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。
上传对象常见问题请参见上传对象失败。
父主题: 上传对象(Java SDK)
同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家