华为云对象存储OBS利用obsutil进行断点续传_云淘科技

obsutil在上传、下载和复制大文件时通过分段上传/下载/复制算法,可支持断点续传。您可根据具体的场景设置开启分段任务的阈值以实现上传/下载/复制任务失败或中断后的续传。您可通过两种方式指定开启分段任务的阈值:

方法一

指定配置文件中的配置参数:defaultBigfileThreshold,详情请参见配置参数说明。

方法二

在运行上传、下载、复制、增量同步上传、增量同步下载、增量同步复制时指定命令级参数:threshold。

例如:obsutil cp d: emp est.txt obs://bucket-test/key -threshold=52428800

其中

obsutil cp d: emp est.txt obs://bucket-test/key可以将D盘temp路径下名为test.txt的文件上传至bucket-test桶中,并且重命名为key。
设置-threshold=52428800启动分段任务算法,设置分段任务的阈值为50MB。

以Windows操作系统为例,示例如下:

obsutil cp d:	emp	est.txt obs://bucket-test/key -threshold=52428800

Parallel:      3                   Jobs:          3
Threshold:     50.00MB             PartSize:      auto
Exclude:                           Include:
VerifyLength:  false               VerifyMd5:     false
CheckpointDir: xxxx

[====================================================] 100.00% 1.68 MB/s 5s
Upload successfully, 8.46MB, d:	emp	est.txt --> obs://bucket-test/key

优先级:命令级参数threshold > 配置文件参数defaultBigfileThreshold。
分段任务的阈值作用于单个文件/对象,如果文件/对象的大小大于该阈值才会对该文件/对象应用分段任务算法。
分段任务算法和断点续传是强制绑定关系,即一旦使用分段任务算法就相当于对该次任务启动了断点续传模式。

父主题: 最佳实践

同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家