华为云对象存储OBS利用obsutil进行断点续传_云淘科技
obsutil在上传、下载和复制大文件时通过分段上传/下载/复制算法,可支持断点续传。您可根据具体的场景设置开启分段任务的阈值以实现上传/下载/复制任务失败或中断后的续传。您可通过两种方式指定开启分段任务的阈值:
方法一
指定配置文件中的配置参数:defaultBigfileThreshold,详情请参见配置参数说明。
方法二
在运行上传、下载、复制、增量同步上传、增量同步下载、增量同步复制时指定命令级参数:threshold。
例如:obsutil cp d: emp est.txt obs://bucket-test/key -threshold=52428800
其中
obsutil cp d: emp est.txt obs://bucket-test/key可以将D盘temp路径下名为test.txt的文件上传至bucket-test桶中,并且重命名为key。
设置-threshold=52428800启动分段任务算法,设置分段任务的阈值为50MB。
以Windows操作系统为例,示例如下:
obsutil cp d: emp est.txt obs://bucket-test/key -threshold=52428800 Parallel: 3 Jobs: 3 Threshold: 50.00MB PartSize: auto Exclude: Include: VerifyLength: false VerifyMd5: false CheckpointDir: xxxx [====================================================] 100.00% 1.68 MB/s 5s Upload successfully, 8.46MB, d: emp est.txt --> obs://bucket-test/key
优先级:命令级参数threshold > 配置文件参数defaultBigfileThreshold。
分段任务的阈值作用于单个文件/对象,如果文件/对象的大小大于该阈值才会对该文件/对象应用分段任务算法。
分段任务算法和断点续传是强制绑定关系,即一旦使用分段任务算法就相当于对该次任务启动了断点续传模式。
父主题: 最佳实践
同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家