华为云对象存储OBS上传/下载性能优化_云淘科技

OBS Browser+对大于50MB的文件/对象默认采用分段方式进行上传/下载,与分段任务相关的参数都在“系统设置”->“基础设置”中。

表1

参数

描述

最大并行任务数

任务同时运行的最大数量,默认是3,取值范围是:1~50。

单任务最大并发数

每个任务的分段最大并发数,默认是3,取值范围是:1~50。

自动调整段大小

工具会根据源文件/对象大小自动设置每个分段任务的段大小,默认选中。

上传段大小

开启分段任务的阈值,如果待上传的文件大于该阈值,则采用分段任务的形式进行上传。单位:MB,默认为50MB。

说明:

需要取消勾选“自动调整大小”功能。
对于分段上传取值范围是 9M~5GB。

下载段大小

开启分段任务的阈值,如果待下载的文件大于该阈值,则采用分段任务的形式进行下载。单位:MB,默认为50MB。

说明:

需要取消勾选“自动调整大小”功能。
对于分段下载取值范围是 9M~5GB。

通常情况下使用分段任务不仅能提高传输效率,还能实现失败任务的断点续传。默认情况下,分段任务的段大小可以勾选“自动调整段大小”自动调整。但在实际操作中,为了进一步提升上传下载性能,可根据文件大小、网络情况等因素进行调整,以获得最大传输效率并能保证传输任务顺利完成。

针对用户侧存在大量小文件(通常大小在几MB以内)的场景下,对应上传下载请求数较多,此时可以通过适当增大最大并行任务数进行调优;由于文件大小较小可能无法触发分段上传/下载的大小阈值,因此该场景下调整单任务最大并发数及分段大小效果不明显;

针对用户侧存在大文件进行上传下载的场景,由于单个文件大小较大,此时可以通过适当调整上传/下载的段大小以及单任务的最大并发数来进行调优;

需要注意的是,Browser+并发的最大任务数 = 最大并行任务数*单任务最大并发数,由于运行机资源限制,如果并发数配置过大,可能会因此线程间资源切换及抢夺等原因,导致上传/下载的性能下降,因此参数需要根据实际的文件大小和网络情况调整;
在客户端网络情况不理想的情况下,为了减少受网络波动影响导致任务失败的情况,可以适当减小上传/下载的段大小和整体的并发数量;

父主题: 最佳实践

同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家