华为云对象存储OBS上传/下载性能优化_云淘科技
OBS Browser+对大于50MB的文件/对象默认采用分段方式进行上传/下载,与分段任务相关的参数都在“系统设置”->“基础设置”中。
参数 |
描述 |
---|---|
最大并行任务数 |
任务同时运行的最大数量,默认是3,取值范围是:1~50。 |
单任务最大并发数 |
每个任务的分段最大并发数,默认是3,取值范围是:1~50。 |
自动调整段大小 |
工具会根据源文件/对象大小自动设置每个分段任务的段大小,默认选中。 |
上传段大小 |
开启分段任务的阈值,如果待上传的文件大于该阈值,则采用分段任务的形式进行上传。单位:MB,默认为50MB。 说明: 需要取消勾选“自动调整大小”功能。 |
下载段大小 |
开启分段任务的阈值,如果待下载的文件大于该阈值,则采用分段任务的形式进行下载。单位:MB,默认为50MB。 说明: 需要取消勾选“自动调整大小”功能。 |
通常情况下使用分段任务不仅能提高传输效率,还能实现失败任务的断点续传。默认情况下,分段任务的段大小可以勾选“自动调整段大小”自动调整。但在实际操作中,为了进一步提升上传下载性能,可根据文件大小、网络情况等因素进行调整,以获得最大传输效率并能保证传输任务顺利完成。
针对用户侧存在大量小文件(通常大小在几MB以内)的场景下,对应上传下载请求数较多,此时可以通过适当增大最大并行任务数进行调优;由于文件大小较小可能无法触发分段上传/下载的大小阈值,因此该场景下调整单任务最大并发数及分段大小效果不明显;
针对用户侧存在大文件进行上传下载的场景,由于单个文件大小较大,此时可以通过适当调整上传/下载的段大小以及单任务的最大并发数来进行调优;
需要注意的是,Browser+并发的最大任务数 = 最大并行任务数*单任务最大并发数,由于运行机资源限制,如果并发数配置过大,可能会因此线程间资源切换及抢夺等原因,导致上传/下载的性能下降,因此参数需要根据实际的文件大小和网络情况调整;
在客户端网络情况不理想的情况下,为了减少受网络波动影响导致任务失败的情况,可以适当减小上传/下载的段大小和整体的并发数量;
父主题: 最佳实践
同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家