华为云对象存储OBSLogstash对接OBS_云淘科技
概述
Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中,具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。
注意事项
请使用较新版本的logstash,例如≥7.10.2的版本,避免使用较老版本的logstash。
对接步骤
以logstash-7.10.2为例。
下载logstash-7.10.2-linux-x86_64.tar.gz,并解压到/opt/logstash-7.10.2-linux-x86_64目录。
验证是否对接成功。
示例:以file为源端,以OBS为目的端。
创建配置文件file2obs.conf。参数说明见表1,更多详情请参见这里。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
input { file { path => "/opt/nginx/logs/access.log" start_position => "beginning" } } output { s3 { endpoint => "obs endpoint" # The endpoint should be an HTTP or HTTPS URL access_key_id => "ak" secret_access_key => "sk" bucket => "obs bucket name" size_file => 1048576 time_file => 1 prefix => "logstash/" enable_metric => true } } |
参数 |
说明 |
---|---|
endpoint |
OBS的endpoint,例如 https://obs.cn-north-4.myhuaweicloud.com |
access_key_id |
具备访问OBS权限的ak。 |
secret_access_key |
具备访问OBS权限的sk。 |
bucket |
OBS的桶名称。 |
size_file |
指定文件滚动大小(字节)。当文件大小达到设定的值时,会生成一个新的文件。 |
time_file |
设置文件滚动周期(分钟)。当数据写入达到设定周期时,会生成一个新的文件。 |
prefix |
指定文件存储的目录,例如“logstash/”,此时文件会写入到桶的logstash/目录下(注意路径不要以/开头)。 |
执行以下命令,运行logstash。
bin/logstash -f ../conf/file2obs.conf
父主题: 对接大数据组件
同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家