华为云对象存储OBSHive对接OBS_云淘科技
概述
Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。
前提条件
已安装Hadoop,具体请参见Hadoop对接OBS。
对接步骤
以Hive 2.3.3为例。
下载apache-hive-2.3.3-bin.tar.gz,并解压到/opt/hive-2.3.3。
在/etc/profile文件中增加配置内容:
export HIVE_HOME=/opt/hive-2.3.3 export PATH=$HIVE_HOME/bin:$PATH
配置Hive。
重命名/opt/hive-2.3.3/conf/hive-env.sh.template为hive-env.sh。
重命名opt/hive-2.3.3/conf/hive-log4j2.properties.template为hive-log4j2.properties。
创建hive-site.xml文件,添加配置:
1 2 3 4 |
hive.metastore.warehouse.dir obs://obs-bucket/warehouse/hive |
可选配置,当添加了上述配置后在创建Hive表时将不用再显示指定location,创建的Hive表将自动落在OBS上。
执行以下命令,初始化元数据。
/opt/hive-2.3.3/bin/schematool -dbType derby -initSchema
验证是否对接成功。
示例如下,示例中的location为obs://obs-bucket/warehouse/hive/student。
1 2 3 4 5 6 |
hive> create table student(id int comment "学生id",name string comment "学生姓名",age int comment "学生年龄") comment "学生信息表" row format delimited fields terminated by ","; insert into table student select 6,"yangdong",29; |
父主题: 对接大数据组件
同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家