操作场景 当数据导入发生错误时,请根据本文指引信息进行处理。 查询错误信息 数据导入过程中发生的错误,一般分为数据格式错误和非数据格式错误。 数据格式错误 在创建外表时,通过设置参数“LOG INTO error_table_name”,将…
操作场景 GaussDB提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS…
外表中配置了数据源格式信息、GDS服务的访问信息,从而GaussDB最终可以通过外表将数据服务器上的数据引流进数据库实表中。 操作步骤 收集数据源格式信息、GDS服务的访问信息。 需要收集的主要数据源格式信息如下: format:GDS外表…
完成GDS的安装部署及外表创建后,本节介绍如何在GaussDB数据库中创建目标表并将数据导入目标表中。 对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以查看数据倾斜状态,避免导入大量数据后发现数据倾斜,调整成本高。 前…
INSERT(通过INSERT语句直接写入数据)和COPY(使用COPY FROM STDIN导入数据)方式执行数据导入时,是一个串行执行的过程,导入性能低,因此适用于小数据量的导入。对于大数据量的导入,GaussDB支持通过外表并行导入数…
关于并行导入 教程和最佳实践 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理错误表 停止GDS 示例 父主题: 导入数据 同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851) 内容没看懂? 不太想学习…
操作场景 通常在将数据导入数据库前,即将入库的数据已经在相关主机上了。我们称这种保存着待入库数据的服务器为数据服务器。此时,只需检测以确认数据服务器和GaussDB集群能够正常通信,并查看和记录数据在数据服务器上的存放目录备用。根据导入作业…
操作场景 待导入数据成功后,停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS…
教程:使用GDS从远端服务器导入数据。通过一个导入任务帮您了解GDS导入的全过程。 GDS导入最佳实践给出了可以最大化利用系统资源,提高导入性能的方法,建议在开展数据导入前阅读以进行合理的导入方案规划和设计部署。 父主题: 通过外表并行导入…