Python 连接clickhouse数据库以及新建表结构,csv导入数据
目录
三、DBeaver 连接clickhouse 用csv文件导入数据
ClickHouse是近年来备受关注的开源列式数据库(DBMS),主要用于数据联机分析(OLAP)领域,于2016年开源。
一、Python 连接clickhouse数据库
◼ clickhouse对外的接口协议通常有两种形式:
- 常规的http协议,java的jdbc就采用这种方式,端口一般是8123;
- 面向python的tcp协议,端口号通常为9000(对,是“通常”)。
端口问题,HTTP协议(默认端口8123);TCP (Native)协议(默认端口号为9000),Python里的clickhouse_driver用的tcp端口9000,DBeaver使用的是HTTP协议所以可以使用8123端口。
◼ 代码实现部分:
(1)我们首先需要安装第三方库clickhouse_driver,
(2)完整代码:使用clickhouse_driver 包中的Client类,其中需要修改的参数有host,user,password,
from clickhouse_driver import Clientclient = Client(host='127.0.0.1',port='9000',user=clickhouse_user ,password=clickhouse_pwd)sql = 'select * from db_name.tb_name limit 0, 1000'ans = client.execute(sql)
二、使用客户端工具DBeaver连接clickhouse
前提:Clickhouse客户端工具为dbeaver,首先需要安装连接工具Dbeaver。
Dbeaver安装教程地址:DBeaver安装与使用教程(超详细安装与使用教程)_多喝清晨的粥的博客-CSDN博客_dbeaver安装配置
(1)打开Dbeaver,通过操作界面菜单中“数据库”创建配置新连接,如下图所示,选择并下载ClickHouse驱动(默认不带驱动),
(2)填写基础配置
DBeaver配置是基于Jdbc方式,一般默认URL和端口如下:
jdbc:clickhouse://192.168.17.61:8123
如下图所示。在是用DBeaver连接Clickhouse做查询时,有时候会出现连接或查询超时的情况,这个时候可以在连接的参数中添加设置socket_timeout参数来解决问题。
jdbc:clickhouse://{host}:{port}[/{database}]?socket_timeout=600000
(3)测试连接,提示未安装驱动
到了这一步,说明连接配置信息填写完成,在弹出来的地方选择下载按钮,等它全部下载完驱动后即可测试连接。
如下图所示,开始下载驱动文件:
点击“下载”,
等待下载完成,
(4)再次测试连接,连接成功,
可以看到已经成功连接到了Clickhouse。
◼ 新建clickhouse表
(1)右击,选择“新建列”,进行创建表,
(2)或者使用代码进行创建表,
在sql编辑器中写入想要创建的表结构代码,
CREATE TABLE table_name ( node_id Int128, node_name VARCHAR(100), ll Int16, ink VARCHAR(500), onk VARCHAR(500), fne VARCHAR(500), tne VARCHAR(500)) Engine = MergeTree() ORDER BY node_id
这样表就创建好了。
三、DBeaver 连接clickhouse 用csv文件导入数据
◼ 导入方式:
(1)先再需要导入的数据表中 插入几条数据 然后 导出 csv 格式的数据。【目的是为了查看导出的cxv 的数据是是什么格式, 我们导入也按照这个格式导入】
(2)再导出的表格中 加入我们需要导入的数据,格式和导出的数据格式保持一致。
(3)然后 通过csv 的方式导入数据到数据库表。
方法一:使用DBeaver自带导入数据功能;
右击需要导入csv文件的表,选择“导入数据”,依次进行一下步骤,
导入数据成功了。
方法二:具体方式如下:
- 首先将待导入的csv数据表传输到clickhouse所在的服务器;
- 在数据库中提前建好表,和等待导入数据匹配;
- 在客户端输入以下命令:
clickhouse-client --databse="testdb" --query="INSERT INTO testdb.TEST_table FORMAT CSV" < /dataset/data.csv
若出现问题,可以试一下 将FORMAT CSV 改为 FORMAT CSVWithNames
解决问题:数据导入之后,出现中文乱码。
解决方法:将csv 表格文件用记事本打开 另存为的方式 保存新的文件 ,编码格式选择为为UTF-8 然后保存。 然后从新的修改编码格式之后的文件导入数据库表格, 中文乱码的问题就解决了。
来源地址:https://blog.csdn.net/qq_45956730/article/details/127246423
免责声明:
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341