我的编程空间,编程开发者的网络收藏夹
学习永远不晚

Python 连接clickhouse数据库以及新建表结构,csv导入数据

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

Python 连接clickhouse数据库以及新建表结构,csv导入数据

目录

一、Python 连接clickhouse数据库

◼ clickhouse对外的接口协议通常有两种形式:

◼ 代码实现部分:

二、使用客户端工具DBeaver连接clickhouse

◼ 新建clickhouse表

三、DBeaver 连接clickhouse 用csv文件导入数据

◼ 导入方式:

方法一:使用DBeaver自带导入数据功能;

方法二:具体方式如下:

解决问题:数据导入之后,出现中文乱码。


ClickHouse是近年来备受关注的开源列式数据库(DBMS),主要用于数据联机分析(OLAP)领域,于2016年开源。

一、Python 连接clickhouse数据库

◼ clickhouse对外的接口协议通常有两种形式:

  1. 常规的http协议,java的jdbc就采用这种方式,端口一般是8123;
  2. 面向python的tcp协议,端口号通常为9000(对,是“通常”)。

端口问题,HTTP协议(默认端口8123);TCP (Native)协议(默认端口号为9000),Python里的clickhouse_driver用的tcp端口9000,DBeaver使用的是HTTP协议所以可以使用8123端口。

◼ 代码实现部分:

 (1)我们首先需要安装第三方库clickhouse_driver,

(2)完整代码:使用clickhouse_driver 包中的Client类,其中需要修改的参数有host,user,password,

from clickhouse_driver import Clientclient = Client(host='127.0.0.1',port='9000',user=clickhouse_user ,password=clickhouse_pwd)sql = 'select * from db_name.tb_name limit 0, 1000'ans = client.execute(sql)

 

 

二、使用客户端工具DBeaver连接clickhouse

前提:Clickhouse客户端工具为dbeaver,首先需要安装连接工具Dbeaver。

Dbeaver安装教程地址:DBeaver安装与使用教程(超详细安装与使用教程)_多喝清晨的粥的博客-CSDN博客_dbeaver安装配置

(1)打开Dbeaver,通过操作界面菜单中“数据库”创建配置新连接,如下图所示,选择并下载ClickHouse驱动(默认不带驱动),

(2)填写基础配置

DBeaver配置是基于Jdbc方式,一般默认URL和端口如下:

jdbc:clickhouse://192.168.17.61:8123

如下图所示。在是用DBeaver连接Clickhouse做查询时,有时候会出现连接或查询超时的情况,这个时候可以在连接的参数中添加设置socket_timeout参数来解决问题。

jdbc:clickhouse://{host}:{port}[/{database}]?socket_timeout=600000

 (3)测试连接,提示未安装驱动

到了这一步,说明连接配置信息填写完成,在弹出来的地方选择下载按钮,等它全部下载完驱动后即可测试连接。

如下图所示,开始下载驱动文件:

 点击“下载”,

 

等待下载完成,

 (4)再次测试连接,连接成功,

 可以看到已经成功连接到了Clickhouse。

 

 

◼ 新建clickhouse表

(1)右击,选择“新建列”,进行创建表,

(2)或者使用代码进行创建表,

 在sql编辑器中写入想要创建的表结构代码,

CREATE TABLE table_name (    node_id Int128,    node_name VARCHAR(100),    ll Int16,    ink VARCHAR(500),    onk VARCHAR(500),    fne VARCHAR(500),    tne VARCHAR(500)) Engine = MergeTree()   ORDER BY node_id

 这样表就创建好了。

三、DBeaver 连接clickhouse 用csv文件导入数据

导入方式:

(1)先再需要导入的数据表中 插入几条数据 然后 导出 csv 格式的数据。【目的是为了查看导出的cxv 的数据是是什么格式, 我们导入也按照这个格式导入】

(2)再导出的表格中 加入我们需要导入的数据,格式和导出的数据格式保持一致。

(3)然后 通过csv 的方式导入数据到数据库表。

方法一:使用DBeaver自带导入数据功能;

右击需要导入csv文件的表,选择“导入数据”,依次进行一下步骤,

 

 

 

 

导入数据成功了。

方法二:具体方式如下:

  1. 首先将待导入的csv数据表传输到clickhouse所在的服务器;
  2. 在数据库中提前建好表,和等待导入数据匹配;
  3. 在客户端输入以下命令:
clickhouse-client --databse="testdb" --query="INSERT INTO testdb.TEST_table FORMAT CSV" < /dataset/data.csv

若出现问题,可以试一下 将FORMAT CSV 改为 FORMAT CSVWithNames
 

解决问题:数据导入之后,出现中文乱码。

解决方法:将csv 表格文件用记事本打开 另存为的方式 保存新的文件 ,编码格式选择为为UTF-8 然后保存。 然后从新的修改编码格式之后的文件导入数据库表格, 中文乱码的问题就解决了。

来源地址:https://blog.csdn.net/qq_45956730/article/details/127246423

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

Python 连接clickhouse数据库以及新建表结构,csv导入数据

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

【Navicat】怎么在Navicat新建连接、新建数据库、导入数据库

目录 1. 新建连接2. 新建数据库3. 导入数据库 1. 新建连接 新建一个MySQL连接:打开Navicat,点击“左上角第一个图标 MySQL”。 其他的信息都是自动出现的,只需填写连接名和密码后点击保存,就
2023-08-18

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录