如何利用ClickHouse高速汇总查询MySQL数据

直连到MySQL的功能现在已被添加到ClickHouse中。所以可以直接从ClickHouse查询MySQL表中的数据。

创新互联建站专注于中阳企业网站建设,自适应网站建设,商城开发。中阳网站建设公司,为中阳等地区提供建站服务。全流程专业公司，专业设计，全程项目跟踪，创新互联建站专业和态度为您提供的服务

ClickHouse是一个超高性能的海量数据快速查询的分布式实时处理平台，在数据汇总查询方面(如GROUP BY)，ClickHouse的查询更快，因此通常情况下在MySQL上进行聚合。

下面是在自己的虚拟环境中做的测试记录。既然是虚拟环境非生产环境，请看参考应用级别，而不是严格的测试。

正确准备和测试大约1000万个数据项。

执行脚本以创建样本数据。这是约500 MB。

在MySQL中创建一个表并导入它。

由于似乎字符串数据比数字值更容易汇总，所以内容是数字的，但它们是可变的类型。

然后执行计算操作。

用BLOB类型做GROUPBY似乎很慢。

您可以在ClickHouse上使用MySQL数据，只需在下面的表格中指定它，而不是表名。

启动ClickHouse客户端并进行测试。

如果您在启动时不添加--multiline选项，则不会放置多行查询，因此请继续。

SELECT 

data1, 

COUNT(*)

FROM mysql('localhost','mikage','testdata','mikage','') 

GROUP BY data1

┌─data1─┬─COUNT()─┐

│    4│1999013│

│    3│1998988│

│    2│1999993│

│    5│2001553│

│    1│2000453│

└───────┴─────────┘

5 rows in set. Elapsed: 2.685 sec. Processed 10.00 million rows,40.00 MB(3.72 million rows/s.,14.90 MB/s.) 

SELECT 

data2, 

COUNT(*)

FROM mysql('localhost','mikage','testdata','mikage','') 

GROUP BY data2

┌─data2─┬─COUNT()─┐

│6    │  999786│

│8    │1001805│

│9    │1001438│

│3    │1000357│

│2    │1000648│

│4    │  998349│

│5    │  998889│

│10    │  999424│

│1    │1000530│

│7    │  998774│

└───────┴─────────┘

10 rows in set. Elapsed: 2.692 sec. Processed 10.00 million rows,101.00 MB(3.71 million rows/s.,37.52 MB/s.) 

SELECT 

data3, 

COUNT(*)

FROM mysql('localhost','mikage','testdata','mikage','') 

GROUP BY data3

-- 结果省略

100000 rows in set. Elapsed: 5.236 sec. Processed 10.00 million rows,138.89 MB(1.91 million rows/s.,26.52 MB/s.) 

SELECT 

data1, 

uniqExact(data5)

FROM mysql('localhost','mikage','testdata','mikage','') 

GROUP BY data1

┌─data1─┬─uniqExact(data5)─┐

│    4│          1811674│

│    3│          1812072│

│    2│          1812503│

│    5│          1814106│

│    1│          1813005│

└───────┴──────────────────┘

5 rows in set. Elapsed: 12.944 sec. Processed 10.00 million rows,198.89 MB(772.55 thousand rows/s.,15.37 MB/s.) 

-- ClickHouse有一个函数来粗略计算一个唯一的数字，所以让我们来计算一下。

在MySQL中，相当耗时的查询也可以在很短的时间内处理。

重复统计时，最好将数据复制到ClickHouse一次。

如果您复制它，后续查询将更快。

建议暂时使用StripeLog引擎。

如果您有一个主键，您可能还想要使用MergeTree表。这是在ClickHouse中最常用的引擎。

有必要用ORDER BY指定数据的排序顺序（即使有重复也没有问题）。

我会尝试以前的查询。以下是StripeLog引擎的测试结果。

测试耗时总结如下:

我认为这个错误很大，因为它在VM环境下仅测试了一次

从左边开始为，(1)MySQL中的时间 (2) ClickHouse从MySQL读取和处理数据的时间 (3) 在ClickHouse上处理复制数据的时间。

执行查询 MySQL处理时间 (秒) MySQL-ClickHouse处理时间 (秒) ClickHouse处理时间 (秒)

groupby(data1) 3.22 2.685 0.071

groupby(data2) 4.01 2.692 0.177

groupby(data3) 212.82 5.236 0.779

groupby(data1)+uniq(data5) 183.56 12.944 1.725

groupby(data1)+uniq(data5)概算 (无此功能) 6.026 0.285

当引用MySQL数据时，如果没有对应于ClickHouse的类型，它似乎是String类型。

没有相应的类型如Decimal类型，所以它也是String类型。

如果你想把它作为一个数值，精度将会改变，但是似乎有必要在MySQL端保持Double类型。

而且，Date和DateTime类型在MySQL和ClickHouse之间的范围也是不同的。

ClickHouse日期类型是1970 - 2038年之间。

如果有超出范围的数据，可能需要使其成为字符串类型，按年份，月份，日期分列，并将其作为数值复制。

参照源码如下：

MySQL类型 ClickHouse 类型 参考

tinyint    UInt8 / Int8

smallint    UInt16 / Int16

int / mediumint    UInt32 / Int32

bigint    UInt64 / Int64

float    Float32

double    Float64

dateDate    有可以表达的范围差异

datetime    DateTime有可以表达的范围差异

timestamp    DateTime

binaryFixed    String

除上述以外    String

mysql如何进入数据库查看所有表

1.查看数据库，选中使用数据库，并查看数据库表，具体操作命令如下：

show databases;

use student;

show tables;

2.选择student数据库中的一张表stu_score，查看数据库表数据，并利用explain分析数据库表，如下图所示：

select * from stu_score;

explain select * from stu_score;

3.查看数据库使用索引的情况，使用命令：

show status like 'Handler_read%';

4.用于分析和存储表的关键字，分析的结果可以得到精准的信息，利用命令analyze，

analyze table stu_score;

5.检查数据库表stu_score,检查表是否有错误，利用命令：

check table stu_score;

6.优化数据库表，利用命令：

optimize table stu_score;

扩展资料：

可以使用命令行工具管理 MySQL 数据库（命令 mysql 和 mysqladmin)，也可以从 MySQL 的网站下载图形管理工具 MySQL Administrator, MySQL Query Browser 和 MySQL Workbench。

phpMyAdmin是由 php 写成的 MySQ L资料库系统管理程程序，让管理者可用 Web 界面管理 MySQL 资料库。

phpMyBackupPro也是由 PHP 写成的，可以透过 Web 界面创建和管理数据库。它可以创建伪 cronjobs，可以用来自动在某个时间或周期备份 MySQL 数据库。

另外，还有其他的 GUI 管理工具，例如 mysql-front 以及 ems mysql manager, navicat等等。

如何用MySQL workbench查询数据

方法/步骤

第一步，双击打开MySQL Workbench，新建一个数据库worker，设置数据库编码格式是utf-8，点击“Apply”，创建数据库编码

CREATE SCHEMA `worker` DEFAULT CHARACTER SET utf8 ;

如下图所示：

第二步，使用worker数据库，查看数据库表情况，可以使用show命令，如下图所示：

第三步，新建一张worker信息表，创建数据库表SQL语句具体如下：

create table t_worker_info(

id int(8) primary key,

worker_id int(6) not null,

worker_name varchar(20) not null,

worker_age int(2),

worker_sex varchar(2),

worker_addr varchar(100)

);

如下图所示：

第四步，数据库表t_worker_info建好了后，向表里插入一些数据，插入数据SQL语句

insert into t_worker_info (id,worker_id,worker_name,worker_age,worker_sex,worker_addr)

values (20150101,100,'zhangsan',34,'M','hubei');

如下图所示：

第五步，创建数据库查询存储过程query_procedure，具体实现如下图所示：

第六步，编写完了存储过程后，在查询窗口调用存储过程

call query_procedure(30,'M');

如下图所示：

mysql中怎么直接查看一个表的字符集

基本上现在的字符集 MySQL 都支持，查看 MySQL 支持的字符集列表， 有两种方法：

1. SQL 语句

2. 查看元数据字典表

查询结果：

1）第一列代表字符集名字；

2）第二列表示字符集排序规则；

3）第三列表示字符集描述；

4）第四列表示字符集编码的最大字节数。

如何提取mysql结果集中的数据

只有一个参数的话，if(rs.next())先判断一下，然后就看你存放的是什么类型的数据了，那个src是String类型的还是URL类型的？rs.getString(1)或者rs.getURL(1)来得到该数据的引用。在ResultSet中取数据之前都要使用rs.next()方法，一个数据的话就是if(rs.next());多个数据的话就是while(rs.next())。每次读出数据后结果集的游标自动下移。鉴于你所说只有一个参数，那么列的索引就应该是一。

MySql怎么查询前10条数据？

MySql查询前10条数据sql语句为：select * from table_name limit 0,10 。

通常0是可以省略的，直接写成  limit 10。0代表从第0条记录后面开始，也就是从第一条开始。

扩展资料：

1、SQLServer查询前10条的方法为：

select top X *  from table_name 

2、ORACLE查询前10条的方法：

select * from table_name where rownumX

3、Informix查询前10条记录的方法：   

select first 10 * from tablename

参考资料：MySQL 查询数据_w3cschool

名称栏目：mysql的怎么查数据集 mysql 数据集
网站路径：http://scyanting.com/article/docescj.html