命令行下执行 sql 文件有两种方法 一、第一中方法 (未连接数据库) 不推荐这样使用 因为在密码带有特殊字符时会报错
|
1 |
mysql -h localhost -u username -ppassword < filepath #filepath 为绝对路径 |
二、第二中方法（已链接数据库 当提示符为 mysql> 时） 这里的 yourDatavase 为你的数据库名 filepath 为 sql 文件的绝对路径
|
1 2 |
use yourDatabase; source filepath; |
附： 一、命令行下创建数据库
|
1 |
CREATE DATABASE IF NOT EXISTS yourDatabaseName DEFAULT CHARSET utf8mb4 COLLATE utf8mb4_general_ci; |
二、命令行下创建数据表 下面的 id、title、author、date 这些字段根据实际需求填写
|
1 2 3 4 5 6 7 |
CREATE TABLE IF NOT EXISTS `yourTableName`( `id` INT UNSIGNED AUTO_INCREMENT, `title` VARCHAR(100) NOT NULL, `author` VARCHAR(40) NOT NULL, `date` DATE, PRIMARY KEY ( `id` ) )ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; |
三、删除数据库 yourDatabaseName 为你要删除的数据库名
|
1 |
drop database yourDatabaseName; |
四、删除数据表 yourTableName 为你要删除的数据表名
|
1 |
DROP TABLE yourTableName; |
五、允许远程连接mysql数据库
|
1 2 |
grant all privileges on *.* to 'admin'@'%' identified by '123456' with grant option; flush privileges; |
允许任何ip地址(%表示允许任何ip地址)的电脑用admin帐户和密码(123456)来访问这个mysql server。 注意admin账户不一定要存在。 六、修改表引擎方法
|
1 |
alter table table_name engine=innodb; |
其它数据库操作请自行查询 from:https://blog.csdn.net/ming_xiaoxiami/article/details/81905388
View DetailsClustrixDB是一种集群式RDBMS，可确保事务处理符合ACID特性，同时可轻松的提供可扩展性和容错能力。 ClustrixDB集群由三个或更多节点（联网的同构服务器）组成。 ClustrixDB使用无共享架构。集群中的每个节点可以执行任何读取或写入操作。如果要扩充数据库容量，只需添加更多节点即可。 ClustrixDB的主要组件有助于实现性能和规模： 1）全局事务管理器（GTM），协调给定事务的处理。 2）Rebalancer，它在集群中自动分配数据。 3) Sierra数据库引擎，确定最佳查询执行计划，然后在分布式数据节点上执行该计划。 下图显示了ClustrixDB如何处理典型的查询。 全局事务管理器 通常通过横跨集群上分布式连接的负载均衡器，选择集群中的一个节点作为全局事务管理器(GTM)来开始处理ClustrixDB中的查询。然后在返回结果给调用者之前，GTM通过控制执行查询的每个一步、确认每一步成功完成、收集和确定执行结果等来全面管理事务。 ClustrixDB将查询编译为可执行查询片段，GTM将其分发到适当的节点以供执行。当中间结果可用时，它们将返回给GTM。一旦所有查询片段都已成功执行，GTM就完成结果并将它们返回给客户端，应用程序或用户。 Rebalancer 如果ClustrixDB的数据以前未在整个集群中分布，则不可能进行分布式处理。为了实现这一点，ClustrixDB使用了由其Rebalancer管理的专利数据分配方法。Rebalancer在集群中编排数据，以确保读取和写入始终平衡。它还保证在整个集群中维护数据的多个副本（副本）以确保容错。如果节点由于意外故障而丢失，则不会丢失任何数据。Rebalancer将自动确保创建和维护冗余副本。它还通过在添加新节点时将数据重新平衡到新节点并且在数据库保持在线的同时将数据从标记为要移除的节点移开而适应集群集大小的改变。 Rebalancer使用一致的散列算法将每个表行分配给该表的给定“切片”，并提供所有切片到每个节点的映射。这允许ClustrixDB快速轻松地确定相关数据的位置。Rebalancer在后台连续运行，不会影响正在进行的数据处理。 虽然数据被切片并分发到集群的许多节点，但是数据库表将始终作为应用程序的单个逻辑单元出现。Clustrix使用简单的SQL接口，并且不需要特殊的应用程序编程来访问分布在整个ClustrixDB集群中的数据。 如果ClustrixDB的数据以前未在整个集群中分布，则不可能进行分布式处理。为了实现这一点，ClustrixDB使用由其Rebalancer管理的专利数据分配方法。Rebalancer在集群中安排数据，以确保读取和写入始终平衡。它还保证在整个集群中维护数据的多个副本（副本）以确保容错。如果节点由于意外故障而丢失，则不会丢失任何数据。重新平衡器将自动确保创建和维护冗余副本。它还通过在添加新节点时将数据重新平衡到新节点并且在数据库保持在线的同时将数据从标记为要移除的节点移开而适应群集的改变大小。 Rebalancer使用一致的散列算法将每个表行分配给该表的给定“切片”，并提供所有切片到每个节点的映射。这允许ClustrixDB快速轻松地确定相关数据的位置。再平衡器在后台连续运行，不会影响正在进行的生产加工。 下面这张图片展示了Rebalancer如何横跨各个节点的的’切片’和表复制。请注意表的复制是如何分散在整个集群中的，以确保容错。在不同节点上的每个表切片至少是按时及复制的。 您可以看到在节点故障的情况下如何保护数据。如果节点故障，ClustrixDB将立即开始使用来自其他节点的故障节点数据的副本。然后Rebalancer立即开始通过将新副本复制到不同的节点上来重新定位该数据节点。 欲知详情请移步ClustrixDB’s Rebalancer。 Sierra数据库引擎 Sierra是处理查询计划和执行的ClustrixDB的SQL引擎。它专门设计用于在分布式、无共享(shared nothing)环境中工作，同时尽可能高效地访问分布式数据。Sierra数据库引擎由两部分组成： 1)Sierra Parallel Planner 确定SQL语句的最佳执行计划。 2)Sierra分布式执行引擎 根据计划执行查询片段，并提供中间结果。 Sierra Parallel Planner是一种基于成本的优化器，它使用概率统计，数据量，索引和查询运算符的开销来确定最有效的查询计划。 ClustrixDB Planner 的一个关键区别功能是它确定此计划，同时考虑数据在集群中的分布。 有关演示此查询分段如何工作的其他示例，请参阅ClustrixDB Sierra Database Engine. Sierra分布式执行引擎 一旦Sierra Planner确定了查询的最佳计划，它就被编译成机器可执行的查询片段。然后，这些编译的查询片段在集群中的不同节点上执行，提供了效率和增加的执行并发性。一旦每个节点上的执行完成，结果就返回到GTM节点，GTM节点然后组合部分结果并将最终结果集返回给用户。 ClustrixDB如何能够独特地利用其分布式执行以实现更快的结果的一个示例是分布式聚合处理。除了首先对每个节点的分布式数据上的数据计算部分聚合（SUM，MAX，MIN，AVG等）之外，计算类似于其它查询被分段和分布。中间结果然后由GTM合并以产生最终结果。 最后再让我们来看下在ClustrixDB中的分布查询。 结论 ClustrixDB使用自动数据分发，复杂的查询计划器和分布式执行模型，以在符合ACID的RDBMS中提供可扩展性和并发性。为了实现这一点，ClustrixDB使用了许多与其他大规模并行处理（MPP）数据库使用的相同的技术：它使用Paxos进行分布式事务解析，并使用多版本并发控制（MVCC）来防止事务冲突。借助上述主要组件，ClustrixDB为这种分布式执行提供了一个简单的SQL接口，同时还提供了可扩展性，效率和容错能力。 from:https://blog.csdn.net/luoduyu/article/details/53997249
View Details一.maxscale简介 1.MaxScale是maridb开发的一个mysql数据中间件，其配置简单，能够实现读写分离，并且可以根据主从状态实现写库的自动切换。 2.官网： https://mariadb.com/kb/en/mariadb-enterprise/mariadb-maxscale-20/ 二.安装 1.安装可以通过rpm安装 2.可以直接下载文件放入指定目录，本次采用第二种方法 1 2 3 4 5 #wget https://downloads.mariadb.com/MaxScale/2.0.2/centos/5Server/x86_64/maxscale-2.0.2.centos.5.tar.gz #tar zxvf maxscale-2.0.2.centos.5.tar.gz #mkdir /usr/local/maxscale #mv ./maxscale-2.0.2/* /usr/local/maxscale/ #cp /usr/local/maxscale/etc/maxscale.cnf.template /etc/maxscale.cnf 修改启动脚本,使其可以提供service服务 1 2 #cp /usr/local/maxscale/share/maxscale/maxscale /etc/init.d/maxscale #vi /etc/init.d/maxscale 将脚本中的///bin替换为/usr/local/maxscale/bin/maxscale 这将可以使用 service maxscale start|stop|restart启动停止或重启maxscale 三.账户配置 1.在主从库上授权两个账户 a.监视账户 1 2 create user maxscale_monitor@’192.168.1.%' identified by "123456"; grant replication slave, replication client on *.* to maxscale_monitor@’192.168.1.%'; b.路由账户
|
1 2 3 4 5 |
create user maxscale_route@'192.168.1.%' identified by "123456"; GRANT SELECT ON mysql.user TO maxscale_route@'192.168.1.%'; GRANT SELECT ON mysql.db TO maxscale_route@'192.168.1.%'; GRANT SELECT ON mysql.tables_priv TO maxscale_route@'192.168.1.%'; GRANT SHOW DATABASES ON *.* TO maxscale_route@'192.168.1.%'; |
四.读写分离配置 0.vi /etc/maxscale.cnf 基本配置 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 […]
View DetailsRedis服务器设置密码后，使用service redis stop 会出现以下信息： service redis stop Stopping … OK (error) NOAUTH Authentication required. Waiting for Redis to shutdown … Waiting for Redis to shutdown … Waiting for Redis to shutdown … Waiting for Redis to shutdown … Waiting for Redis to shutdown … Waiting for Redis to shutdown … Waiting for Redis to shutdown … Waiting for Redis to shutdown … 出现这样的错误信息，redis 这时是没有停止服务的。可以使用ps -ef | grep redis 查进程号 然后kill 掉，如果在deamon下还需要去删除pid文件，有点繁琐。 解决办法： 用redis-cli 密码登陆（redis-cli -a password）就OK了。 再用ps -ef | grep redis 可以看到redis进程已经正常退出。 修改redis服务脚本，加入如下所示的红色授权信息即可： vi /etc/init.d/redis $CLIEXEC -a "password" -p $REDISPORT shutdown from:https://www.cnblogs.com/jeffen/p/6068745.html
View Details一、安装redis 第一步：下载redis安装包 wget http://download.redis.io/releases/redis-4.0.6.tar.gz
|
1 2 3 4 5 6 7 8 9 10 11 |
[root@iZwz991stxdwj560bfmadtZ local]# wget http://download.redis.io/releases/redis-4.0.6.tar.gz --2017-12-13 12:35:12-- http://download.redis.io/releases/redis-4.0.6.tar.gz Resolving download.redis.io (download.redis.io)... 109.74.203.151 Connecting to download.redis.io (download.redis.io)|109.74.203.151|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 1723533 (1.6M) [application/x-gzip] Saving to: ‘redis-4.0.6.tar.gz’ 100%[==========================================================================================================>] 1,723,533 608KB/s in 2.8s 2017-12-13 12:35:15 (608 KB/s) - ‘redis-4.0.6.tar.gz’ saved [1723533/1723533] |
第二步：解压压缩包 tar -zxvf redis-4.0.6.tar.gz
|
1 |
[root@iZwz991stxdwj560bfmadtZ local]# tar -zxvf redis-4.0.6.tar.gz |
第三步：yum安装gcc依赖 yum install gcc
|
1 |
[root@iZwz991stxdwj560bfmadtZ local]# yum install gcc |
遇到选择,输入y即可 第四步：跳转到redis解压目录下 cd redis-4.0.6
|
1 |
[root@iZwz991stxdwj560bfmadtZ local]# cd redis-4.0.6 |
第五步：编译安装 make MALLOC=libc
|
1 |
[root@iZwz991stxdwj560bfmadtZ redis-4.0.6]# make MALLOC=libc |
将/usr/local/redis-4.0.6/src目录下的文件加到/usr/local/bin目录 cd src && make install
|
1 2 3 4 5 6 7 8 9 10 |
[root@iZwz991stxdwj560bfmadtZ redis-4.0.6]# cd src && make install CC Makefile.dep Hint: It's a good idea to run 'make test' ;) INSTALL install INSTALL install INSTALL install INSTALL install INSTALL install |
二、启动redis的三种方式 先切换到redis src目录下
|
1 |
[root@iZwz991stxdwj560bfmadtZ redis-4.0.6]# cd src |
1、直接启动redis ./redis-server
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 |
[root@iZwz991stxdwj560bfmadtZ src]# ./redis-server 18685:C 13 Dec 12:56:12.507 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo 18685:C 13 Dec 12:56:12.507 # Redis version=4.0.6, bits=64, commit=00000000, modified=0, pid=18685, just started 18685:C 13 Dec 12:56:12.507 # Warning: no config file specified, using the default config. In order to specify a config file use ./redis-server /path/to/redis.conf _._ _.-``__ ''-._ _.-`` `. `_. ''-._ Redis 4.0.6 (00000000/0) 64 bit .-`` .-```. ```\/ _.,_ ''-._ ( ' , .-` | `, ) Running in standalone mode |`-._`-...-` __...-.``-._|'` _.-'| Port: 6379 | `-._ `._ / _.-' | PID: 18685 `-._ `-._ `-./ _.-' _.-' |`-._`-._ `-.__.-' _.-'_.-'| | `-._`-._ _.-'_.-' | http://redis.io `-._ `-._`-.__.-'_.-' _.-' |`-._`-._ `-.__.-' _.-'_.-'| | `-._`-._ _.-'_.-' | `-._ `-._`-.__.-'_.-' _.-' `-._ `-.__.-' _.-' `-._ _.-' `-.__.-' 18685:M 13 Dec 12:56:12.508 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128. 18685:M 13 Dec 12:56:12.508 # Server initialized 18685:M 13 Dec 12:56:12.508 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect. 18685:M 13 Dec 12:56:12.508 # WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled. 18685:M 13 Dec 12:56:12.508 * Ready to accept connections |
如上图：redis启动成功，但是这种启动方式需要一直打开窗口，不能进行其他操作，不太方便。 按 ctrl + c可以关闭窗口。 2、以后台进程方式启动redis 第一步：修改redis.conf文件 将
|
1 |
daemonize no |
修改为
|
1 |
daemonize yes |
第二步：指定redis.conf文件启动 1 ./redis-server /usr/local/redis-4.0.6/redis.conf
|
1 2 3 4 |
[root@iZwz991stxdwj560bfmadtZ src]# ./redis-server /usr/local/redis-4.0.6/redis.conf 18713:C 13 Dec 13:07:41.109 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo 18713:C 13 Dec 13:07:41.109 # Redis version=4.0.6, bits=64, commit=00000000, modified=0, pid=18713, just started 18713:C 13 Dec 13:07:41.109 # Configuration loaded |
第三步：关闭redis进程 首先使用ps -aux | grep redis查看redis进程
|
1 2 3 |
[root@iZwz991stxdwj560bfmadtZ src]# ps -aux | grep redis root 18714 0.0 0.1 141752 2008 ? Ssl 13:07 0:00 ./redis-server 127.0.0.1:6379 root 18719 0.0 0.0 112644 968 pts/0 R+ 13:09 0:00 grep --color=auto redis |
使用kill命令杀死进程
|
1 |
[root@iZwz991stxdwj560bfmadtZ src]# kill -9 18714 |
3、设置redis开机自启动 1、在/etc目录下新建redis目录 mkdir redis
|
1 |
[root@iZwz991stxdwj560bfmadtZ etc]# mkdir redis |
2、将/usr/local/redis-4.0.6/redis.conf 文件复制一份到/etc/redis目录下，并命名为6379.conf
|
1 |
[root@iZwz991stxdwj560bfmadtZ redis]# cp /usr/local/redis-4.0.6/redis.conf /etc/redis/6379.conf |
[…]
View Details1MaxScale 是干什么的？ 配置好了MySQL的主从复制结构后，我们希望实现读写分离，把读操作分散到从服务器中，并且对多个从服务器能实现负载均衡。 读写分离和负载均衡是MySQL集群的基础需求，MaxScale就可以帮着我们方便的实现这些功能。 2MaxScale 的基础构成 MaxScale 是MySQL的兄弟公司MariaDB 开发的，现在已经发展得非常成熟。MaxScale 是插件式结构，允许用户开发适合自己的插件。 MaxScale 目前提供的插件功能分为5类： 认证插件 提供了登录认证功能，MaxScale 会读取并缓存数据库中 user 表中的信息，当有连接进来时，先从缓存信息中进行验证，如果没有此用户，会从后端数据库中更新信息，再次进行验证 协议插件 包括客户端连接协议，和连接数据库的协议 路由插件 决定如何把客户端的请求转发给后端数据库服务器，读写分离和负载均衡的功能就是由这个模块实现的 监控插件 对各个数据库服务器进行监控，例如发现某个数据库服务器响应很慢，那么就不向其转发请求了 日志和过滤插件 提供简单的数据库防火墙功能，可以对SQL进行过滤和容错 3MaxScale 的安装使用 例如有 3 台数据库服务器，是一主二从的结构。 过程概述 （1）配置好集群环境 （2）下载安装 MaxScale （3）配置 MaxScale，添加各数据库信息 （4）启动 MaxScale，查看是否正确连接数据库 （5）客户端连接 MaxScale，进行测试 详细过程 （1）配置一主二从的集群环境 准备3台服务器，安装MySQL，配置一主二从的复制结构。 （2）安装 MaxScale 最好在另一台服务器上安装，如果资源不足，可以和某个MySQL放在一起。 MaxScale 的下载地址： https://downloads.mariadb.com/files/MaxScale 根据自己的服务器选择合适的安装包。 以 centos 7 为例 安装步骤如下： yum install libaio.x86_64 libaio-devel.x86_64 novacom-server.x86_64 libedit -y rpm -ivh maxscale-1.4.3-1.centos.7.x86_64.rpm 如果依赖无法安装，请使用yum安装 gnutls即可 （3）配置 MaxScale 在开始配置之前，需要在 master 中为 MaxScale 创建两个用户，用于监控模块和路由模块。 创建监控用户 mysql> create user scalemon@’%' identified by "111111"; mysql> grant replication slave, replication client on *.* to […]
View Details目前数据库中间件有很多，基本这些中间件在下都有了解和使用，各种中间件优缺点及使用场景也都有些心的。所以总结一个关于中间件比较的系列，希望可以对大家有帮助。 1. 什么是中间件 传统的架构模式就是 应用连接数据库直接对数据进行访问，这种架构特点就是简单方便。 但是随着目前数据量不断的增大我们就遇到了问题: 单个表数据量太大 单个库数据量太大 单台数据量服务器压力很大 读写速度遇到瓶颈 当面临以上问题时，我们会想到的第一种解决方式就是 向上扩展(scale up) 简单来说就是不断增加硬件性能。这种方式只能暂时解决问题，当业务量不断增长时还是解决不了问题。特别是淘宝，facebook，youtube这种业务成线性，甚至指数级上升的情况 此时我们不得不依赖于第二种方式： 水平扩展 。 直接增加机器，把数据库放到不同服务器上，在应用到数据库之间加一个proxy进行路由，这样就可以解决上面的问题了。 2. 中间件与读写分离 很多人都会把中间件认为是读写分离，其实读写分离只是中间件可以提供的一种功能，最主要的功能还是在于他可以 分库分表 ，下面是一个读写分离的示意图： 上面的图可以看出，红线代表写请求，绿线代表读请求。这就是一个简单的读写分离，下面我们在看看分库分表中间件。 上面这幅图就可以看出中间件作用，比如下面的这个SQL： [sql] view plain copy <span class="operator" style=""><span class="keyword" style="">select</span> * <span class="keyword" style="">from</span> table_name <span class="keyword" style="">where</span> id = <span class="number" style="">1</span>;</span> 按照中间件分库分表算法，此SQL将发送到DB1节点，由DB1这个MySQL负责解析和获取id=1的数据，并通过中间件返回给客户端。而在读写分离结构中并没有这些分库分表规则， 他只能在众多读节点中load balance随机进行分发，它要求各个节点都要存放一份完整的数据。 3.各类中间件比较 目前市面上中间件种类很多种 先看下各种中间件背景: Cobar: 阿里巴巴B2B开发的关系型分布式系统，管理将近3000个MySQL实例。 在阿里经受住了考验，后面由于作者的走开的原因cobar没有人维护 了，阿里也开发了tddl替代cobar。 MyCAT: 社区爱好者在阿里cobar基础上进行二次开发，解决了cobar当时存 在的一些问题，并且加入了许多新的功能在其中。目前MyCAT社区活 跃度很高，目前已经有一些公司在使用MyCAT。总体来说支持度比 较高，也会一直维护下去， OneProxy: 数据库界大牛，前支付宝数据库团队领导楼总开发，基于mysql官方 的proxy思想利用c进行开发的，OneProxy是一款商业收费的中间件， 楼总舍去了一些功能点，专注在性能和稳定性上。有朋友测试过说在 高并发下很稳定。 Vitess: 这个中间件是Youtube生产在使用的，但是架构很复杂。 与以往中间件不同，使用Vitess应用改动比较大要 使用他提供语言的API接口，我们可以借鉴他其中的一些设计思想。 Kingshard: Kingshard是前360Atlas中间件开发团队的陈菲利用业务时间 用go语言开发的，目前参与开发的人员有3个左右， 目前来看还不是成熟可以使用的产品，需要在不断完善。 Atlas: 360团队基于mysql proxy 把lua用C改写。原有版本是支持分表， 目前已经放出了分库分表版本。在网上看到一些朋友经常说在高并 发下会经常挂掉，如果大家要使用需要提前做好测试。 MaxScale与MySQL Route: 这两个中间件都算是官方的吧，MaxScale是mariadb (MySQL原作者维护的一个版本)研发的，目前版本不支持分库分表。 MySQL Route是现在MySQL 官方Oracle公司发布出来的一个中间件。 这两个中间件后面也会跟进测试下，看下效果如何。 4. 结语 这里主要是简单介绍了下各种中间件由来和特点，后面文章会陆续介绍各个中间件更详细的特性，优缺点，性能测试结果。 from:https://www.cnblogs.com/zzsdream/articles/6650690.html
View Details当初写这篇文章的初衷只是想提醒自己在用一个开源产品前不仅要了解其提供的功能，更要了解其功能和场景边界。 1.非分片字段查询 Mycat中的路由结果是通过分片字段和分片方法来确定的。例如下图中的一个Mycat分库方案： 根据 tt_waybill 表的 id 字段来进行分片 分片方法为 id 值取 3 的模，根据模值确定在DB1，DB2，DB3中的某个分片 如果查询条件中有 id 字段的情况还好，查询将会落到某个具体的分片。例如： mysql>select * from tt_waybill where id = 12330; 此时Mycat会计算路由结果 12330 % 3 = 0 –> DB1 并将该请求路由到DB1上去执行。 如果查询条件中没有 分片字段 条件，例如： mysql>select * from tt_waybill where waybill_no =88661; 此时Mycat无法计算路由，便发送到所有节点上执行： DB1 –> select * from tt_waybill where waybill_no =88661; DB2 –> select * from tt_waybill where waybill_no =88661; DB3 –> select * from tt_waybill where waybill_no =88661; 如果该分片字段选择度高，也是业务常用的查询维度，一般只有一个或极少数个DB节点命中（返回结果集）。示例中只有3个DB节点，而实际应用中的DB节点数远超过这个，假如有50个，那么前端的一个查询，落到MySQL数据库上则变成50个查询，会极大消耗Mycat和MySQL数据库资源。 如果设计使用Mycat时有非分片字段查询，请考虑放弃！ 2.分页排序 先看一下Mycat是如何处理分页操作的，假如有如下Mycat分库方案： 一张表有30份数据分布在3个分片DB上，具体数据分布如下 DB1：[0,1,2,3,4,10,11,12,13,14] DB2：[5,6,7,8,9,16,17,18,19] DB3：[20,21,22,23,24,25,26,27,28,29] （这个示例的场景中没有查询条件，所以都是全分片查询，也就没有假定该表的分片字段和分片方法） 当应用执行如下分页查询时 mysql>select * from table limit 2; Mycat将该SQL请求分发到各个DB节点去执行，并接收各个DB节点的返回结果 […]
View Detailssysbench是一个压力测试工具、可以用它来测试cpu、mem、disk、thread、mysql、postgr、oracle；然而作为一个mysql dba 我当然是用它来压测mysql啦！ 一、从哪里可以下载到sysbench： sysbench的源码可以在github上面下载的到，sysbench的主页
|
1 |
https://github.com/akopytov/sysbench |
二、sysbench的一些安装依赖：
|
1 |
yum -y install make automake libtool pkgconfig libaio-devel vim-common |
在我的机器上已经安装上了mysql相关的所有包，如果你机器上还没有安装过这些，那你还要安装上mysql的开发包，由于系统自带mariadb 这个mysql分支，所以在安装mysql-devel时应该是安装mariadb-devel 三、安装sysbench： 1 进入到sysbench源码目录
|
1 |
/home/jianglexing/Desktop/sysbench-master |
2 执行autogen.sh用它来生成configure这个文件
|
1 |
./autogen.sh |
3 执行configure && make && make install 来完成sysbench的安装
|
1 2 3 |
./configure --prefix=/usr/local/sysbench/ --with-mysql --with-mysql-includes=/usr/local/mysql/include --with-mysql-libs=/usr/local/mysql/lib make make install |
我这里之所以要这样写是因为我的mysql安装在/usr/local/；而不是默认的rpm的安装位置 四、测试是否安装成功：
|
1 2 |
[root@workstudio bin]# /usr/local/sysbench/bin/sysbench --version sysbench 1.1.0 |
到目前为止sysbench的安装就算是完成了！ 五、sysbench的帮助内容如下：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 |
1 Usage: 2 sysbench [options]... [testname] [command] 3 4 Commands implemented by most tests: prepare run cleanup help 5 6 General options: 7 --threads=N number of threads to use [1] 8 --events=N limit for total number of events [0] 9 --time=N limit for total execution time in seconds [10] 10 --warmup-time=N execute events for this many seconds with statistics disabled before the actual benchmark run with statistics enabled [0] 11 --forced-shutdown=STRING number of seconds to wait after the --time limit before forcing shutdown, or 'off' to disable [off] 12 --thread-stack-size=SIZE size of stack per thread [64K] 13 --thread-init-timeout=N wait time in seconds for worker threads to initialize [30] 14 --rate=N average transactions rate. 0 for unlimited rate [0] 15 --report-interval=N periodically report intermediate statistics with a specified interval in seconds. 0 disables intermediate reports [0] 16 --report-checkpoints=[LIST,...] dump full statistics and reset all counters at specified points in time. The argument is a list of comma-separated values representing the amount of time in seconds elapsed from start of test when report checkpoint(s) must be performed. Report checkpoints are off by default. [] 17 --debug[=on|off] print more debugging info [off] 18 --validate[=on|off] perform validation checks where possible [off] 19 --help[=on|off] print help and exit [off] 20 --version[=on|off] print version and exit [off] 21 --config-file=FILENAME File containing command line options 22 --luajit-cmd=STRING perform LuaJIT control command. This option is equivalent to 'luajit -j'. See LuaJIT documentation for more information 23 --tx-rate=N deprecated alias for --rate [0] 24 --max-requests=N deprecated alias for --events [0] 25 --max-time=N deprecated alias for --time [0] 26 --num-threads=N deprecated alias for --threads [1] 27 28 Pseudo-Random Numbers Generator options: 29 --rand-type=STRING random numbers distribution {uniform,gaussian,special,pareto} [special] 30 --rand-spec-iter=N number of iterations used for numbers generation [12] 31 --rand-spec-pct=N percentage of values to be treated as 'special' (for special distribution) [1] 32 --rand-spec-res=N percentage of 'special' values to use (for special distribution) [75] 33 --rand-seed=N seed for random number generator. When 0, the current time is used as a RNG seed. [0] 34 --rand-pareto-h=N parameter h for pareto distribution [0.2] 35 36 Log options: 37 --verbosity=N verbosity level {5 - debug, 0 - only critical messages} [3] 38 39 --percentile=N percentile to calculate in latency statistics (1-100). Use the special value of 0 to disable percentile calculations [95] 40 --histogram[=on|off] print latency histogram in report [off] 41 42 General database options: 43 44 --db-driver=STRING specifies database driver to use ('help' to get list of available drivers) 45 --db-ps-mode=STRING prepared statements usage mode {auto, disable} [auto] 46 --db-debug[=on|off] print database-specific debug information [off] 47 48 49 Compiled-in database drivers: 50 mysql - MySQL driver 51 52 mysql options: 53 --mysql-host=[LIST,...] MySQL server host [localhost] 54 --mysql-port=[LIST,...] MySQL server port [3306] 55 --mysql-socket=[LIST,...] MySQL socket 56 --mysql-user=STRING MySQL user [sbtest] 57 --mysql-password=STRING MySQL password [] 58 --mysql-db=STRING MySQL database name [sbtest] 59 --mysql-ssl[=on|off] use SSL connections, if available in the client library [off] 60 --mysql-ssl-cipher=STRING use specific cipher for SSL connections [] 61 --mysql-compression[=on|off] use compression, if available in the client library [off] 62 --mysql-debug[=on|off] trace all client library calls [off] 63 --mysql-ignore-errors=[LIST,...] list of errors to ignore, or "all" [1213,1020,1205] 64 --mysql-dry-run[=on|off] Dry run, pretend that all MySQL client API calls are successful without executing them [off] 65 66 Compiled-in tests: 67 fileio - File I/O test 68 cpu - CPU performance test 69 memory - Memory functions speed test 70 threads - Threads subsystem performance test 71 mutex - Mutex performance test 72 73 See 'sysbench <testname> help' for a list of options for each test. |
六、sysbench对数据库进行压力测试的过程： 1 prepare 阶段 这个阶段是用来做准备的、比较说建立好测试用的表、并向表中填充数据。 2 run 阶段 这个阶段是才是去跑压力测试的SQL 3 cleanup 阶段 这个阶段是去清除数据的、也就是prepare阶段初始化好的表要都drop掉 七、sysbench 中的测试类型大致可以分成内置的，lua脚本自定义的测试： 1、内置： fileio 、cpu 、memory 、threads 、 mutex 2、lua脚本自定义型： sysbench 自身内涵了一些测试脚本放在了安装目录下的：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
[jianglexing@cstudio sysbench]$ ll share/sysbench 总用量 60 -rwxr-xr-x. 1 root root 1452 10月 17 15:18 bulk_insert.lua -rw-r--r--. 1 root root 13918 10月 17 15:18 oltp_common.lua -rwxr-xr-x. 1 root root 1290 10月 17 15:18 oltp_delete.lua -rwxr-xr-x. 1 root root 2415 10月 17 15:18 oltp_insert.lua -rwxr-xr-x. 1 root root 1265 10月 17 15:18 oltp_point_select.lua -rwxr-xr-x. 1 root root 1649 10月 17 15:18 oltp_read_only.lua -rwxr-xr-x. 1 root root 1824 10月 17 15:18 oltp_read_write.lua -rwxr-xr-x. 1 root root 1118 10月 17 15:18 oltp_update_index.lua -rwxr-xr-x. 1 root root 1127 10月 17 15:18 oltp_update_non_index.lua -rwxr-xr-x. 1 root root 1440 10月 17 15:18 oltp_write_only.lua -rwxr-xr-x. 1 root root 1919 10月 17 15:18 select_random_points.lua -rwxr-xr-x. 1 root root 2118 10月 17 15:18 select_random_ranges.lua drwxr-xr-x. 4 root root 46 10月 17 15:18 tests |
八、通过sysbench自带的lua脚本对mysql进行测试： 1、第一步 prepare
|
1 2 |
sysbench --mysql-host=localhost --mysql-port=3306 --mysql-user=sbtest \ --mysql-password=123456 --mysql-db=tempdb oltp_insert prepare |
2、第二步 run
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 |
sysbench --mysql-host=localhost --mysql-port=3306 --mysql-user=sbtest --mysql-password=123456 --mysql-db=tempdb oltp_insert run sysbench 1.1.0 (using bundled LuaJIT 2.1.0-beta3) Running the test with following options: Number of threads: 1 Initializing random number generator from current time Initializing worker threads... Threads started! SQL statistics: queries performed: read: 0 write: 22545 other: 0 total: 22545 transactions: 22545 (2254.37 per sec.) queries: 22545 (2254.37 per sec.) ignored errors: 0 (0.00 per sec.) reconnects: 0 (0.00 per sec.) Throughput: events/s (eps): 2254.3691 time elapsed: 10.0006s total number of events: 22545 Latency (ms): min: 0.31 avg: 0.44 max: 10.47 95th percentile: 0.67 sum: 9918.59 Threads fairness: events (avg/stddev): 22545.0000/0.00 execution time (avg/stddev): 9.9186/0.00 |
3、第三步 cleanup
|
1 2 3 4 |
sysbench --mysql-host=localhost --mysql-port=3306 --mysql-user=sbtest --mysql-password=123456 --mysql-db=tempdb oltp_insert cleanup sysbench 1.1.0 (using bundled LuaJIT 2.1.0-beta3) Dropping table 'sbtest1'... |
from:https://www.cnblogs.com/JiangLe/p/7059136.html
View DetailsPRAGMA foreign_keys = 0; CREATE TABLE sqlitestudio_temp_table AS SELECT * FROM Websites; DROP TABLE Websites; CREATE TABLE Websites ( WebsiteId INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL, WebsiteName VARCHAR (255), WebsiteDirectory VARCHAR (255), DbType INT DEFAULT (0), DbName VARCHAR (100), DbUid VARCHAR (50), DbPwd VARCHAR (30), BackupDirectory VARCHAR (255), BackupDateTime DATETIME, AddDateTime DATETIME ); INSERT INTO Websites ( WebsiteId, WebsiteName, WebsiteDirectory, DbType, DbName, DbUid, DbPwd, BackupDirectory, BackupDateTime, AddDateTime ) SELECT WebsiteId, WebsiteName, WebsiteDirectory, DbType, DbName, DbUid, DbPwd, BackupDirectory, BackupDateTime, AddDateTime FROM sqlitestudio_temp_table; DROP TABLE sqlitestudio_temp_table; PRAGMA foreign_keys = 1;
View Details