otter依赖于canal提供数据库日志，针对mysql数据有一些要求，具体请查看：https://github.com/alibaba/canal/wiki/QuickStart 有一点特别注意：目前canal支持mixed,row,statement多种日志协议的解析，但配合otter进行数据库同步，目前仅支持row协议的同步，使用时需要注意. show variables like '%binlog_format%'; SET SESSION binlog_format = 'ROW'; SET GLOBAL binlog_format = 'ROW'; #SET SESSION binlog_format = 'STATEMENT'; #SET GLOBAL binlog_format = 'STATEMENT'; #SET SESSION binlog_format = 'MIXED'; #SET GLOBAL binlog_format = 'MIXED'; 环境准备 1. 操作系统 a. otter为纯java编写，windows/linux均可支持 b. jdk建议使用1.6.25以上的版本，稳定可靠，目前阿里巴巴使用基本为此版本 2. 整个otter同步由几部分组成，需要预先进行安装，后续会有专门的篇幅展开介绍 manager node 3. otter node依赖于zookeeper进行分布式调度，需要安装一个zookeeper节点或者集群. 重要：考虑异地机房的地域性，node机器会优先选择就近的zookeeper节点进行访问，比如国际站会在杭州和美国各部署node，针对美国的node会选择美国的zookeeper进行访问，提升读效率. ps. 不同机房的zookeeper集群组成一个物理大集群，只不过是根据地域不同划分为不同逻辑集群，所有地域的node机器对zookeeper进行写操作都会发到一个地域的zookeeper进行paoxs算法仲裁. 所以，manager启动完成后，需要首先定义不同机房的zookeeper机器集群。 比如：目前otter使用的zookeeper集群，在杭州会有3个机房，分别部署3+2+2台机器组成一个leader/follower集群，在美国一个机房部署2台机器，做为杭州机房zookeeper的observer(读镜像)，(observer模式特点：读请求在自己本地，写请求代理到leader/follower上投票处理，然后异步接收leader的写结果反馈. ) observer配置文档： http://zookeeper.apache.org/doc/trunk/zookeeperObservers.html 说明：添加了zookeeper集群后，会在添加node和canal时自动出现在可选列表里。 这也是添加node和canal的一个前提 环境安装 1. manager安装 Otter Manager QuickStart： Manager_Quickstart 2. node安装 Otter Node QuickStart : Node_Quickstart 网友分享 网友安装otter过程记录，供未接触java/mvn开发的运维人员使用 ：http://blog.sina.com.cn/s/articlelist_1869333262_0_1.html 操作演示 演示视频（5分钟教你配置一个同步任务）：请点击图片或者这里 演示说明： 1. 搭建一个数据库同步任务，源数据库ip为：10.20.144.25，目标数据库ip为：10.20.144.29. 源数据库已开启binlog，并且binlog_format为ROW.
|
1 |
mysql> show variables like '%binlog_format%'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | binlog_format | ROW | +---------------+-------+ |
2. 数据同步精确到一张表进行测试，测试的表名为test.example，简单包含两个子段，测试过程中才创建. […]
View Details双机热备的概念简单说一下，就是要保持两个数据库的状态自动同步。对任何一个数据库的操作都自动应用到另外一个数据库，始终保持两个数据库数据一致。 这样做的好处多。 1. 可以做灾备，其中一个坏了可以切换到另一个。 2. 可以做负载均衡，可以将请求分摊到其中任何一台上，提高网站吞吐量。 对于异地热备，尤其适合灾备。废话不多说了。我们直接进入主题。 我们会主要介绍两部分内容： 一， mysql 备份工作原理 二， 备份实战 我们开始。 我使用的是mysql 5.5.34， 一， mysql 备份工作原理 简单的说就是把 一个服务器上执行过的sql语句在别的服务器上也重复执行一遍， 这样只要两个数据库的初态是一样的，那么它们就能一直同步。 当然这种复制和重复都是mysql自动实现的，我们只需要配置即可。 我们进一步详细介绍原理的细节， 这有一张图： 上图中有两个服务器， 演示了从一个主服务器（master） 把数据同步到从服务器（slave）的过程。 这是一个主-从复制的例子。 主-主互相复制只是把上面的例子反过来再做一遍。 所以我们以这个例子介绍原理。 对于一个mysql服务器， 一般有两个线程来负责复制和被复制。当开启复制之后。 1. 作为主服务器Master， 会把自己的每一次改动都记录到 二进制日志 Binarylog 中。 （从服务器会负责来读取这个log， 然后在自己那里再执行一遍。） 2. 作为从服务器Slave， 会用master上的账号登陆到 master上， 读取master的Binarylog, 写入到自己的中继日志 Relaylog， 然后自己的sql线程会负责读取这个中继日志，并执行一遍。 到这里主服务器上的更改就同步到从服务器上了。 在mysql上可以查看当前服务器的主，从状态。 其实就是当前服务器的 Binary（作为主服务器角色）状态和位置。 以及其RelayLog（作为从服务器）的复制进度。 例如我们在主服务器上查看主状态：
|
1 2 3 4 5 6 7 |
mysql> show master status\G *************************** 1. row *************************** File: mysql-bin.000014 Position: 107 Binlog_Do_DB: Binlog_Ignore_DB: mysql,information_schema,performance_schema,amh 1 row <span class="kwrd">in</span> set (0.00 sec) |
稍微解释一下这几行的意思： 1. 第一行表明 当前正在记录的 binarylog文件名是： mysql-bin.000014. 我们可以在mysql数据目录下，找到这个文件： 2. 第二行， 107. 表示当前的文件偏移量， 就是写入在mysql-bin.000014 文件的记录位置。 这两点就构成了 主服务器的状态。 配置从服务器的时候，需要用到这两个值。 告诉从服务器从哪读取主服务器的数据。 （从服务器会登录之后，找到这个日志文件，并从这个偏移量之后开始复制。） 3. […]
View Details