binlog介绍
-
binlog,即二进制日志,它记录了数据库上的所有改变.
-
改变数据库的SQL语句执行结束时,将在binlog的末尾写入一条记录,同时通知语句解析器,语句执行完毕.
-
binlog格式
-
基于语句,无法保证所有语句都在从库执行成功,比如update ... limit 1;
-
基于行,将每一次改动记为binlog中的一行.在执行一个特别复杂的update或者delete操作时,基于行的格式会有优势.
登录到mysql查看binlog
-
只查看第一个binlog文件的内容
show binlog events;
-
查看指定binlog文件的内容
show binlog events in 'mysql-bin.000002';
-
查看当前正在写入的binlog文件
show master status\G
-
获取binlog文件列表
show binary logs;
用mysqlbinlog工具查看
注意:
-
不要查看当前正在写入的binlog文件
-
不要加--force参数强制访问
-
如果binlog格式是行模式的,请加 -vv参数
本地查看
-
基于开始/结束时间
mysqlbinlog --start-datetime='2013-09-10 00:00:00' --stop-datetime='2013-09-10 01:01:01' -d 库名 二进制文件
-
基于pos值
mysqlbinlog --start-postion=107 --stop-position=1000 -d 库名 二进制文件
远程查看
-
指定开始/结束时间,并把结果重定向到本地t.binlog文件中.
mysqlbinlog -u username -p password -hl-db1.dba.beta.cn6.qunar.com -P3306 \ --read-from-remote-server --start-datetime='2013-09-10 23:00:00' --stop-datetime='2013-09-10 23:30:00' mysql-bin.000001 > t.binlog
-
是否启用了日志
mysql>show variables like 'log_bin';
怎样知道当前的日志
mysql> show master status;
看二进制日志文件用mysqlbinlog
shell>mysqlbinlog mail-bin.000001
或者shell>mysqlbinlog mail-bin.000001 | tail
mysqlbinlog mysql-bin.000036 | less
查询包含几个字段的语句：
mysqlbinlog mysql-bin.000036| egrep '(2011030610002460|2011030310001730|2011030410011680|2011030410006280)'
| mysqlbinlog查看二进制日志的问题 在使用mysqlbinlog查看日志的时候碰到了一个问题， 错误提示如下： /usr/local/mysql/bin/mysqlbinlog: unknown variable 'default-character-set=utf8' 产生这个问题的原因是因为我在my.cnf中的client选项组中添加了 default-character-set=utf8 要解决这个bug的方法还是有的， 一种方法是使用：--no-defaults ./mysqlbinlog --no-defaults mysql-bin.000063 另一种方法：使用mysqlbinlog工具查看二进制日志时会重新读取的mysql的配置文件my.cnf(windows下是my.ini),而不是服务器已经加载进内存的配置文件。也就是说只要修改并保存了my.cnf文件，而不需要重起mysql服务器，则使用mysqlbinlog查看时修改后的my.cnf配置文件对mysqlbinlog而言已经生效。所以这里可以使用此方法：把client选项组中default-character-set=utf8选项屏蔽掉，如 #default-character-set=utf8 然后运行mysqlbinlog工具，则不会产生任何问题了。当然记得在不在使用mysqlbinlog工具时，把#default-character-set=utf8 选项恢复为default-character-set=utf8 一、mysqlbinlog简介 binlog又叫二进制日志文件，它会将mysql中所有修改数据库数据的Query以二进制的形式记录到日志文件中,如：create,insert,drop,update等;（对于select操作则不会被记录到binlog里，因为它并没有修改数据库的数据）。binlog一般存储在数据目录下，并且命名为：mysql-bin.***（这个可以在配置文件中修改my.cnf：log-bin=mysql-bin,就是文件名的前缀；mysqld在每个 binlog 名后面添加一个数字扩展名。每次启动服务器或刷新日志时增加文件的大小大于max_binlog_size，一个事务不会被拆分开）。 binlog主要是用于保证数据完整的，如主从备份，通过从binlog文件中读取操作来在salve机上进行同样的操作，保证主从备份，当然不可能每次都从开始的地方redo，所以每条记录都有一个时间截TIMESTAMP。 二、binglog的类型 binlog的格式有三种，这也反应了mysql的复制技术：基于SQL语句的复制(statement-based replication, SBR)，基于行的复制(row-based replication, RBR)，混合模式复制(mixed-based replication, MBR)。相应地，binlog的格式也有三种：STATEMENT，ROW，MIXED。 mysql>showvariables like 'binlog_format' #查看binlog的格式 |
三、简单的使用binlog及查看修改其类型
show binary logs; #显示binlog文件
purge binary logsto 'mysql-bin.**' #删除到**文件
bin/mysqlbinlog binlogfile #解析binlog文件
具体使用可以查看帮助文件，也可以参考官方用法：
利用binlog恢复数据：
bin/mysqlbinlog --start-datetime='2011-7-7 18:0:0'--stop-datetime='2011-7-7 20:07:13' data/mysql-bin.000008 |mysql -u root
查看及修改binlog的类型可以通过查看my.cnf文件，如混合型的设置如下：
log-bin=mysql-bin
#binlog_format=STATEMENT
#binlog_format=ROW
binlog_format=mixed
另外也可以通过查看binlog日志文件的内容，具体上面已进行讲解。 也可以通过查看sql状态来查看:
mysql> show variables like '%log%';
+-----------------------------------------+--------------------------------+
| Variable_name | Value |
+-----------------------------------------+--------------------------------+
| back_log | 50 |
| binlog_cache_size | 32768 |
| binlog_direct_non_transactional_updates | OFF |
| binlog_format | MIXED
不复启mysql重新加载my.cnf文件的情况下，修改mysqlbinlog类型的方法：
mysql> SET SESSION binlog_format = 'STATEMENT';
mysql> SET SESSION binlog_format = 'ROW';
mysql> SET SESSION binlog_format = 'MIXED';
mysql> SET GLOBAL binlog_format = 'STATEMENT';
mysql> SET GLOBAL binlog_format = 'ROW';
mysql> SET GLOBAL binlog_format = 'MIXED';
四、binlog记录的格式
每个binlog的开始都是由4个字节：fe 62 69 6e，后面三个字节就是bin。
然后接下来的就是一条记录的内容它包括：Common-Header，这部分不同版本的大小不一样，4.0以上的都是19个字节。在这个之后就是BODY。
Common-Header格式：（单位：字节）
| Timestamp(4) |
Type(1) |
Server_id(4) |
Total_size(4) |
End_log_pos(4) |
Flag(2) |
Timestamp:从1970开始
Type:此log event type如FORMAT_DESCRIPTION_EVENT、QUERY、LOAD_EVENT等，其中每个binlog的第一条记录的类型都是FORMAT_DESCRIPTION_EVENT，它记录了该binlog的相关信息，如版本，这些信息对于后序分析binlog记录是有用的，所以对于任务要读取binlog的内容的工具都必须先读取第一条记录。QUERY包括我们经常操作的如：create,drop,update,insert等。
Server_id：创建这个事件的server id。防止循环主从导致的主机被从写。The master's server id (is preserved in therelay log; used to prevent from infinite loops in circular replication).
Total_size：该记录的大小，包括common_header及body。
End_log_pos：此下一条记录的开始位置。也是此条记录结束位置的上一个字节。
Flag：标志位。
QUERY类型的记录：
QUERY类型的记录除了开始的common-header之外，在body的开头是一个Post-header，然后之后才是真正的body内容。
Query Post-Header：（单位字节）
| Thread_id(4) |
Exec_time(4) |
Db_len(1) |
Error_code(2) |
Status_var_len(2) |
Thread_id：is used to distinguish temporary tables that belong to differentclients.
Exec_time：The time from whenthe query started to when it was logged in the binlog, in seconds.QUERY到达到这个binlog事件生成的时间间隔。
Db_len：当前数据库的名称长度。
Error_code：执行出错的错误号。
