今天准备迁移 Discuz 7 的论坛的 mysql 数据库, mysqldump 的时候一切顺利，
但导入的时候确遇到 ERROR 1062 (xxxxx) at line 1262: Duplicate entry 'XXX' for key ’XXX‘ 错误，并停在原地。遇到这错误的朋友千万别第一时间就尝试用 –force 参数强行导入(除非你原来的数据库已经崩溃)因为这样做的话，即使导入了，也会有一大片数据丢失！你可以先尝试以下2个方法：
1， mysqldump 备份的时候使用 --extended-insert=false 参数。原理如下：使用MySqldump命令导出数据时的注意 在使用Mysql做基础数据库时,由于需要将库B的数据导入库A,而A,B库又包含大量相同的数据,需要使用mysqldump导出脚本. 通常的命令会是 1. mysqldump -t 'dbName' > 'scriptName.sql' 2. mysql -f 'dbName' < 'scriptName.sql' 而使用如下命令导入到A库时不会成功,现象是报出几个Duplicate key error后就完毕了,并未将其余正确的数据插入到A库中. 捣鼓了好一会,发现在使用mysqldump导出的脚本命令中,insert语句采用是multiline insert synax.而不是采用single insert synax.原来是这个问题. 多行的插入语法在第一个主健重复错误后就不执行后续的对应表的插入语句了. 于是再加参数 --extended-insert=false,完整的命令是 mysqldump --extended-insert=false dbname > scriptname.sql2，手工把表里头username中存在重复的值删除！
使用数据库工具 Navicat 之类的，执行查询：
Select username,Count(*) From cdb_members Group By username Having Count(*) > 1
结果中就能显示出表中存在重复的字段, 你会看到2个或者多个完全一模一样重复的用户名。
干掉其中一行的记录，保存后再导出数据库。
但 我个人强烈推荐,，最重要一点！备份的时候，把表结构跟数据分开！！
以下是 mysqldump 的一些使用参数
备份数据库
#mysqldump 数据库名 >数据库备份名#mysqldump -A -u用户名 -p密码 数据库名>数据库备份名
#mysqldump -d -A --add-drop-table -uroot -p >xxx.sql
1.导出结构不导出数据
mysqldump -d 数据库名 -uroot -p > xxx.sql
2.导出数据不导出结构
mysqldump -t 数据库名 -uroot -p > xxx.sql
3.导出数据和表结构
mysqldump 数据库名 -uroot -p > xxx.sql
4.导出特定表的结构
mysqldump -uroot -p -B数据库名 --table 表名 > xxx.sql
#mysqldump [OPTIONS] database [tables]
mysqldump支持下列选项：
--add-locks
在每个表导出之前增加LOCK TABLES并且之后UNLOCK TABLE。(为了使得更快地插入到MySQL)。 --add-drop-table 在每个create语句之前增加一个drop table。 --allow-keywords 允许创建是关键词的列名字。这由表名前缀于每个列名做到。 -c, --complete-insert 使用完整的insert语句(用列名字)。 -C, --compress 如果客户和服务器均支持压缩，压缩两者间所有的信息。 --delayed 用INSERT DELAYED命令插入行。 -e, --extended-insert 使用全新多行INSERT语法。（给出更紧缩并且更快的插入语句） -#, --debug[=option_string] 跟踪程序的使用(为了调试)。 --help 显示一条帮助消息并且退出。 --fields-terminated-by=... --fields-enclosed-by=... --fields-optionally-enclosed-by=... --fields-escaped-by=... --fields-terminated-by=... 这些选择与-T选择一起使用，并且有相应的LOAD DATA INFILE子句相同的含义。 LOAD DATA INFILE语法。 -F, --flush-logs 在开始导出前，洗掉在MySQL服务器中的日志文件。 -f, --force, 即使我们在一个表导出期间得到一个SQL错误，继续。 -h, --host=.. 从命名的主机上的MySQL服务器导出数据。缺省主机是localhost。 -l, --lock-tables. 为开始导出锁定所有表。 -t, --no-create-info 不写入表创建信息(CREATE TABLE语句） -d, --no-data 不写入表的任何行信息。如果你只想得到一个表的结构的导出，这是很有用的！ --opt 同--quick --add-drop-table --add-locks --extended-insert --lock-tables。 应该给你为读入一个MySQL服务器的尽可能最快的导出。 -pyour_pass, --password[=your_pass] 与服务器连接时使用的口令。如果你不指定“=your_pass”部分，mysqldump需要来自终端的口令。 -P port_num, --port=port_num 与一台主机连接时使用的TCP/IP端口号。（这用于连接到localhost以外的主机，因为它使用 Unix套接字。） -q, --quick 不缓冲查询，直接导出至stdout；使用mysql_use_result()做它。 -S /path/to/socket, --socket=/path/to/socket 与localhost连接时（它是缺省主机)使用的套接字文件。 -T, --tab=path-to-some-directory 对 于每个给定的表，创建一个table_name.sql文件，它包含SQL CREATE 命令，和一个table_name.txt文件，它包含数据。 注意：这只有在mysqldump运行在mysqld守护进程运行的同一台机器上的时候才工作。.txt文件的格式根据--fields-xxx和 --lines--xxx选项来定。 -u user_name, --user=user_name 与服务器连接时，MySQL使用的用户名。缺省值是你的Unix登录名。 -O var=option, --set-variable var=option设置一个变量的值。可能的变量被列在下面。 -v, --verbose 冗长模式。打印出程序所做的更多的信息。 -V, --version 打印版本信息并且退出。 -w, --where='where-condition' 只导出被选择了的记录；注意引号是强制的！ "--where=user='jimf'" "-wuserid>1" "-wuserid<1"
导入数据：
由于mysqldump导出的是完整的SQL语句，所以用mysql客户程序很容易就能把数据导入了：
#mysql 数据库名 < 文件名
#source /tmp/xxx.sql
1、mysqldump
首先来看下 mysqldump 的几个主要参数的实际工作方式。
mysqldump 几个主要选项1. -q很简单，什么都不做，只是导出时加了一个 SQL_NO_CACHE 来确保不会读取缓存里的数据。
081022 17:39:33 7 Connect root@localhost on7 Query /*!40100 SET @@SQL_MODE='' */7 Init DB yejr7 Query SHOW TABLES LIKE 'yejr'7 Query LOCK TABLES `yejr` READ /*!32311 LOCAL */7 Query SET OPTION SQL_QUOTE_SHOW_CREATE=17 Query show create table `yejr`7 Query show fields from `yejr`7 Query show table status like 'yejr'7 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `yejr`7 Query UNLOCK TABLES7 Quit
2. --lock-tables
跟上面类似，不过多加了一个 READ LOCAL LOCK，该锁不会阻止读，也不会阻止新的数据插入。081022 17:36:21 5 Connect root@localhost on5 Query /*!40100 SET @@SQL_MODE='' */5 Init DB yejr5 Query SHOW TABLES LIKE 'yejr'5 Query LOCK TABLES `yejr` READ /*!32311 LOCAL */5 Query SET OPTION SQL_QUOTE_SHOW_CREATE=15 Query show create table `yejr`5 Query show fields from `yejr`5 Query show table status like 'yejr'5 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `yejr`5 Query UNLOCK TABLES5 Quit
3. --lock-all-tables
这个就有点不太一样了，它请求发起一个全局的读锁，会阻止对所有表的写入操作，以此来确保数据的一致性。备份完成后，该会话断开，会自动解锁。081022 17:36:55 6 Connect root@localhost on6 Query /*!40100 SET @@SQL_MODE='' */6 Query FLUSH TABLES6 Query FLUSH TABLES WITH READ LOCK6 Init DB yejr6 Query SHOW TABLES LIKE 'yejr'6 Query SET OPTION SQL_QUOTE_SHOW_CREATE=16 Query show create table `yejr`6 Query show fields from `yejr`6 Query show table status like 'yejr'6 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `yejr`6 Quit
4. --master-data
除了和刚才的 --lock-all-tables 多了个 SHOW MASTER STATUS 之外，没有别的变化。081022 17:59:02 1 Connect root@localhost on1 Query /*!40100 SET @@SQL_MODE='' */1 Query FLUSH TABLES1 Query FLUSH TABLES WITH READ LOCK1 Query SHOW MASTER STATUS1 Init DB yejr1 Query SHOW TABLES LIKE 'yejr'1 Query SET OPTION SQL_QUOTE_SHOW_CREATE=11 Query show create table `yejr`1 Query show fields from `yejr`1 Query show table status like 'yejr'1 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `yejr`1 Quit
5. --single-transaction
InnoDB 表在备份时，通常启用选项 --single-transaction 来保证备份的一致性，实际上它的工作原理是设定本次会话的隔离级别为：REPEATABLE READ，以确保本次会话(dump)时，不会看到其他会话已经提交了的数据。
081022 17:23:35 1 Connect root@localhost on1 Query /*!40100 SET @@SQL_MODE='' */1 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ1 Query BEGIN1 Query UNLOCK TABLES1 Init DB yejr1 Query SHOW TABLES LIKE 'yejr'1 Query SET OPTION SQL_QUOTE_SHOW_CREATE=11 Query show create table `yejr`1 Query show fields from `yejr`1 Query show table status like 'yejr'1 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `yejr`1 Quit
6. --single-transaction and --master-data
本例中，由于增加了选项 --master-data，因此还需要提交一个快速的全局读锁。在这里，可以看到和上面的不同之处在于少了发起 BEGIN 来显式声明事务的开始。这里采用 START TRANSACTION WITH CONSISTENT SNAPSHOT 来代替 BEGIN 的做法的缘故不是太了解，可以看看源代码来分析下。081022 17:27:07 2 Connect root@localhost on2 Query /*!40100 SET @@SQL_MODE='' */2 Query FLUSH TABLES2 Query FLUSH TABLES WITH READ LOCK2 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ2 Query START TRANSACTION WITH CONSISTENT SNAPSHOT2 Query SHOW MASTER STATUS2 Query UNLOCK TABLES2 Init DB yejr2 Query SHOW TABLES LIKE 'yejr'2 Query SET OPTION SQL_QUOTE_SHOW_CREATE=12 Query show create table `yejr`2 Query show fields from `yejr`2 Query show table status like 'yejr'2 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `yejr`2 Quit
关于隔离级别可以看手册 ，或者本站之前的文章：。
关于 START TRANSACTION WITH CONSISTENT SNAPSHOT 的说明可以看下手册描述：
The WITH CONSISTENT SNAPSHOT clause starts a consistent read for storage engines that are capable of it. This applies only to InnoDB. The effect is the same as issuing a START TRANSACTION followed by a SELECT from any InnoDB table. See Section 13.2.10.4, “Consistent Non-Locking Read”. The WITH CONSISTENT SNAPSHOT clause does not change the current transaction isolation level, so it provides a consistent snapshot only if the current isolation level is one that allows consistent read (REPEATABLE READ or SERIALIZABLE).
2. mysqldump 和 mk-parralel-dump 的比较
mk-parralel-dump 是开源项目 中的一个工具，主要由 维护。
mk-parralel-dump 是由 perl 开发的，可以实现并发的导出数据表。具体的功能不细说，自己去看相关文档吧。这里只列出在我的环境下和 mysqldump 的对比数据。2.1 mysqldump 常规使用
#导出耗时time mysqldump -f --single-transaction -B yejr --tables yejr | gzip > /home/databak/yejr.sql.gzreal 10m15.319suser 6m47.946ssys 0m38.496s#文件大小608M /home/databak/yejr.sql.gz#导出期间系统负载05:00:01 PM all 0.71 0.00 0.61 7.33 91.3605:10:02 PM all 13.93 0.00 2.21 4.64 79.22
2.2 mysqldump + gzip --fast
#导出耗时time mysqldump -f --single-transaction -B yejr --tables yejr | gzip --fast > /home/databak/yejr_fast.sql.gzreal 9m6.248suser 4m21.467ssys 0m37.604s#文件大小815M Oct 21 17:33 /home/databak/yejr_fast.sql.gz#导出期间系统负载05:20:01 PM all 11.94 0.00 2.43 5.69 79.9405:30:01 PM all 6.46 0.00 1.57 3.95 88.02
2.3 mk-parallel-dump 常规使用
time ./mk-parallel-dump --database yejr --tables yejr --basedir /home/databak/default: 25 tables, 25 chunks, 25 successes, 0 failures, 404.93 wall-clock time, 613.25 dump timereal 6m48.763suser 4m20.724ssys 0m38.125s#文件大小819M /home/databak/default/yejr/#导出期间系统负载05:10:02 PM all 13.93 0.00 2.21 4.64 79.2205:20:01 PM all 11.94 0.00 2.43 5.69 79.94
可以看到，mk-parallel-dump 尽快确实实现了并发导出，速度相对快多了，却有个致命伤：那就是它不支持InnoDB的一致性备份，目前已经有人提交相关代码了，不过还没实现，期待中。