PHP实现插入100万条数据优化

PHP笔记

 1  1538

第一种方法一条一条执行插入，结果会很慢

connect_error) {
 die("connect failed: " . $conn->connect_error);
} 

// 第一种，一条一条插入，结果要2分多钟
$costBegin = time();
echo date('Y-m-d H:s:i'$costBegin)."
";
for($i=0;$i<1000000;$i++){
    $sql = sprintf("INSERT INTO charu (name age) VALUES ( '%s' %d);" '测试' 10);
    $conn->query($sql);
}

$costEnd = time();
echo date('Y-m-d H:s:i'$costEnd)."
";
$cost = $costEnd - $costBegin;
echo date('Y-m-d H:s:i'$cost)."
";

$conn->close();

第二种使用insert合并插入

mysql里面是可以使用insert语句进行合并插入的，比如

INSERT INTO charu (name age) VALUES ('name1' 18) ('name2' 19);

表示一次插入两条数据

connect_error) {
 die("connect failed: " . $conn->connect_error);
} 

// 第二种，把所有要插入的数据生成为一条sql语句，所以执行的时间会快很多，测试时间是5秒多，服务器配置不同会影响时间
$costBegin = time();
echo date('Y-m-d H:s:i'$costBegin)."
";
$sql = sprintf("INSERT INTO charu (name age) VALUES ");
for($i=0;$i<1000000;$i++){
      $itemStr = '( ';
      $itemStr .= sprintf("'%s' %d" '测试' 10);
      $itemStr .= ')';
      $sql .= $itemStr;
}
// 去除最后一个逗号，并且加上结束分号
$sql = rtrim($sql '');
$sql .= ';';
if ($conn->query($sql) === TRUE) {
    echo "新记录插入成功". "
";
} else {
    echo "Error: " . $sql . "
" . $conn->error;
}

$costEnd = time();
echo date('Y-m-d H:s:i'$costEnd)."
";
$cost = $costEnd - $costBegin;
echo date('Y-m-d H:s:i'$cost)."
";

$conn->close();

使用第二种方法有可能会出现

MySQL server has gone away错误的解决办法

而我自己是直接在my.ini文件里面直接添加（max_allowed_packet = 30M）然后重启环境就可以了