mysql怎么批量录入数据
MySQL批量录入数据的方法:
方法一:循环插入
这个也是最普通的方式,如果数据量不是很大,可以使用,但是每次都要消耗连接数据库的资源。
大致思维如下
(我这里写伪代码,具体编写可以结合自己的业务逻辑或者框架语法编写)
for($i=1;$i<=100;$i++){
$sql = 'insert...............';
//querysql
}
foreach($arr as $key => $value){
$sql = 'insert...............';
//querysql
}
while($i <= 100){
$sql = 'insert...............';
//querysql
$i++
}
因为太过普通同时也没什么难度同时也不是我今天主要写的所以这里我不多说
方法二:减少连接资源,拼接一条sql
伪代码如下
//这里假设arr的key和数据库字段同步,其实大多数框架中在php操作数据库的时候都是这么设计的
$arr_keys = array_keys($arr);
$sql = 'INSERT INTO tablename (' . implode(',' ,$arr_keys) . ') values';
$arr_values = array_values($arr);
$sql .= " ('" . implode("','" ,$arr_values) . "'),";
$sql = substr($sql ,0 ,-1);
//拼接之后大概就是 INSERT INTO tablename ('username','password') values
('xxx','xxx'),('xxx','xxx'),('xxx','xxx'),('xxx','xxx'),('xxx','xxx'),('xxx','xxx')
.......
//querysql
这样写正常插入一万条基本问题不大,除非数据很长,应付普通的批量插入够用了,比如:批量生成卡号,批量生成随机码等等。。。
方法三:使用存储过程
这个我手里正好再用这个就把sql付出来,具体业务逻辑大家自己组合一下就可以。
delimiter $$$ create procedure zqtest() begin declare i int default 0; set i=0; start transaction; while i<80000 do //your insert sql set i=i+1; end while; commit; end $$$ delimiter; call zqtest();
这个也只是个测试代码,具体参数大家自行定义
我这里是一次插入8万条,虽然不多但是,每一条数据量都很大,有很多varchar4000 和text字段
耗时 6.524s
方法四:使用MYSQL LOCAL_INFILE
这个我目前正在使用,所以顺便把pdo的代码也复上来,以便大家参考
//设置pdo开启MYSQL_ATTR_LOCAL_INFILE
/*hs96.cn@gmAIl.com
public function pdo_local_info ()
{
global $system_dbserver;
$dbname = 'hs96.cn@gmail.com';
$ip = 'hs96.cn@gmail.com';
$user = 'hs96.cn@gmail.com';
$pwd = 'hs96.cn@gmail.com';
$dsn = 'mysql:dbname=' . $dbname . ';host=' . $ip . ';port=3306';
$options = [PDO::MYSQL_ATTR_LOCAL_INFILE => true];
$db = new PDO($dsn ,$user ,$pwd ,$options);
return $db;
}
//伪代码如下
public function test(){
$arr_keys = array_keys($arr);
$root_dir = $_SERVER["DOCUMENT_ROOT"] . '/';
$my_file = $root_dir . "hs96.cn@gmail.com/sql_cache/" . $order['OrderNo'] . '.sql';
$fhandler = fopen($my_file,'a+');
if ($fhandler) {
$sql = implode("\t" ,$arr);
$i = 1;
while ($i <= 80000)
{
$i++;
fwrite($fhandler ,$sql . "\r\n");
}
$sql = "LOAD DATA local INFILE '" . $myFile . "' INTO TABLE ";
$sql .= "tablename (" . implode(',' ,$arr_keys) . ")";
$pdo = $this->pdo_local_info ();
$res = $pdo->exec($sql);
if (!$res) {
//TODO 插入失败
}
@unlink($my_file);
}
}
这个同样每一条数据量都很大,有很多varchar4000 和text字段
耗时 2.160s
以上满足基本需求,100万数据问题不大,要不数据实在太大也涉及分库分表了,或者使用队列插入了。
栏 目:其它数据库
下一篇:Postgresql psql文件执行与批处理多个sql文件操作
本文标题:mysql怎么批量录入数据
本文地址:https://zz.feitang.co/shujuku/32747.html
您可能感兴趣的文章
- 12-22使用mysql记录从url返回的http GET请求数据操作
- 12-22详解sql中exists和in的语法与区别
- 12-22hive从mysql导入数据量变多的解决方案
- 12-22如何为PostgreSQL的表自动添加分区
- 12-22postgresql 实现得到时间对应周的周一案例
- 12-22sqoop export导出 map100% reduce0% 卡住的多种原因及解决
- 12-22mysql查询条件not in 和 in的区别及原因说明
- 12-22解决mysql使用not in 包含null值的问题
- 12-22解决从集合运算到mysql的not like找不出NULL的问题
- 12-22postgresql 实现多表关联删除


阅读排行
推荐教程
- 12-11mysql代码执行结构实例分析【顺序、分支、循环结构】
- 12-08添加mysql的用户名和密码是什么语句?
- 12-20PhpMyAdmin出现错误数据无法导出怎么办?
- 12-19Redis中实现查找某个值的范围
- 12-15浅析mysql迁移到clickhouse的5种方法
- 12-15CentOS7 64位下MySQL5.7安装与配置教程
- 12-14Mysql大型SQL文件快速恢复方案分享
- 12-14mysql 5.7.27 安装配置方法图文教程
- 12-13MySQL给新建用户并赋予权限最简单的方法
- 12-13关于MySQL索引的深入解析





