作为程序员一定要保持良好的睡眠,才能好编程

PHP支持从数据库中导出100万的数据 csv

发布时间:2018-11-20

文章来源PHP中文网


从此文章中 学习到了一个打开 标准输出流


这是个什么东东?


$fp=fopen('php://output','a'); 以追加的方式打开标准输出流。 这是一个新概念,一般情况下,都是打开文件读取。呵呵,记录下来



$title = array('ID','姓名','年龄','性别');

foreach($title as $key => $item) {

    $title[$key] =iconv("UTF-8", "GBK", $item);

}


fpubcsv($fp,$title);



通过这里的学习 ,知道了  fputcsv 直接可以写数组。




php代码及时清空是什么概念:

set_time_limit(0);
ini_set('memory_limit', '3M');


printf("刚刚开始空间适用情况:%d\n<br>", memory_get_usage());

ob_start();

$data = [];
$clearNum=1;
for ($i = 1; $i < 100; $i++) {

  $data[] = [rand(1000, 9999), getContents(rand(3, 8)), rand(10, 60), rand(0, 1)];

  printf("for循环{$i}适用情况:%d\n<br>", memory_get_usage());

  if (count($data) >= 10) {
    $data = [];
    printf("清空了 %d 次data 空间适用量是:%d\n<br>",$clearNum, memory_get_usage());
    $clearNum++;
  }

  //usleep(300);

}
printf("结束时的空间是:%d\n<br>", memory_get_usage());



function getContents($len = 0) {
  $str = 'asdfghjklqwertyuiopzxcvbnm12345678900987654321wdfgvbnoiujhgfcxqasxcvbbjkoplkmn';
  return substr(str_shuffle($str), 0, $len === 0 ? mt_rand(10, strlen($str)) : $len);
}

//执行结果:

刚刚开始空间适用情况:362360 
for循环1适用情况:379408 
for循环2适用情况:379704 
for循环3适用情况:380000 
for循环4适用情况:380296 
for循环5适用情况:380592 
for循环6适用情况:380888 
for循环7适用情况:381184 
for循环8适用情况:381480 
for循环9适用情况:382000 
for循环10适用情况:382296 
清空了 1 次data 空间适用量是:378840 
for循环11适用情况:379408 
for循环12适用情况:379704 
for循环13适用情况:380000 
for循环14适用情况:380296 
for循环15适用情况:380592 
for循环16适用情况:380888 
for循环17适用情况:381184 
for循环18适用情况:381480 
for循环19适用情况:382008 
for循环20适用情况:382312 
清空了 2 次data 空间适用量是:378840 
for循环21适用情况:379408 
for循环22适用情况:379704 
for循环23适用情况:380000 
for循环24适用情况:380296 
for循环25适用情况:380592 
for循环26适用情况:380896 
for循环27适用情况:381192 
for循环28适用情况:381488 
for循环29适用情况:382008 
for循环30适用情况:382304 
清空了 3 次data 空间适用量是:378840 
for循环31适用情况:379408 
for循环32适用情况:379704 
for循环33适用情况:380000 
for循环34适用情况:380296 
for循环35适用情况:380592 
for循环36适用情况:380888 
for循环37适用情况:381184 
for循环38适用情况:381480 
for循环39适用情况:382008 
for循环40适用情况:382312 
清空了 4 次data 空间适用量是:378840 
for循环41适用情况:379408 
for循环42适用情况:379704 
for循环43适用情况:380000 
for循环44适用情况:380296 
for循环45适用情况:380592 
for循环46适用情况:380888 
for循环47适用情况:381184 
for循环48适用情况:381480 
for循环49适用情况:382000 
for循环50适用情况:382296 
清空了 5 次data 空间适用量是:378840 
for循环51适用情况:379408 
for循环52适用情况:379712 
for循环53适用情况:380016 
for循环54适用情况:380320 
for循环55适用情况:380616 
for循环56适用情况:380912 
for循环57适用情况:381208 
for循环58适用情况:381504 
for循环59适用情况:382024 
for循环60适用情况:382328 
清空了 6 次data 空间适用量是:378840 
for循环61适用情况:379408 
for循环62适用情况:379704 
for循环63适用情况:380000 
for循环64适用情况:380296 
for循环65适用情况:380592 
for循环66适用情况:380888 
for循环67适用情况:381184 
for循环68适用情况:381480 
for循环69适用情况:382000 
for循环70适用情况:382296 
清空了 7 次data 空间适用量是:378840 
for循环71适用情况:379408 
for循环72适用情况:379704 
for循环73适用情况:380008 
for循环74适用情况:380304 
for循环75适用情况:380600 
for循环76适用情况:380896 
for循环77适用情况:381192 
for循环78适用情况:381496 
for循环79适用情况:382016 
for循环80适用情况:382312 
清空了 8 次data 空间适用量是:378840 
for循环81适用情况:379408 
for循环82适用情况:379704 
for循环83适用情况:380000 
for循环84适用情况:380296 
for循环85适用情况:380592 
for循环86适用情况:380888 
for循环87适用情况:381184 
for循环88适用情况:381480 
for循环89适用情况:382008 
for循环90适用情况:382304 
清空了 9 次data 空间适用量是:378840 
for循环91适用情况:379416 
for循环92适用情况:379712 
for循环93适用情况:380016 
for循环94适用情况:380312 
for循环95适用情况:380608 
for循环96适用情况:380904 
for循环97适用情况:381200 
for循环98适用情况:381496 
for循环99适用情况:382016 
结束时的空间是:381968


得出结论:for循环中,定时去释放内存,是可以节省内存的。



如果一味的输出是什么情况:

set_time_limit(0);
ini_set('memory_limit', '3M');


//

$fileName = date('YmdHis', time());

header('Content-Encoding: UTF-8');

header("Content-type:application/vnd.ms-excel;charset=UTF-8");

header('Content-Disposition: attachment;filename="' . $fileName . '.csv"');


ob_start();

$fp = fopen('php://output', 'a');
$title = array('ID','姓名','年龄','性别');

foreach($title as $key => $item) {

  $title[$key] =iconv("UTF-8", "GBK", $item);

}


$logdata = [];

$logdata[]=sprintf("刚刚开始空间适用情况:%d\n<br>", memory_get_usage());


$clearNum=1;
for ($i = 0; $i < 100; $i++) {



  $logdata[]=sprintf("for循环{$i}使用情况:%d\n<br>", memory_get_usage());

  $row=[rand(1000,9999),getContents(rand(3,8)),rand(10,60),rand(0,1)];

  fputcsv($fp, $row);
  //sleep(1);

  ob_flush();
  flush();
  $logdata[]=sprintf("for循环{$i} flush 后使用情况:%d\n<br>", memory_get_usage());


  /*if (count($data) >= 10) {
    $data = [];
    printf("清空了 %d 次data 空间适用量是:%d\n<br>",$clearNum, memory_get_usage());
    $clearNum++;
  }*/

  //usleep(300);

}
$logdata[]=sprintf("结束时的空间是:%d\n<br>", memory_get_usage());


file_put_contents('datalog',implode('',$logdata));


function getContents($len = 0) {
  $str = 'asdfghjklqwertyuiopzxcvbnm12345678900987654321wdfgvbnoiujhgfcxqasxcvbbjkoplkmn';
  return substr(str_shuffle($str), 0, $len === 0 ? mt_rand(10, strlen($str)) : $len);
}


内存使用情况:

刚刚开始空间适用情况:386024
<br>for循环0使用情况:386616
<br>for循环0 flush 后使用情况:387248
<br>for循环1使用情况:387552
<br>for循环1 flush 后使用情况:387888
<br>for循环2使用情况:388192
<br>for循环2 flush 后使用情况:388528
<br>for循环3使用情况:388832
<br>for循环3 flush 后使用情况:389176
<br>for循环4使用情况:389704
<br>for循环4 flush 后使用情况:390032
<br>for循环5使用情况:390336
<br>for循环5 flush 后使用情况:390680
<br>for循环6使用情况:390984
<br>for循环6 flush 后使用情况:391312
<br>for循环7使用情况:391616
<br>for循环7 flush 后使用情况:391960
<br>for循环8使用情况:392712
<br>for循环8 flush 后使用情况:393040
<br>for循环9使用情况:393344
<br>for循环9 flush 后使用情况:393680
<br>for循环10使用情况:393984
<br>for循环10 flush 后使用情况:394320
<br>for循环11使用情况:394624
<br>for循环11 flush 后使用情况:394960
<br>for循环12使用情况:395264
<br>for循环12 flush 后使用情况:395600
<br>for循环13使用情况:395904
<br>for循环13 flush 后使用情况:396248
<br>for循环14使用情况:396552
<br>for循环14 flush 后使用情况:396880
<br>for循环15使用情况:397184
<br>for循环15 flush 后使用情况:397520
<br>for循环16使用情况:398720
<br>for循环16 flush 后使用情况:399056
<br>for循环17使用情况:399360
<br>for循环17 flush 后使用情况:399696
<br>for循环18使用情况:400000
<br>for循环18 flush 后使用情况:400344
<br>for循环19使用情况:400648
<br>for循环19 flush 后使用情况:400976
<br>for循环20使用情况:401280
<br>for循环20 flush 后使用情况:401616
<br>for循环21使用情况:401920
<br>for循环21 flush 后使用情况:402256
<br>for循环22使用情况:402560
<br>for循环22 flush 后使用情况:402896
<br>for循环23使用情况:403200
<br>for循环23 flush 后使用情况:403536
<br>for循环24使用情况:403840
<br>for循环24 flush 后使用情况:404176
<br>for循环25使用情况:404480
<br>for循环25 flush 后使用情况:404816
<br>for循环26使用情况:405120
<br>for循环26 flush 后使用情况:405456
<br>for循环27使用情况:405760
<br>for循环27 flush 后使用情况:406096
<br>for循环28使用情况:406400
<br>for循环28 flush 后使用情况:406736
<br>for循环29使用情况:407040
<br>for循环29 flush 后使用情况:407376
<br>for循环30使用情况:407680
<br>for循环30 flush 后使用情况:408016
<br>for循环31使用情况:408320
<br>for循环31 flush 后使用情况:408664
<br>for循环32使用情况:411272
<br>for循环32 flush 后使用情况:411600
<br>for循环33使用情况:411904
<br>for循环33 flush 后使用情况:412248
<br>for循环34使用情况:412552
<br>for循环34 flush 后使用情况:412880
<br>for循环35使用情况:413184
<br>for循环35 flush 后使用情况:413520
<br>for循环36使用情况:413824
<br>for循环36 flush 后使用情况:414160
<br>for循环37使用情况:414464
<br>for循环37 flush 后使用情况:414808
<br>for循环38使用情况:415112
<br>for循环38 flush 后使用情况:415440
<br>for循环39使用情况:415744
<br>for循环39 flush 后使用情况:416080
<br>for循环40使用情况:416384
<br>for循环40 flush 后使用情况:416720
<br>for循环41使用情况:417024
<br>for循环41 flush 后使用情况:417360
<br>for循环42使用情况:417664
<br>for循环42 flush 后使用情况:418000
<br>for循环43使用情况:418304
<br>for循环43 flush 后使用情况:418640
<br>for循环44使用情况:418944
<br>for循环44 flush 后使用情况:419280
<br>for循环45使用情况:419584
<br>for循环45 flush 后使用情况:419920
<br>for循环46使用情况:420224
<br>for循环46 flush 后使用情况:420560
<br>for循环47使用情况:420864
<br>for循环47 flush 后使用情况:421208
<br>for循环48使用情况:421512
<br>for循环48 flush 后使用情况:421840
<br>for循环49使用情况:422144
<br>for循环49 flush 后使用情况:422480
<br>for循环50使用情况:422784
<br>for循环50 flush 后使用情况:423120
<br>for循环51使用情况:423424
<br>for循环51 flush 后使用情况:423760
<br>for循环52使用情况:424064
<br>for循环52 flush 后使用情况:424400
<br>for循环53使用情况:424704
<br>for循环53 flush 后使用情况:425040
<br>for循环54使用情况:425344
<br>for循环54 flush 后使用情况:425680
<br>for循环55使用情况:425984
<br>for循环55 flush 后使用情况:426320
<br>for循环56使用情况:426624
<br>for循环56 flush 后使用情况:426960
<br>for循环57使用情况:427264
<br>for循环57 flush 后使用情况:427608
<br>for循环58使用情况:427912
<br>for循环58 flush 后使用情况:428240
<br>for循环59使用情况:428544
<br>for循环59 flush 后使用情况:428880
<br>for循环60使用情况:429184
<br>for循环60 flush 后使用情况:429520
<br>for循环61使用情况:429824
<br>for循环61 flush 后使用情况:430160
<br>for循环62使用情况:430464
<br>for循环62 flush 后使用情况:430800
<br>for循环63使用情况:431104
<br>for循环63 flush 后使用情况:431440
<br>for循环64使用情况:435840
<br>for循环64 flush 后使用情况:436184
<br>for循环65使用情况:436488
<br>for循环65 flush 后使用情况:436816
<br>for循环66使用情况:437120
<br>for循环66 flush 后使用情况:437456
<br>for循环67使用情况:437760
<br>for循环67 flush 后使用情况:438096
<br>for循环68使用情况:438400
<br>for循环68 flush 后使用情况:438736
<br>for循环69使用情况:439040
<br>for循环69 flush 后使用情况:439376
<br>for循环70使用情况:439680
<br>for循环70 flush 后使用情况:440016
<br>for循环71使用情况:440320
<br>for循环71 flush 后使用情况:440656
<br>for循环72使用情况:440960
<br>for循环72 flush 后使用情况:441296
<br>for循环73使用情况:441600
<br>for循环73 flush 后使用情况:441944
<br>for循环74使用情况:442248
<br>for循环74 flush 后使用情况:442576
<br>for循环75使用情况:442880
<br>for循环75 flush 后使用情况:443216
<br>for循环76使用情况:443520
<br>for循环76 flush 后使用情况:443856
<br>for循环77使用情况:444160
<br>for循环77 flush 后使用情况:444496
<br>for循环78使用情况:444800
<br>for循环78 flush 后使用情况:445136
<br>for循环79使用情况:445440
<br>for循环79 flush 后使用情况:445776
<br>for循环80使用情况:446080
<br>for循环80 flush 后使用情况:446424
<br>for循环81使用情况:446728
<br>for循环81 flush 后使用情况:447056
<br>for循环82使用情况:447360
<br>for循环82 flush 后使用情况:447696
<br>for循环83使用情况:448000
<br>for循环83 flush 后使用情况:448336
<br>for循环84使用情况:448640
<br>for循环84 flush 后使用情况:448976
<br>for循环85使用情况:449280
<br>for循环85 flush 后使用情况:449624
<br>for循环86使用情况:449928
<br>for循环86 flush 后使用情况:450256
<br>for循环87使用情况:450560
<br>for循环87 flush 后使用情况:450904
<br>for循环88使用情况:451208
<br>for循环88 flush 后使用情况:451536
<br>for循环89使用情况:451840
<br>for循环89 flush 后使用情况:452176
<br>for循环90使用情况:452480
<br>for循环90 flush 后使用情况:452816
<br>for循环91使用情况:453120
<br>for循环91 flush 后使用情况:453456
<br>for循环92使用情况:453760
<br>for循环92 flush 后使用情况:454096
<br>for循环93使用情况:454400
<br>for循环93 flush 后使用情况:454736
<br>for循环94使用情况:455040
<br>for循环94 flush 后使用情况:455376
<br>for循环95使用情况:455680
<br>for循环95 flush 后使用情况:456024
<br>for循环96使用情况:456328
<br>for循环96 flush 后使用情况:456656
<br>for循环97使用情况:456960
<br>for循环97 flush 后使用情况:457296
<br>for循环98使用情况:457600
<br>for循环98 flush 后使用情况:457936
<br>for循环99使用情况:458240
<br>for循环99 flush 后使用情况:458576
<br>结束时的空间是:458832
<br>

由此我们看到内存适用是一路飙升的,在导出数据的时候,注意内存使用情况



下面来看看完整的代码:


<?php

set_time_limit(0);

ini_set('memory_limit', '3M');


$fileName = date('YmdHis', time());

header('Content-Encoding: UTF-8');

header("Content-type:application/vnd.ms-excel;charset=UTF-8");

header('Content-Disposition: attachment;filename="' . $fileName . '.csv"');

  

  

//打开php标准输出流

//以写入追加的方式打开

$fp = fopen('php://output', 'a');

 

//连接数据库

/*$dbhost = '127.0.0.1';

$dbuser = 'root';

$dbpwd = '';

$con = mysqli_connect($dbhost, $dbuser, $dbpwd);

if (mysqli_connect_errno()) {

   die('connect error');

}

//选择数据库

$database = 'test';

mysqli_select_db($con, $database);

//设置编码

mysqli_query($con, "set names UTF8");

 */

  

//我们试着用fputcsv从数据库中导出1百万的数据

//我们每次取1万条数据,分100步来执行

//如果线上环境无法支持一次性读取1万条数据,可把$nums调小,$step相应增大。

$step = 100;

$nums = 10000;

$where = ""; //筛选条件

  

//设置标题

$title = array('ID','姓名','年龄','性别');

foreach($title as $key => $item) {

    $title[$key] =iconv("UTF-8", "GBK", $item);

}

ob_start();

//将标题写到标准输出中

fputcsv($fp, $title);

for($i=0;$i<100;$i++){
	 $row=[rand(1000,9999),getContents(rand(3,8)),rand(10,60),rand(0,1)];	
	 fputcsv($fp, $row);
	 sleep(1);
	 ob_flush();
     flush();
}



function getContents($len=0){
	$str='asdfghjklqwertyuiopzxcvbnm12345678900987654321wdfgvbnoiujhgfcxqasxcvbbjkoplkmn';
	return substr(str_shuffle($str),0,$len===0?mt_rand(10,strlen($str)):$len);
}



/*for($s = 1; $s <= $step; $s++) {

    $start = ($s - 1) * $nums;

    $result = mysqli_query($con,"SELECT * FROM `test` ".$where." ORDER BY `id` LIMIT {$start},{$nums}");

    if($result) {

        while($row = mysqli_fetch_assoc($result)) {

            foreach($row as $key => $item) {

                //这里必须转码,不然会乱码

                $row[$key] = iconv("UTF-8", "GBK", $item);

            }

            fputcsv($fp, $row);

        }

        mysqli_free_result($result); //释放结果集资源

 

        //每1万条数据就刷新缓冲区

        ob_flush();

        flush();

    }

}*/

//断开连接

// mysqli_close($con);