文章来源PHP中文网
从此文章中 学习到了一个打开 标准输出流
这是个什么东东?
$fp=fopen('php://output','a'); 以追加的方式打开标准输出流。 这是一个新概念,一般情况下,都是打开文件读取。呵呵,记录下来
$title = array('ID','姓名','年龄','性别');
foreach($title as $key => $item) {
$title[$key] =iconv("UTF-8", "GBK", $item);
}
fpubcsv($fp,$title);
通过这里的学习 ,知道了 fputcsv 直接可以写数组。
php代码及时清空是什么概念:
set_time_limit(0); ini_set('memory_limit', '3M'); printf("刚刚开始空间适用情况:%d\n<br>", memory_get_usage()); ob_start(); $data = []; $clearNum=1; for ($i = 1; $i < 100; $i++) { $data[] = [rand(1000, 9999), getContents(rand(3, 8)), rand(10, 60), rand(0, 1)]; printf("for循环{$i}适用情况:%d\n<br>", memory_get_usage()); if (count($data) >= 10) { $data = []; printf("清空了 %d 次data 空间适用量是:%d\n<br>",$clearNum, memory_get_usage()); $clearNum++; } //usleep(300); } printf("结束时的空间是:%d\n<br>", memory_get_usage()); function getContents($len = 0) { $str = 'asdfghjklqwertyuiopzxcvbnm12345678900987654321wdfgvbnoiujhgfcxqasxcvbbjkoplkmn'; return substr(str_shuffle($str), 0, $len === 0 ? mt_rand(10, strlen($str)) : $len); }
//执行结果:
刚刚开始空间适用情况:362360 for循环1适用情况:379408 for循环2适用情况:379704 for循环3适用情况:380000 for循环4适用情况:380296 for循环5适用情况:380592 for循环6适用情况:380888 for循环7适用情况:381184 for循环8适用情况:381480 for循环9适用情况:382000 for循环10适用情况:382296 清空了 1 次data 空间适用量是:378840 for循环11适用情况:379408 for循环12适用情况:379704 for循环13适用情况:380000 for循环14适用情况:380296 for循环15适用情况:380592 for循环16适用情况:380888 for循环17适用情况:381184 for循环18适用情况:381480 for循环19适用情况:382008 for循环20适用情况:382312 清空了 2 次data 空间适用量是:378840 for循环21适用情况:379408 for循环22适用情况:379704 for循环23适用情况:380000 for循环24适用情况:380296 for循环25适用情况:380592 for循环26适用情况:380896 for循环27适用情况:381192 for循环28适用情况:381488 for循环29适用情况:382008 for循环30适用情况:382304 清空了 3 次data 空间适用量是:378840 for循环31适用情况:379408 for循环32适用情况:379704 for循环33适用情况:380000 for循环34适用情况:380296 for循环35适用情况:380592 for循环36适用情况:380888 for循环37适用情况:381184 for循环38适用情况:381480 for循环39适用情况:382008 for循环40适用情况:382312 清空了 4 次data 空间适用量是:378840 for循环41适用情况:379408 for循环42适用情况:379704 for循环43适用情况:380000 for循环44适用情况:380296 for循环45适用情况:380592 for循环46适用情况:380888 for循环47适用情况:381184 for循环48适用情况:381480 for循环49适用情况:382000 for循环50适用情况:382296 清空了 5 次data 空间适用量是:378840 for循环51适用情况:379408 for循环52适用情况:379712 for循环53适用情况:380016 for循环54适用情况:380320 for循环55适用情况:380616 for循环56适用情况:380912 for循环57适用情况:381208 for循环58适用情况:381504 for循环59适用情况:382024 for循环60适用情况:382328 清空了 6 次data 空间适用量是:378840 for循环61适用情况:379408 for循环62适用情况:379704 for循环63适用情况:380000 for循环64适用情况:380296 for循环65适用情况:380592 for循环66适用情况:380888 for循环67适用情况:381184 for循环68适用情况:381480 for循环69适用情况:382000 for循环70适用情况:382296 清空了 7 次data 空间适用量是:378840 for循环71适用情况:379408 for循环72适用情况:379704 for循环73适用情况:380008 for循环74适用情况:380304 for循环75适用情况:380600 for循环76适用情况:380896 for循环77适用情况:381192 for循环78适用情况:381496 for循环79适用情况:382016 for循环80适用情况:382312 清空了 8 次data 空间适用量是:378840 for循环81适用情况:379408 for循环82适用情况:379704 for循环83适用情况:380000 for循环84适用情况:380296 for循环85适用情况:380592 for循环86适用情况:380888 for循环87适用情况:381184 for循环88适用情况:381480 for循环89适用情况:382008 for循环90适用情况:382304 清空了 9 次data 空间适用量是:378840 for循环91适用情况:379416 for循环92适用情况:379712 for循环93适用情况:380016 for循环94适用情况:380312 for循环95适用情况:380608 for循环96适用情况:380904 for循环97适用情况:381200 for循环98适用情况:381496 for循环99适用情况:382016 结束时的空间是:381968
得出结论:for循环中,定时去释放内存,是可以节省内存的。
如果一味的输出是什么情况:
set_time_limit(0); ini_set('memory_limit', '3M'); // $fileName = date('YmdHis', time()); header('Content-Encoding: UTF-8'); header("Content-type:application/vnd.ms-excel;charset=UTF-8"); header('Content-Disposition: attachment;filename="' . $fileName . '.csv"'); ob_start(); $fp = fopen('php://output', 'a'); $title = array('ID','姓名','年龄','性别'); foreach($title as $key => $item) { $title[$key] =iconv("UTF-8", "GBK", $item); } $logdata = []; $logdata[]=sprintf("刚刚开始空间适用情况:%d\n<br>", memory_get_usage()); $clearNum=1; for ($i = 0; $i < 100; $i++) { $logdata[]=sprintf("for循环{$i}使用情况:%d\n<br>", memory_get_usage()); $row=[rand(1000,9999),getContents(rand(3,8)),rand(10,60),rand(0,1)]; fputcsv($fp, $row); //sleep(1); ob_flush(); flush(); $logdata[]=sprintf("for循环{$i} flush 后使用情况:%d\n<br>", memory_get_usage()); /*if (count($data) >= 10) { $data = []; printf("清空了 %d 次data 空间适用量是:%d\n<br>",$clearNum, memory_get_usage()); $clearNum++; }*/ //usleep(300); } $logdata[]=sprintf("结束时的空间是:%d\n<br>", memory_get_usage()); file_put_contents('datalog',implode('',$logdata)); function getContents($len = 0) { $str = 'asdfghjklqwertyuiopzxcvbnm12345678900987654321wdfgvbnoiujhgfcxqasxcvbbjkoplkmn'; return substr(str_shuffle($str), 0, $len === 0 ? mt_rand(10, strlen($str)) : $len); }
内存使用情况:
刚刚开始空间适用情况:386024 <br>for循环0使用情况:386616 <br>for循环0 flush 后使用情况:387248 <br>for循环1使用情况:387552 <br>for循环1 flush 后使用情况:387888 <br>for循环2使用情况:388192 <br>for循环2 flush 后使用情况:388528 <br>for循环3使用情况:388832 <br>for循环3 flush 后使用情况:389176 <br>for循环4使用情况:389704 <br>for循环4 flush 后使用情况:390032 <br>for循环5使用情况:390336 <br>for循环5 flush 后使用情况:390680 <br>for循环6使用情况:390984 <br>for循环6 flush 后使用情况:391312 <br>for循环7使用情况:391616 <br>for循环7 flush 后使用情况:391960 <br>for循环8使用情况:392712 <br>for循环8 flush 后使用情况:393040 <br>for循环9使用情况:393344 <br>for循环9 flush 后使用情况:393680 <br>for循环10使用情况:393984 <br>for循环10 flush 后使用情况:394320 <br>for循环11使用情况:394624 <br>for循环11 flush 后使用情况:394960 <br>for循环12使用情况:395264 <br>for循环12 flush 后使用情况:395600 <br>for循环13使用情况:395904 <br>for循环13 flush 后使用情况:396248 <br>for循环14使用情况:396552 <br>for循环14 flush 后使用情况:396880 <br>for循环15使用情况:397184 <br>for循环15 flush 后使用情况:397520 <br>for循环16使用情况:398720 <br>for循环16 flush 后使用情况:399056 <br>for循环17使用情况:399360 <br>for循环17 flush 后使用情况:399696 <br>for循环18使用情况:400000 <br>for循环18 flush 后使用情况:400344 <br>for循环19使用情况:400648 <br>for循环19 flush 后使用情况:400976 <br>for循环20使用情况:401280 <br>for循环20 flush 后使用情况:401616 <br>for循环21使用情况:401920 <br>for循环21 flush 后使用情况:402256 <br>for循环22使用情况:402560 <br>for循环22 flush 后使用情况:402896 <br>for循环23使用情况:403200 <br>for循环23 flush 后使用情况:403536 <br>for循环24使用情况:403840 <br>for循环24 flush 后使用情况:404176 <br>for循环25使用情况:404480 <br>for循环25 flush 后使用情况:404816 <br>for循环26使用情况:405120 <br>for循环26 flush 后使用情况:405456 <br>for循环27使用情况:405760 <br>for循环27 flush 后使用情况:406096 <br>for循环28使用情况:406400 <br>for循环28 flush 后使用情况:406736 <br>for循环29使用情况:407040 <br>for循环29 flush 后使用情况:407376 <br>for循环30使用情况:407680 <br>for循环30 flush 后使用情况:408016 <br>for循环31使用情况:408320 <br>for循环31 flush 后使用情况:408664 <br>for循环32使用情况:411272 <br>for循环32 flush 后使用情况:411600 <br>for循环33使用情况:411904 <br>for循环33 flush 后使用情况:412248 <br>for循环34使用情况:412552 <br>for循环34 flush 后使用情况:412880 <br>for循环35使用情况:413184 <br>for循环35 flush 后使用情况:413520 <br>for循环36使用情况:413824 <br>for循环36 flush 后使用情况:414160 <br>for循环37使用情况:414464 <br>for循环37 flush 后使用情况:414808 <br>for循环38使用情况:415112 <br>for循环38 flush 后使用情况:415440 <br>for循环39使用情况:415744 <br>for循环39 flush 后使用情况:416080 <br>for循环40使用情况:416384 <br>for循环40 flush 后使用情况:416720 <br>for循环41使用情况:417024 <br>for循环41 flush 后使用情况:417360 <br>for循环42使用情况:417664 <br>for循环42 flush 后使用情况:418000 <br>for循环43使用情况:418304 <br>for循环43 flush 后使用情况:418640 <br>for循环44使用情况:418944 <br>for循环44 flush 后使用情况:419280 <br>for循环45使用情况:419584 <br>for循环45 flush 后使用情况:419920 <br>for循环46使用情况:420224 <br>for循环46 flush 后使用情况:420560 <br>for循环47使用情况:420864 <br>for循环47 flush 后使用情况:421208 <br>for循环48使用情况:421512 <br>for循环48 flush 后使用情况:421840 <br>for循环49使用情况:422144 <br>for循环49 flush 后使用情况:422480 <br>for循环50使用情况:422784 <br>for循环50 flush 后使用情况:423120 <br>for循环51使用情况:423424 <br>for循环51 flush 后使用情况:423760 <br>for循环52使用情况:424064 <br>for循环52 flush 后使用情况:424400 <br>for循环53使用情况:424704 <br>for循环53 flush 后使用情况:425040 <br>for循环54使用情况:425344 <br>for循环54 flush 后使用情况:425680 <br>for循环55使用情况:425984 <br>for循环55 flush 后使用情况:426320 <br>for循环56使用情况:426624 <br>for循环56 flush 后使用情况:426960 <br>for循环57使用情况:427264 <br>for循环57 flush 后使用情况:427608 <br>for循环58使用情况:427912 <br>for循环58 flush 后使用情况:428240 <br>for循环59使用情况:428544 <br>for循环59 flush 后使用情况:428880 <br>for循环60使用情况:429184 <br>for循环60 flush 后使用情况:429520 <br>for循环61使用情况:429824 <br>for循环61 flush 后使用情况:430160 <br>for循环62使用情况:430464 <br>for循环62 flush 后使用情况:430800 <br>for循环63使用情况:431104 <br>for循环63 flush 后使用情况:431440 <br>for循环64使用情况:435840 <br>for循环64 flush 后使用情况:436184 <br>for循环65使用情况:436488 <br>for循环65 flush 后使用情况:436816 <br>for循环66使用情况:437120 <br>for循环66 flush 后使用情况:437456 <br>for循环67使用情况:437760 <br>for循环67 flush 后使用情况:438096 <br>for循环68使用情况:438400 <br>for循环68 flush 后使用情况:438736 <br>for循环69使用情况:439040 <br>for循环69 flush 后使用情况:439376 <br>for循环70使用情况:439680 <br>for循环70 flush 后使用情况:440016 <br>for循环71使用情况:440320 <br>for循环71 flush 后使用情况:440656 <br>for循环72使用情况:440960 <br>for循环72 flush 后使用情况:441296 <br>for循环73使用情况:441600 <br>for循环73 flush 后使用情况:441944 <br>for循环74使用情况:442248 <br>for循环74 flush 后使用情况:442576 <br>for循环75使用情况:442880 <br>for循环75 flush 后使用情况:443216 <br>for循环76使用情况:443520 <br>for循环76 flush 后使用情况:443856 <br>for循环77使用情况:444160 <br>for循环77 flush 后使用情况:444496 <br>for循环78使用情况:444800 <br>for循环78 flush 后使用情况:445136 <br>for循环79使用情况:445440 <br>for循环79 flush 后使用情况:445776 <br>for循环80使用情况:446080 <br>for循环80 flush 后使用情况:446424 <br>for循环81使用情况:446728 <br>for循环81 flush 后使用情况:447056 <br>for循环82使用情况:447360 <br>for循环82 flush 后使用情况:447696 <br>for循环83使用情况:448000 <br>for循环83 flush 后使用情况:448336 <br>for循环84使用情况:448640 <br>for循环84 flush 后使用情况:448976 <br>for循环85使用情况:449280 <br>for循环85 flush 后使用情况:449624 <br>for循环86使用情况:449928 <br>for循环86 flush 后使用情况:450256 <br>for循环87使用情况:450560 <br>for循环87 flush 后使用情况:450904 <br>for循环88使用情况:451208 <br>for循环88 flush 后使用情况:451536 <br>for循环89使用情况:451840 <br>for循环89 flush 后使用情况:452176 <br>for循环90使用情况:452480 <br>for循环90 flush 后使用情况:452816 <br>for循环91使用情况:453120 <br>for循环91 flush 后使用情况:453456 <br>for循环92使用情况:453760 <br>for循环92 flush 后使用情况:454096 <br>for循环93使用情况:454400 <br>for循环93 flush 后使用情况:454736 <br>for循环94使用情况:455040 <br>for循环94 flush 后使用情况:455376 <br>for循环95使用情况:455680 <br>for循环95 flush 后使用情况:456024 <br>for循环96使用情况:456328 <br>for循环96 flush 后使用情况:456656 <br>for循环97使用情况:456960 <br>for循环97 flush 后使用情况:457296 <br>for循环98使用情况:457600 <br>for循环98 flush 后使用情况:457936 <br>for循环99使用情况:458240 <br>for循环99 flush 后使用情况:458576 <br>结束时的空间是:458832 <br>
由此我们看到内存适用是一路飙升的,在导出数据的时候,注意内存使用情况
下面来看看完整的代码:
<?php set_time_limit(0); ini_set('memory_limit', '3M'); $fileName = date('YmdHis', time()); header('Content-Encoding: UTF-8'); header("Content-type:application/vnd.ms-excel;charset=UTF-8"); header('Content-Disposition: attachment;filename="' . $fileName . '.csv"'); //打开php标准输出流 //以写入追加的方式打开 $fp = fopen('php://output', 'a'); //连接数据库 /*$dbhost = '127.0.0.1'; $dbuser = 'root'; $dbpwd = ''; $con = mysqli_connect($dbhost, $dbuser, $dbpwd); if (mysqli_connect_errno()) { die('connect error'); } //选择数据库 $database = 'test'; mysqli_select_db($con, $database); //设置编码 mysqli_query($con, "set names UTF8"); */ //我们试着用fputcsv从数据库中导出1百万的数据 //我们每次取1万条数据,分100步来执行 //如果线上环境无法支持一次性读取1万条数据,可把$nums调小,$step相应增大。 $step = 100; $nums = 10000; $where = ""; //筛选条件 //设置标题 $title = array('ID','姓名','年龄','性别'); foreach($title as $key => $item) { $title[$key] =iconv("UTF-8", "GBK", $item); } ob_start(); //将标题写到标准输出中 fputcsv($fp, $title); for($i=0;$i<100;$i++){ $row=[rand(1000,9999),getContents(rand(3,8)),rand(10,60),rand(0,1)]; fputcsv($fp, $row); sleep(1); ob_flush(); flush(); } function getContents($len=0){ $str='asdfghjklqwertyuiopzxcvbnm12345678900987654321wdfgvbnoiujhgfcxqasxcvbbjkoplkmn'; return substr(str_shuffle($str),0,$len===0?mt_rand(10,strlen($str)):$len); } /*for($s = 1; $s <= $step; $s++) { $start = ($s - 1) * $nums; $result = mysqli_query($con,"SELECT * FROM `test` ".$where." ORDER BY `id` LIMIT {$start},{$nums}"); if($result) { while($row = mysqli_fetch_assoc($result)) { foreach($row as $key => $item) { //这里必须转码,不然会乱码 $row[$key] = iconv("UTF-8", "GBK", $item); } fputcsv($fp, $row); } mysqli_free_result($result); //释放结果集资源 //每1万条数据就刷新缓冲区 ob_flush(); flush(); } }*/ //断开连接 // mysqli_close($con);