用php怎么做大数据分析 php大数据处理思路

实时生成并下载大数据量的EXCEL文件,用PHP如何实现?

1、一设置浏览器下载Excel需要的Header 打开php：//output流，并设置写入文件句柄。

成都创新互联公司长期为超过千家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为潍城企业提供专业的网站建设、做网站，潍城网站改版等技术服务。拥有十载丰富建站经验和众多成功案例,为您定制开发。

2、使用phpstudy搭建一个测试平台，直接访问数据库。下载的phpcms安装包拷贝到IIS目录，开通访问，即可搭建成功。登录网站后台，系统权限，文件目录以及数据库等功能，进行管理。

3、php导出大量数据到Excel，可以通过生成多个Excel文件，然后压缩成压缩包解决。方案是：假如我们数据库有10w条数据，每2000条数据生成一个Excel文件，这样每次只要从数据库里查询出2000条数据即可，一定要分页去查询。

4、文件切割，如迅雷下载原理一样（采用续点上传），分成若干小块，然后全部上传完毕以后，再进行文件合成。

5、关于csv格式 如果内容中有逗号，可以把整个字段用引号括起来，具体可参考百度百科csv。例如 字段1，“字段2带，号”，字段3 其实，关键在于php读取csv的规则，csv并不是一定要用逗号，也可以是分号等其他符号。

如何解决PHP查询大量数据内存耗尽的问题

解决这个问题，首先需要查看你的程序是否分配了过多的内存，在程序没有问题的情况下，你可以通过一下方法来增加PHP的内存限制（memory_limit）。

你用网页的方式，让人点击，服务器采集，简直是弱爆了。每个人的点击循环1000次，来个100人同时点，你要用的是普通的虚拟机就不行了。最好是换种方式实现，不要通过网页进行采集。

要分层次显示，另外碰到数据库查询文字非常多的你还可以使用AJAX 返回数据 这样HTML就可以很快的显示 显示完毕才去读数据库这样速度会快很多。至于楼上说的 缓存 数据库存储过程 可以参考一下，不过一般企业站不需要考虑。

而且如果使用mysql的话，它也有一个超时时间，运行一串代码时间如果超过配置文件的时间，会被中断不运行。第一种你可以修改php配置文件timeout的运行时间，第二你可以分批处理大量数据，注意是分批处理，就OK了。

php采集大数据的方案

1、使用缓存，比如memcache，redis，因为它们是在内存中运行，所以处理数据，返回数据非常快，所以可以应对高并发。

2、一设置浏览器下载Excel需要的Header 打开php：//output流，并设置写入文件句柄。

3、使用phpstudy搭建一个测试平台，直接访问数据库。下载的phpcms安装包拷贝到IIS目录，开通访问，即可搭建成功。登录网站后台，系统权限，文件目录以及数据库等功能，进行管理。

4、如果是用mysql数据库的话，一条语句可以插入几千条语句。类似以下语句：insert into table_name (field1，field2) values (1，2)，(2，3)，(3，5)，(5，6)请查看mysql手册。其他数据库请查阅相应手册。

5、sql .=(zhangsan，21，1，2015-09-17)} sql = substr($sql，0，strlen($sql)-1)；var_dump($sql)；if($pdo - exec($sql)){ echo 插入成功！echo $pdo - lastinsertid()；} 试试吧。

6、方法：在phpMyAdmin的目录下，找到根目录的config.inc.php文件，打开config.inc.php文件，查找$cfg[UploadDir]，这个参数就是设定导入文件存放的目录，这里把值设定为：ImportSQLFile。