php统计大数据太慢 php数据统计分析

如何解决PHP查询大量数据内存耗尽的问题

这个意味着PHP脚本使用了过多的内存，并超出了系统对其设置的允许最大内存。解决这个问题，首先需要查看你的程序是否分配了过多的内存，在程序没有问题的情况下，你可以通过一下方法来增加PHP的内存限制（memory_limit）。

创新互联建站是一家以成都网站建设、网页设计、品牌设计、软件运维、成都网站推广、小程序App开发等移动开发为一体互联网公司。已累计为成都自拌料搅拌车等众行业中小客户提供优质的互联网建站和软件开发服务。

我给你个思路，利用游览器的刷新机制，每执行10秒刷新一下自动更新下一串数据，一串多少数据，看你的SQL效率而定。就这样一直刷新更新，到结束为止。

你用网页的方式，让人点击，服务器采集，简直是弱爆了。每个人的点击循环1000次，来个100人同时点，你要用的是普通的虚拟机就不行了。最好是换种方式实现，不要通过网页进行采集。

而且如果使用mysql的话，它也有一个超时时间，运行一串代码时间如果超过配置文件的时间，会被中断不运行。第一种你可以修改php配置文件timeout的运行时间，第二你可以分批处理大量数据，注意是分批处理，就OK了。

使用缓存，比如memcache，redis，因为它们是在内存中运行，所以处理数据，返回数据非常快，所以可以应对高并发。

1尽量使用数字型字段，若只含数值信息的字段尽量不要设计为字符型，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。

没必要一次性查出100W条。每次请求3-5W数据update，分页用递归。控制好变量内存，不要内存溢出。

PHP的查询缺省模式是缓冲模式。也就是说，查询数据结果会一次全部提取到内存里供PHP程序处理。这样给了PHP程序额外的功能，比如说，计算行数，将指针指向某一行等。更重要的是程序可以对数据集反复进行二次查询和过滤等操作。

你的查询需求中，最常用的where字段是什么，然后在数据表中给这个字段建立索引。多表查询、嵌套查询的话，就得优化sql了，这个得具体情况具体分析了。

1、这样的话，缓存表，只有你在更新网站内容的时候进行更新，比如增加，修改，删除首页，只需要读取一次缓存表，一个SQL语句就OK了。。EASY吧。

2、优化SQL语句（让SQL语句更合理一些）。优化数据库字段类型。（能用其他的尽量不要用VCHAR）建立储存过程。

3、2个方面：sql语句优化，缓存。sql语句中select * from 表不需要全部信息的话就尽量不要用*，要哪个字段就写哪个，不要怕写。如今php中有许多的缓存方式，有模板缓存，sql查询缓存。

当前名称：php统计大数据太慢 php数据统计分析
标题链接：http://scyanting.com/article/dcdjhoh.html