php处理大数据架构6 php yield 处理大数据

PHP如何解决网站的大数据大流量与高并发

可以采用数据库缓存、事务缓存等技巧。还可以从架构上把事务做合理的分配，花钱扩充你的硬件设施等。比如，阿里巴巴从最初的1台电脑逐步扩充到过万台电脑了。

创新互联自2013年起，先为竹溪等服务建站，竹溪等地企业，进行企业商务咨询服务。为竹溪企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

建立数据库连接池服务，有很多实现的方式，PHP的话，我推荐使用swoole(PHP的一个网络通讯拓展)来实现。

网站页面静态化。静态化的页面为.html(.htm等)不需要web服务器重新加载项解析，只需要生成一次，以后每次都直接下载到客户端，效率高很多。将网站的web服务器、数据库服务器、图片和文件服务器分开。

大数据并发处理解决方案：HTML静态化效率最高、消耗最小的就是纯静态化的html页面，所以尽可能使网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。

以下是一些总结的方法：第一，确认服务器硬件是否足够支持当前的流量。

架构还可以选择性地使用队列，我现在用的beantalkd，Redis也是一个很好的选择。

使用缓存，比如memcache，redis，因为它们是在内存中运行，所以处理数据，返回数据非常快，所以可以应对高并发。

1尽量使用数字型字段，若只含数值信息的字段尽量不要设计为字符型，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。

这样的结果就是PHP程序消耗较少的内存，但却增加了数据库服务器的压力，因为数据库会一直等待PHP来取数据，一直到数据全部取完。很显然，缓冲查询模式适用于小数据量查询，而非缓冲查询适应于大数据量查询。

可以采用MQ，首先将task丢进Q里面，然后给出用户提示，前台页面轮询后台结果。如果数据量过大建议分批处理，拆分成多个task即可。

来个100人同时点，你要用的是普通的虚拟机就不行了。最好是换种方式实现，不要通过网页进行采集。可以非常简单的在数据库的表，创建一个采集队列，后台执行一个crontab的计划任务，去完成队列里的采集任务。

1、这个意味着PHP脚本使用了过多的内存，并超出了系统对其设置的允许最大内存。解决这个问题，首先需要查看你的程序是否分配了过多的内存，在程序没有问题的情况下，你可以通过一下方法来增加PHP的内存限制（memory_limit）。

2、我给你个思路，利用游览器的刷新机制，每执行10秒刷新一下自动更新下一串数据，一串多少数据，看你的SQL效率而定。就这样一直刷新更新，到结束为止。

3、你用网页的方式，让人点击，服务器采集，简直是弱爆了。每个人的点击循环1000次，来个100人同时点，你要用的是普通的虚拟机就不行了。最好是换种方式实现，不要通过网页进行采集。

4、而且如果使用mysql的话，它也有一个超时时间，运行一串代码时间如果超过配置文件的时间，会被中断不运行。第一种你可以修改php配置文件timeout的运行时间，第二你可以分批处理大量数据，注意是分批处理，就OK了。

5、使用缓存，比如memcache，redis，因为它们是在内存中运行，所以处理数据，返回数据非常快，所以可以应对高并发。

当前文章：php处理大数据架构6 php yield 处理大数据
文章分享：http://scyanting.com/article/dcdeeog.html