php每天抓取数据并更新新

以前我用过querylist插件抓数据，服务器写和定时器，每天固定时间去运行脚本。朝这个方式试试

创新互联-专业网站定制、快速模板网站建设、高性价比兴安网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式兴安网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖兴安地区。费用合理售后完善，十年实体公司更值得信赖。

高并发下数据的更新，应该 update table xxx set num = num - 1 的方式，这种方式可以保证数据的正确性。

但是会出现 num 为负数的问题，如果库存为负数，显然是不合理的。

于是，需要将 num 字段设置为 无符号整型，这样就不会出现负数了，因为，如果减到负数，就会更新失败。

但是这种依然会造成很多无用的更新语句的执行，是不合理的。

于是，update table xxx set num = num - 1 where num 0，

这样当 num 等于0之后就不会去更新数据库了，减少了很多无用的开销。

这种方式被称作“乐观锁”

此外，对于抢红包这种非整数的操作，我们应该转换为整数的操作。

关于抢购超卖的控制

一般抢购功能是一个相对于正常售卖系统来说独立的子系统，这样既可以防止抢购时的高并发影响到正常系统，

也可以做到针对于抢购业务的特殊处理。

在后台设计一些功能，可以就昂正常的商品加入到抢购活动中并编辑成为抢购商品，写入到抢购商品表，当然

也可以把抢购商品表写入redis而不是数据表。并且在原商品表写入一个同样的商品（id相同，用于订单查看，

此商品不可购买）

如果是数据表，为了控制超卖，需要对表进行行锁，更新的时候带上 where goods_amount 0。

如果是redis，使用 hincrby 一个负数来减库存，并且 hincrby 会返回改变后的值，再来判断返回值是否大于0，

因为redis每个命令都是原子性的，这样不用锁表就可控制超卖。

php频繁请求需要关闭数据库吗

需要关闭数据库的。如果是一个长连接的话，你的网站加入并发请求数很多，也就是说同时有很多人来访问你的网站，并且每个访问者都需要查询一次mysql数据库的话，会很快把你的系统资源消耗完了。短链接就没有这个问题，每次查询完就马上关闭了，这样不容易消耗过多的系统资源。但是长连接也有个好处就是，频繁查询的时候，可以节省了多次建立TCP连接的时间。

php curl 大量数据采集

这个需要配合js，打开一个html页面，首先js用ajax请求页面，返回第一个页面信息确定处理完毕（ajax有强制同步功能），ajax再访问第二个页面。（或者根据服务器状况，你可以同时提交几个URL，跑几个相同的页面）

参数可以由js产生并传递url，php后台页面根据URL抓页面。然后ajax通过php，在数据库或者是哪里设一个标量，标明检测到哪里。由于前台的html页面执行多少时候都没问题，这样php的内存限制和执行时间限制就解决了。

因为不会浪费大量的资源用一个页面来跑一个瞬间500次的for循环了。（你的500次for循环死了原因可能是获取的数据太多，大过了php限制的内存）

不过印象中curl好像也有强制同步的选项，就是等待一个抓取后再执行下一步。但是这个500次都是用一个页面线程处理，也就是说肯定会远远大于30秒的默认执行时间。

PHP循环代码不断获取数据库内容，导致数据读取很慢，怎么去修改下面的代码让数据读取快点？（Thinkphp)

数据库的读取能一次查询完成的尽量不要分成多次查询

不知道你用的是什么框架,如果有where_in方法的话可以用它来解决,先要构造出order_sn值的数组

没有的话就自己构造'or'条件字符串,然后用where一次查询完成

php 请求一次 最多查数据库多少次合适

看你服务器配置等。

我以前做项目，发现大约500次时就要几秒的处理时间。

所以我一般是高于500次时就会分次执行，比一次性执行反而快很多。

PHP多次访问数据库，是否有优化方案

我只针对你这个做优化吧。。

第一个不要用select * 这样的sql语句，你需要什么字段就写哪些字段

都需要的话，你都写出来，select * 效率很低的。。

第二个如果说你的后台中对这些数据的变动不是很频繁

然后你可以将查询结果存入memcahe中

我写一段伪代码

$mem_key="all";

$res = $memcache-get($mem_key);

//如果没有存入memcache中

if (empty($res){

//sql语句可以用left jion on关联查询

$aaa="select b.字段1，b.字段2...from btb as b left jion tb as b.id=t.id";

$bb=$mysql-_query($aaa);

while(!!$_rows=$mysql-_fetch_array_list($bb)){

//do something

$res ....

}

//结果存入memecahed中

$memcache-set($mem_key,$res,0,超时时间);

}

$res就是你获取的结果。。

你这段代码基本可以这样。。

新闻名称：php抓取数据请求频繁 php抓取数据请求频繁的原因
文章网址：http://scyanting.com/article/dochcij.html