php爬取网页数据量大,php获取网页数据

php的curl怎么爬取网页内容

创建一个新cURL资源

创新互联建站主要从事做网站、成都做网站、网页设计、企业做网站、公司建网站等业务。立足成都服务美兰,十多年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:13518219792

设置URL和相应的选项

抓取URL并把它传递给浏览器

关闭cURL资源，并且释放系统资源

代码案例：

php查询计算时，数据太多，能不能停止2秒在往下走，

需要修改php.ini

max_execution_time = 30

另外这个程序……

$bm = mysql_num_rows(mysql_query("$sql"));

$ba = mysql_num_rows(mysql_query("$sqa"));//得到科目一的人数

$bb = mysql_num_rows(mysql_query("$sqb"));//得到科目二的人数

$bc = mysql_num_rows(mysql_query("$sqb"));//得到同时选择2科的人数

你select count(*) 会快几百倍！！！！！！

其实一个sql就可以解决全部问题……

估计你也没有建索引，没分数，就提示你“group by”。

php怎么抓取其它网站数据

可以用以下4个方法来抓取网站 的数据：

1. 用 file_get_contents 以 get 方式获取内容：

?

$url = '';

$html = file_get_contents($url);

echo $html;

2. 用fopen打开url，以get方式获取内容

?

$url = '';

$fp = fopen($url, 'r');

stream_get_meta_data($fp);

$result = '';

while(!feof($fp))

{

$result .= fgets($fp, 1024);

}

echo "url body: $result";

fclose($fp);

3. 用file_get_contents函数,以post方式获取url

?

$data = array(

'foo'='bar',

'baz'='boom',

'site'='',

'name'='nowa magic');

$data = http_build_query($data);

//$postdata = http_build_query($data);

$options = array(

'http' = array(

'method' = 'POST',

'header' = 'Content-type:application/x-www-form-urlencoded',

'content' = $data

//'timeout' = 60 * 60 // 超时时间（单位:s）

)

);

$url = "";

$context = stream_context_create($options);

$result = file_get_contents($url, false, $context);

echo $result;

4、使用curl库，使用curl库之前，可能需要查看一下php.ini是否已经打开了curl扩展

$url = '';

$ch = curl_init();

$timeout = 5;

curl_setopt ($ch, CURLOPT_URL, $url);

curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);

curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);

$file_contents = curl_exec($ch);

curl_close($ch);

echo $file_contents;