帝国cms采集列表页提示【请确认采集页面存在，系统无法取得信息】内容页【采集页面打不开】

用帝国cms后台自带采集时，采集规则都写好了，列表页链接提示：请确认采集页面存在，系统无法取得信息，在预览内容是提示【采集页面打不开】，检查了一下规则，并没有问题。

经过调试之后发现 请求对方的网站返回的是false。

问题定位在了 /e/class/cjfun.php中ViewGetNewsInfo函数中，$info=ReadFiletext($newspage);这个地方。猜想是对方的网站做了防采集设置。

解决方法

1.我们自定义一个请求方法，伪装ip，浏览器去访问，将函数放到/e/class/connect.php 中代码如下：

1. functionpretendIpData($url){
2. //给与IP段
3. $data=array(
4. 119.120.'.'.rand(1,255).'.'.rand(1,255),
5. 124.174.'.'.rand(1,255).'.'.rand(1,255),
6. 116.249.'.'.rand(1,255).'.'.rand(1,255),
7. 118.125.'.'.rand(1,255).'.'.rand(1,255),
8. 42.175.'.'.rand(1,255).'.'.rand(1,255),
9. 124.162.'.'.rand(1,255).'.'.rand(1,255),
10. 211.167.'.'.rand(1,255).'.'.rand(1,255),
11. 58.206.'.'.rand(1,255).'.'.rand(1,255),
12. 117.24.'.'.rand(1,255).'.'.rand(1,255),
13. 203.93.'.'.rand(1,255).'.'.rand(1,255),
14. );
15. //随机获取一个IP地址
16. $ip=$data[array_rand($data)];
17. //模拟来源网址
18. $referUrl="http://www.baidu.com";
19. $agentArray=[
20. //PC端的UserAgent
21. "safari5.1–MAC"=>"Mozilla/5.0(WindowsNT6.1)AppleWebKit/536.11(KHTML,likeGecko)Chrome/20.0.1132.57Safari/536.11",
22. "safari5.1–Windows"=>"Mozilla/5.0(Windows;U;WindowsNT6.1;en-us)AppleWebKit/534.50(KHTML,likeGecko)Version/5.1Safari/534.50",
23. "Firefox38esr"=>"Mozilla/5.0(WindowsNT10.0;WOW64;rv:38.0)Gecko/20100101Firefox/38.0",
24. "IE11"=>"Mozilla/5.0(WindowsNT10.0;WOW64;Trident/7.0;.NET4.0C;.NET4.0E;.NETCLR2.0.50727;.NETCLR3.0.30729;.NETCLR3.5.30729;InfoPath.3;rv:11.0)likeGecko",
25. "IE9.0"=>"Mozilla/5.0(compatible;MSIE9.0;WindowsNT6.1;Trident/5.0",
26. "IE8.0"=>"Mozilla/4.0(compatible;MSIE8.0;WindowsNT6.0;Trident/4.0)",
27. "IE7.0"=>"Mozilla/4.0(compatible;MSIE7.0;WindowsNT6.0)",
28. "IE6.0"=>"Mozilla/4.0(compatible;MSIE6.0;WindowsNT5.1)",
29. "Firefox4.0.1–MAC"=>"Mozilla/5.0(Macintosh;IntelMacOSX10.6;rv:2.0.1)Gecko/20100101Firefox/4.0.1",
30. "Firefox4.0.1–Windows"=>"Mozilla/5.0(WindowsNT6.1;rv:2.0.1)Gecko/20100101Firefox/4.0.1",
31. "Opera11.11–MAC"=>"Opera/9.80(Macintosh;IntelMacOSX10.6.8;U;en)Presto/2.8.131Version/11.11",
32. "Opera11.11–Windows"=>"Opera/9.80(WindowsNT6.1;U;en)Presto/2.8.131Version/11.11",
33. "Chrome17.0–MAC"=>"Mozilla/5.0(Macintosh;IntelMacOSX10_7_0)AppleWebKit/535.11(KHTML,likeGecko)Chrome/17.0.963.56Safari/535.11",
34. "傲游（Maxthon）"=>"Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;Maxthon2.0)",
35. "腾讯TT"=>"Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;TencentTraveler4.0)",
36. "世界之窗（TheWorld）2.x"=>"Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1)",
37. "世界之窗（TheWorld）3.x"=>"Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;TheWorld)",
38. "360浏览器"=>"Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;360SE)",
39. "搜狗浏览器1.x"=>"Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;Trident/4.0;SE2.XMetaSr1.0;SE2.XMetaSr1.0;.NETCLR2.0.50727;SE2.XMetaSr1.0)",
40. "Avant"=>"Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;AvantBrowser)",
41. "GreenBrowser"=>"Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1)",
42. ];
43. $userAgent=$agentArray[array_rand($agentArray,1)];//随机浏览器userAgent
44. $header=array(
45. 'CLIENT-IP:'.$ip,
46. 'X-FORWARDED-FOR:'.$ip,
47. );//构造ip
48. $curl=curl_init();
49. curl_setopt($curl,CURLOPT_URL,$url);//要抓取的网址
50. curl_setopt($curl,CURLOPT_HTTPHEADER,$header);
51. curl_setopt($curl,CURLOPT_RETURNTRANSFER,true);
52. curl_setopt($curl,CURLOPT_REFERER,$referUrl);//模拟来源网址
53. curl_setopt($curl,CURLOPT_USERAGENT,$userAgent);//模拟常用浏览器的userAgent
54. curl_setopt($curl,CURLOPT_SSL_VERIFYPEER,false);//跳过证书检查
55. $info=curl_exec($curl);
56. return$info;
57. }

2.把/e/class/cjfun.php 中的ReadFiletext函数 替换成pretendIpData （查找一下，一共有三处地方），代码如下：

1. //$text1=ReadFiletext($dourl);
2. $text1=pretendIpData($dourl);