最近工作需要抓取很多广告推广数据，渠道多账户多，统计比较费劲，就写个爬虫挨着采集入库方便统计。
1、RedirectException: Maximum redirects (50) exceeded
这个问题说个类：
核心代码这个大家一看就懂了，response返回302重定向，结果形成死循环，超过重定向的上限抛异常。
这个可以通过设置是否允许重定向：
RequestConfig config = RequestConfig.custom().setProxy(crawlerModel.getProxy()).setCircularRedirectsAllowed(true).build();
或者显示重定向次数：
page.getParams().setParameter("http.protocol.max-redirects", "110");
总之这其实不是结果问题的根本。HttpClient自动处理重定向其实给了很多方便。
我的问题是怎么解决的呢？
其实 我也不知道，总是就那么改着改着就报错变成404了。第二个问题
2、404
httpclient发出请求后，返回html显示404找不到网页，各种检查url没有问题，没办法就有fiddler抓抓包看看。
idea跟fiddler配置简单说下，下面是网上查到的代码
System.setProperty("http.proxyHost", "127.0.0.1");
System.setProperty("https.proxyHost", "127.0.0.1");
System.setProperty("http.proxyPort", "8888");
System.setProperty("https.proxyPort", "8888");
try {
URL u = new URL(encodeUrl(strUrl));
try {
try (InputStream in = new BufferedInputStream(u.openStream())) {
InputStreamReader theHTML = new InputStreamReader(in);
int c;
while ((c = theHTML.read()) != -1) {
System.out.print((char) c);
}
}
} catch (MalformedURLException ex) {
System.err.println(ex);
} catch (IOException ex) {
System.err.println(ex);
}
} catch (MalformedURLException e) {
e.printStackTrace();
}
然后我就加上了，结果看不到，又各种抓狂。其实把fiddler作为代理来抓包，httpclient设置代理的方式不是这么干的，来个正确的打开方式：
HttpHost proxy = new HttpHost("127.0.0.1",8888); RedirectStrategy redirectStrategy = new SeimiRedirectStrategy(); RequestConfig requestConfig = RequestConfig.custom().setProxy(proxy).setConnectTimeout(timeout).setSocketTimeout(timeout).build();
然后抓取数据就很稳定的入库了。但是这不是我想要的结果啊，原因还没找到呢，不能用个代理就能出数据啊。总不能还要配置个代理吧。
这个不行就用个更底层的抓包看看wireshark。这个就厉害了！！！
对比下居然是request中设置的headers中Host设置的问题，正确是的三级域名，我设置的是一个二级的域名，然后就404了。
Host头域
Host头域指定请求资源的Intenet主机和端口号，必须表示请求url的原始服务器或网关的位置。HTTP/1.1请求必须包含主机头域，否则系统会以400状态码返回。
一个IP地址可以对应多个域名: 一台虚拟主机(服务器)只有一个ip，上面可以放成千上万个网站。当对这些网站的请求到来时，服务器根据Host这一行中的值来确定本次请求的是哪个具体的网站
这个之前是真没觉的会影响寻址，费这么大劲，得到这么一个小原因。
3、返回的结果跟预期不一样
这个其实比较简单了，现在网站都有反爬策略的，如果你模拟的http请求过于简单，会识别问爬虫，返回意料外的结果也不足为奇。
解决办法就是把头信息设置的全面些。
总结：所有问题其实都是模拟的http请求跟爬取网站的真是http请求不一致造成了，细心点总没有坏处
