爬虫准备JDK 1.7Eclipse(或STS)httpclient 4.3以上版本jsoup(html解析器)Chrome(带有开发者工具的浏览器)请求分析对爬虫网站进行请求分析。主要获取请求头、cookie和请求对应的URL。对于无法直接获取请求URL的请求,比如通过form表单提交的请求,或者ajax请求,需要通过源码来查看提交的URL地址。对于POST请求中的请求参数,可以通过Fiddle

- 阅读全文 -