博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
HttpClient request payload post请求
阅读量:6263 次
发布时间:2019-06-22

本文共 857 字,大约阅读时间需要 2 分钟。

RequestEntity entity = new StringRequestEntity(str, "text/html", "utf-8");		post.setRequestEntity(entity);

  

最近在做一些爬虫相关的工作,遇到了一个网站,在使用谷歌开发者工具监控的时候,发现他的请求是这样的

我们都知道传统的post请求,所提交的是form data 格式的,key-value键值对的形式提交。这个在爬虫post请求中非常常见。

第一次遇到了这种形式提交的,后面去找了很多方法,发现在百度搜的答案都用不了,后面FQ去了stackoverflow,这边贴上地址

http://stackoverflow.com/questions/22671897/httpclient-httppost-and-payload

所给的答案我也用不了。

于是去认真研究了一下,发现他所提交的post流,不是传统的key-value模型的数据,而是post一段json文字

仔细查看了HttpClient的一些相关的API后,找到了答案

这边贴上我的小Demo,Demo是用来抓取某个城市的公积金数据的,这边隐藏去账号密码

 

 

RequestEntity entity = new StringRequestEntity(str, "text/html", "utf-8");		post.setRequestEntity(entity);

  

import org.apache.commons.httpclient.HttpClient;import org.apache.commons.httpclient.methods.PostMethod;import org.apache.commons.httpclient.methods.RequestEntity;import org.apache.commons.httpclient.methods.StringRequestEntity;

  

你可能感兴趣的文章
通用性好的win2003序列号: (推荐先用这个里面的)
查看>>
Chromium Embedded Framework中文文档 (升级到最新的Chrome)
查看>>
WPF Command CanExecute 的执行逻辑
查看>>
更为快捷的Excel操作方式 快捷键 Alt使用技巧动画图解
查看>>
程序员们最易犯的10种错误
查看>>
面试必考题!你知道CSS实现水平垂直居中的第10种方式吗?
查看>>
超多惊喜!苹果 iPhone8 最新渲染图曝光
查看>>
你想要不想要?OPPO R11将搭配前后2000万像素镜头!
查看>>
Payara基金会发布全面支持MicroProfile 2.0的5.183版
查看>>
360金融宣布采用新会计准则 2018年前三季度净利11亿
查看>>
非洲小哥见到马云 竟然提了这样的要求?
查看>>
收购大战:高通承诺将年收入增长率提至8%
查看>>
宁夏:科技创新激活高质量发展动能
查看>>
毕马威:中国消费未现降级 进一步增长潜力巨大
查看>>
四川眉山:苏东坡诞辰982周年非遗传承人展技艺
查看>>
新式茶饮市场扩张 网红奶茶店如何解决排队难题?
查看>>
兰州百万现金表彰星级的哥的姐 弘扬敬业奉献美德
查看>>
Python比总统更受关注:关于Python的五个事实
查看>>
第二代NumPy?阿里开源超大规模矩阵计算框架Mars
查看>>
几小时的事儿,苹果刚发布iOS 11.2.1又被阿里安全工程师完美越狱
查看>>