网站首页 / 精品软件 / 正文
今天在写小米有品爬虫, 对某个商品进行抓包分析时发现post请求发送的不是form data, 而是 request payload, 所以请求页面时失败了
post请求中的form data
post请求中的request payload
错误的做法
错误的做法: 使用requests.post(url=url, data=data, headers=headers, verify=False)
发送post请求, 因为data是个字典, 而request payload接收json, 所以只需要将dict转换成json即可
正确的做法
正确的做法requests.post(url=url, data=json.dumps(data), headers=headers, verify=False)
form data和request payload的区别
-
如果请求的Content-Type设置为application/x-www-form-urlencoded,那么这个Post请求会被认为是Http Post表单请求,那么请求主体将以一个标准的键值对和&的querystring形式出现。这种方式是HTML表单的默认设置,所以在过去这种方式更加常见
-
其他形式的POST请求,是放到 Request payload 中(现在是为了方便阅读,使用了Json这样的数据格式),请求的Content-Type设置为application/json;charset=UTF-8或者不指定。
详情可参考python爬虫如何POST request payload形式的请求
Tags:
猜你喜欢
你 发表评论:
欢迎- 控制面板
- 搜索
- 文章归档
-
- 2020年7月 (1)
- 2019年12月 (2)
- 2019年11月 (2)
- 2019年10月 (3)
- 2019年9月 (17)
- 2019年8月 (14)
- 2019年7月 (45)
- 2019年6月 (153)
- 2019年5月 (3)
- 2019年4月 (6)
- 2019年3月 (3)
- 2019年2月 (2)
- 2019年1月 (5)
- 2018年12月 (40)
- 2018年11月 (57)
- 2018年10月 (29)
- 2018年9月 (41)
- 2018年8月 (9)
- 2018年7月 (4)
- 2018年6月 (5)
- 2018年5月 (1)
- 2018年4月 (19)
- 2018年3月 (11)
- 2018年2月 (11)
- 2018年1月 (2)
- 2017年12月 (1)
- 2017年9月 (4)
- 2017年7月 (1)
- 2017年1月 (1)
- 2016年7月 (1)
- 2014年10月 (1)
- 2014年8月 (1)
- 2013年8月 (1)
- 2013年5月 (1)
- 2013年4月 (1)
- 2013年1月 (2)
- 2012年12月 (4)
- 2012年11月 (1)
- 2012年10月 (1)
- 2012年8月 (3)
- 2012年6月 (5)
- 2012年5月 (2)
- 2012年3月 (1)
- 2012年1月 (2)
- 2011年10月 (15)
- 2011年9月 (4)
- 2010年5月 (1)
- 2009年12月 (1)
- 2009年8月 (1)
- 2008年10月 (1)
本文暂时没有评论,来添加一个吧(●'◡'●)