博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
【Python3~爬虫工具】使用requests库
阅读量:6281 次
发布时间:2019-06-22

本文共 1361 字,大约阅读时间需要 4 分钟。

urllib使用方式参考如下网址:

使用python爬虫其实就是方便,它会有各种工具类供你来使用,很方便。Java不可以吗?也可以,使用httpclient工具、还有一个大神写的webmagic框架,这些都可以实现爬虫,只不过python集成工具库,使用几行爬取,而Java需要写更多的行来实现,但目的都是一样。

下面介绍requests库简单使用:

#!/usr/local/env python#  coding:utf-8import requests#下面开始介绍requests的使用,环境语言是python3,使用下面的网址作为参考#http://www.sse.com.cn/market/bonddata/data/tb/request_param = {'jsonCallBack': 'jsonpCallback6588',            'isPagination': 'true',            'sqlId': 'COMMON_BOND_XXPL_ZQXX_L',            'BONDTYPE': '地×××府债券',            'pageHelp.pageSize': '25',            'pageHelp.pageNo': '2',            'pageHelp.beginPage': '2',            'pageHelp.cacheSize': '1',            'pageHelp.endPage': '21'}user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'referer = 'http://www.sse.com.cn/market/bonddata/data/ltb/'#设置headersheaders = {'User-Agent': user_agent, 'Referer': referer}#设置代理proxy = {    "http":"http://113.214.13.1:8000"}# 需要请求的URL地址request_url = 'http://query.sse.com.cn/commonQuery.do?'#设置请求地址response = requests.get(request_url, headers=headers, proxies=proxy, params=request_param);print(response.status_code)#文本响应内容print(response.text)#json格式响应内容print(response.json())#二进制响应内容print(response.content)#原始格式print(response.raw)

留下练习题:

1、使用cookie的方式来爬取对应的网站?

转载于:https://blog.51cto.com/shangdc/2090765

你可能感兴趣的文章
使用Gradle打RPM包
查看>>
“我意识到”的意义
查看>>
淘宝天猫上新辅助工具-新品填表
查看>>
再学 GDI+[43]: 文本输出 - 获取已安装的字体列表
查看>>
nginx反向代理
查看>>
操作系统真实的虚拟内存是什么样的(一)
查看>>
hadoop、hbase、zookeeper集群搭建
查看>>
python中一切皆对象------类的基础(五)
查看>>
modprobe
查看>>
android中用ExpandableListView实现三级扩展列表
查看>>
%Error opening tftp://255.255.255.255/cisconet.cfg
查看>>
java读取excel、txt 文件内容,传到、显示到另一个页面的文本框里面。
查看>>
《从零开始学Swift》学习笔记(Day 51)——扩展构造函数
查看>>
python多线程队列安全
查看>>
[汇编语言学习笔记][第四章第一个程序的编写]
查看>>
android 打开各种文件(setDataAndType)转:
查看>>
补交:最最原始的第一次作业(当时没有选上课,所以不知道)
查看>>
Vue实例初始化的选项配置对象详解
查看>>
PLM产品技术的发展趋势 来源:e-works 作者:清软英泰 党伟升 罗先海 耿坤瑛
查看>>
vue part3.3 小案例ajax (axios) 及页面异步显示
查看>>