怎样使用requests模块抓取网页?

爬取网页其实就是通过URL获取网页信息,网页信息的实质是一段添加了JavaScript和CSS的HTML代码。Python提供了一个抓取网页信息的第三方模块requests,requests模块自称“HTTP for Humans”,直译过来的意思是专门为人类而设计的HTTP模块,该模块支持发送请求,也支持获取响应。

1.发送请求

requests模块提供了很多发送HTTP请求的函数,常用的请求函数具体如表10-1所示。

表10-1 requests模块的请求函数

怎样使用requests模块抓取网页?

2.获取响应

requests模块提供的Response 类对象用于动态地响应客户端的请求,控制发送给用户的信息,并且将动态地生成响应,包括状态码、网页的内容等。接下来通过一张表来列举Response类可以获取到的信息,如表10-2所示。

表10-2 Response 类的常用属性

怎样使用requests模块抓取网页?

接下来通过一个案例来演示如何使用requests模块抓取百度网页,具体代码如下:

# 01 requests baidu import requests base_url = http://www.baidu.com #发送GET请求 res = requests.get (base_url) print(“响应状态码:{}”.format(res.status_code)) #获取响应状态码 print(“编码方式:{}”.format(res.encoding)) #获取响应内容的编码方式 res.encoding = utf-8 #更新响应内容的编码方式为UIE-8 print(“网页源代码:n{}”.format(res.text)) #获取响应内容

以上代码中,第2行使用import导入了requests模块;第3~4行代码根据URL向服务器发送了一个GET请求,并使用变量res接收服务器返回的响应内容;第5~6行代码打印了响应内容的状态码和编码方式;第7行将响应内容的编码方式更改为“utf-8”;第8行代码打印了响应内容。运行程序,程序的输出结果如下:

响应状态码:200 编码方式:ISO-8859-1 网页源代码: <!DOCTYPE html> <!–-STATUS OK–><html> <head><meta http-equiv=content-type content=text/html; charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content= always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic. com/r/www/cache/bdorz/baidu.min.css><title>百度一下,你就知道</title></head> <body link=#0000cc>…省略N行…</body></html>

值得一提的是,使用requests模块爬取网页时,可能会因为没有连接网络、服务器连接失败等原因导致产生各种异常,最常见的两个异常是URLError和HTTPError,这些网络异常可以使用 try…except 语句捕获与处理。

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:怎样使用requests模块抓取网页? https://www.dachanpin.com/a/cyfx/10871.html

赞 (0)
如果leader崩溃,Kafka怎样重新选举?
上一篇 2023-05-12 02:26:42
ClouderaManager指的是什么?有哪些功能?
下一篇 2023-05-12 02:27:46

相关推荐

  • 创业者激辩社区团购模式与痛点:规模扩张易,精细化管理难

    每经记者 李卓    实习记者 陈克远    实习编辑 王丽娜     在电商领域,很少能有同行企业坐在一起谈论各自运营经验的情况,毕竟当互联网打破了时间、地域的区隔,彼此之间少不了竞争。但要线上线下双线运作的社区团购,却是一个例外。 社区…

    创业分享 2023-05-14
  • 毕业季上演“抢人战” 二线城市成为大学生就业创业新选择

    毕业季上演“抢人战” 二线城市成为大学生就业创业新选择 2017-11-03 16:42 来源:经济日报 创客 原标题:毕业季上演“抢人战” 二线城市成为大学生就业创业新选择 步入11月,高校毕业生迎来求职活动的关键期。《经济日报》记者注意到,近期,包括武汉、南京、成都、长沙、西安等多个城市相继出台针对应届大学毕业生就业创业优惠政策,着力点也放在了毕业生最为…

    创业分享 2023-05-21
  • 丝琪兰多品牌化妆品超市 点亮你的创业之灯

      人人都想具有拔尖五官,可是不是人人都能有所得;人人都想具有功利,可是许多人都是可望不可及。在你创业碰壁的时分,在你心灰意懒的时分,你是否还记得那一颗创业初心呢?成功不只需求实力,相同也需求机会,而今日小编就要给大家推荐一个创业好项目——丝琪兰美妆超市。   或许也有许多人知道这个创业项目,应为如今这个项目也是众多出资项目中非常火爆的一个。那么为什么小编会…

    创业分享 2023-05-12
  • “成都造”订单机器人全球创新创业大赛中国站夺冠

      全球创新创业大赛中国站现场   作为2018全国双创周成都主会场地方特色活动,全球创新创业大赛GET IN THE RING中国站日前在郫都区菁蓉镇举行。“成都造”逍逍智能订单机器人夺得比赛冠军,将获得参加GET IN THE RING2019年全球总决赛的资格,有机会面对国际投资机构,从而得到百万美元的投资。   据主办方介绍,全球创新创业大赛GET …

    2023-05-15
  • 创业公司如何实现薪酬透明,请听硅谷老将深度剖析

    创业公司如何实现薪酬透明,请听硅谷老将深度剖析 2018-11-01 08:00 来源:猎云网 开发 /公司 /技术 在本文中,Blount谈到了初创公司需要思考的棘手问题,解决这些问题便可以将薪酬透明度提升到合适的水平。她不仅给出了提高薪酬透明度的充分理由,还简要介绍了不同层次的透明度,分享了一些创始人可以用来避免矛盾的策略。 现在,很多初创公司创始人都在…

    2023-05-14

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息