如何快速使用urllib爬取网页?

什么是urllib?

urllib库是Python内置的HTTP请求库,它可以看做是处理URL的组件集合。urllib库包含了四大模块,具体如下:

urllib.request:请求模块urllib.error:异常处理模块urllib.parse:URL解析模块urllib.robotparser:robots.txt解析模块快速使用urllib爬取网页

爬取网页,其实就是通过URL获取网页信息,这段网页信息的实质就是一段附加了JS和CSS的HTML代码。如果把网页比作是一个人,那么HTML就是它的骨架,JS是它的肌肉,CSS是它的衣服。由此看来,网页最重要的数据部分是存在于HTML中的。

urllib库的使用比较简单,接下来,我们使用urllib快速爬取一个网页,具体代码如下:

importurllib.request #调用urllib.request库的urlopen方法,并传入一个url response=urllib.request.urlopen(http://www.baidu.com) #使用read方法读取获取到的网页内容 html=response.read().decode(UTF-8) #打印网页内容 print(html)

上述代码就是一个简单的爬取网页案例,爬取的网页结果如图4-1所示。

如何快速使用urllib爬取网页?

获取的网页源码

实际上,如果我们在浏览器上打开百度首页,右键选择“查看源代码”,你会发现,跟我们刚才打印出来的是一模一样。也就是说,上述案例仅仅用了几行代码,就已经帮我们把百度首页的全部代码下载下来了。

多学一招:Python2使用的是urllib2库

Python2中使用的是urllib2库来下载网页,该库的用法如下所示:

importurllib2 response=urllib2.urlopen(http://www.baidu.com)

Python3出现后,之前Python2中的urllib2库被移到了urllib.request模块中,之前urllib2中很多函数的路径也发生了变化,希望大家在使用的时候多加注意。

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:如何快速使用urllib爬取网页? https://www.dachanpin.com/a/cyfx/10893.html

赞 (0)
MySQL常用图形化界面管理工具
上一篇 2023-05-12 02:29:50
Python中如何绘制单子图?
下一篇 2023-05-12 02:30:52

相关推荐

  • “三体”科学家走进现实 只为一个大梦想

    新华报业网 > 无锡 > 要闻 > 正文 “创业江苏890+”新闻行动|“三体”科学家走进现实 只为一个大梦想 2019/07/19 18:46  新华报业网  胡安静 王子杰     10年的时间能做什么?无锡市尚沃医疗…

    2023-05-13
  • 90后小伙养殖小龙虾实现“创业梦”

      记者 赵娜 通讯员 程双佳   养殖小龙虾需要有合适的气候条件和合适的水域,所以我国小龙虾的高产区域集中在浙江、江苏、湖北一带,对于北方来说,适合养殖小龙虾的地方太少了。然而,90后小伙申志亮和他的亲戚偏偏在我市养殖起了小龙虾,令不少人投去质疑的目光。通过一年的学习和试验养殖,他养殖的小龙虾因价格实惠、肉质鲜美,迅速在本地叫响,销售供不应求,这让申志亮更…

    2023-05-13
  • 小康短板如何补·就业创业

      卢克平代表(河南大学党委书记)   精准服务帮助大学生就业   政府工作报告提出,今年高校毕业生820多万人,再创历史新高,要促进多渠道就业,支持以创业带动就业。“大学生就业,关乎产业结构转型升级,关乎高等教育改革,关乎毕业生个人发展,也关系到千千万万家庭的福祉。”卢克平代表说。   他认为,破解大学生就业难,大学责无旁贷,必须提供“精准服务”,包括精准…

    创业分享 2023-05-17
  • 2018年下半年个人创业如何选择项目?云计算占据首位!

    目前,越来越多的企业都选择采用适当的云应用来提高其自身的工作效率,在日常工作中都扮演着重要的角色,同样云计算也成为了许多创业者选择的项目。 私有云最大的优点是数据的安全性,因为私有云一般构筑在防火墙之后,这也是任何企业都很看重的问题。可以将数据集中起来,实现网内资源共享和协同工作,减少了传统的资源交换,提高资源的利用率,同时降低成本。 2.私有云 企业使用云…

    创业分享 2023-05-13
  • “集群注册”助力创业创新

    url:,id:0 近日,荔城区正式实施“电子商务企业集群注册”新举措,实现电商企业办照“低门槛”,助推创业创新。这一举措给初创人员带来了实惠,值得推广。 近年来,互联网快速发展,许多年轻人纷纷选择自主创业。但往往因资金、人力不足、经验缺乏等,造成创业难。而电商集群注册无须租赁办公场所就能够申办营业执照,解除经营场地的限制和束缚,为网络经济发展注入了新的动力…

    创业分享 2023-05-30

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息