如何利用Java爬取网站数据?

1.Jsoup介绍

  - 官网文档:https://jsoup.org

  - Jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。

  2. Jsoup快速入门

  - 获取网页标题

  String url = “https://search.jd.com/Search?keyword=手机&wq=手机&page=1”;   Document document = Jsoup.connect(url).get();   String title = document.select(“title”).text();   System.out.println(title);   “`

  - 运行效果:手机 – 商品搜索 – 京东

  3. 网站数据分析

  3.1 分析网站的访问地址

  - 以京东商城为例,商品分页列表的url地址,需要带如下几个参数,因此,在发送http请求时,需要携带正确的参数。

  - URL:

https://search.jd.com/Search?keyword=手机&wq=手机&page=1

  3.2 分析网站的页面结构

  - 通过浏览器的开发者工具,可以分析出页面中我们需要的html结构。

<img src=“assets/image-20220717171103097.png” alt=“image-20220717171103097” style=“zoom:67%;” />

– 可以看出,我们需要的商品数据,封装在一个id=J_goodsList的div标签中,我们可以方便的通过DOM解析出这块数据。

  4. 实战实现过程

  - 获取第1页的商品基本数据

public static void main(String[] args) throws Exception { //第1页地址 String url = “https://search.jd.com/Search?keyword=手机&wq=手机&page=1”; //发送http请求 Document document = Jsoup.connect(url).get(); //在id=J_goodsList的div下,获取所有带有data-sku属性的li标签 Elements lis = document.select(“div[id=J_goodsList] li[data-sku]”); lis.forEach( li -> { //获取商品sku String sku = li.attr(“data-sku”); //获取商品name String name = li.select(“div[class=p-name p-name-type-2] a em”).text(); //获取商品图片地址 String img = li.select(“div[class=p-img] a img[data-lazy-img]”).attr(“data-lazy-img”); System.out.println(String.format(“%s, %s, %s”, sku, name, img)); } ); }

  - 效果预览

如何利用Java爬取网站数据?

  - 改造为分页获取

public static void main(String[] args) throws Exception { //第N页地址 String url = “https://search.jd.com/Search?keyword=手机&wq=手机&page=” + i; //发送http请求 Document document = Jsoup.connect(url).get(); //在id=J_goodsList的div下,获取所有带有data-sku属性的li标签 Elements lis = document.select(“div[id=J_goodsList] li[data-sku]”); lis.forEach( li -> { //获取商品sku String sku = li.attr(“data-sku”); //获取商品name String name = li.select(“div[class=p-name p-name-type-2] a em”).text(); //获取商品图片地址 String img = li.select(“div[class=p-img] a img[data-lazy-img]”).attr(“data-lazy-img”); System.out.println(String.format(“%s, %s, %s”, sku, name, img)); } ); }

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:如何利用Java爬取网站数据? https://www.dachanpin.com/a/cyfx/11333.html

赞 (0)
程序员发帖:从面试到谈薪只用了3天,这种公司能去吗?
上一篇 2023-05-12 03:10:33
程序员35岁就会失业?这是我听过最好的答案
下一篇 2023-05-12 03:11:39

相关推荐

  • 返乡创业渐成为潮流 政策应该怎样有效帮扶?

    ——全国返乡入乡创业创新人员已达850万人,在乡创业创新人员达3100万人 近日,国家发改委等19部门联合印发《关于推动返乡入乡创业高质量发展的意见》,明确提出到2025年,打造一批具有较强影响力、一二三产业融合发展的返乡入乡创业产业园、示范区(县),全国各类返乡入乡创业人员达到1500万人以上,带动就业人数达到6000万人左右。 而“城归”创业的兴起,客观…

    创业分享 2023-05-11
  • 深交所:借鉴科创板成功经验,推动制定在创业板试点注册制总体方案

    新证券法自今日起施行,深交所将充分借鉴科创板成功经验,推动制定在创业板试点股票公开发行注册制总体方案,研究完善发行上市、信息披露等制度,扩大板块包容性和覆盖面。将在证监会统一领导下,继续学习贯彻落实新证券法,加快起草修订完善配套业务规则制度,持续优化完善证券市场基础制度,严格执行新证券法的各项规定。 (责任编辑:admin) 2026年香港公司注册办理公司-…

    创业分享 2023-05-11
  • 好消息!我市创业担保贷款额度提标!

    我市创业担保贷款额度提标啦!即日起,对于符合创业担保贷款申请条件的人员自主创业的,创业担保贷款由原来的最高不超10万元,提高至最高不超15万元,而对于符合申请条件的小微企业,创业担保贷款由原来的最高不超200万元,提高至最高不超300万元。 据介绍,此次提标的创业担保贷款对象包括个人创业者、合伙创业和组织创业、小微企业三类。其中,小微企业当年新招用符合创业担…

    创业分享 2023-05-13
  • 【创业路上】小伙放弃兽医工作回村放羊

    2017年6月,加依达尔花8000多元从工作过的昌吉羊厂买了两只3个月大的长耳新羊回家,将它们单独喂养。两个月后小羊长大,他试着放养几天之后,便和群羊一起放。“长耳新羊很快就适应了,羊群里也没‘欺负’它们的情况。”加依达尔说。 “人的潜力是无限的,必须挖掘自我,才知道自己能做成什么。”加依达尔说,他想到自己曾在昌吉熟练养殖长耳新羊,且销售情况也很好,就决定在…

    2023-05-17
  • 俞永福再出发:做创业者背后的创业者

      刘佳   “过去几年属于自我沉淀的周期,今天算是我再次远洋的起点。”5月23日,出任eWTP(电子世界贸易平台)投资工作小组组长的俞永福,第一次对外公布了自己的工作进展。   他发布了一只由阿里巴巴集团和蚂蚁金服集团作为基石投资的eWTP生态基金,以及旗下第一只基金——“eWTP科技创新基金”,并担任eWTP生态基金创始合伙人及董事长。eWTP生态基金重…

    创业分享 2023-05-17

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息