如何使用JAVA爬取网站数据?

1. Jsoup介绍官网文档:https://jsoup.orgJsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。2. Jsoup快速入门获取网页标题String url = “https://search.jd.com/Search?keyword=手机&wq=手机&page=1”; Document document = Jsoup.connect(url).get(); String title = document.select(“title”).text(); System.out.println(title);运行效果:手机 – 商品搜索 – 京东3. 网站数据分析3.1 分析网站的访问地址以京东商城为例,商品分页列表的url地址,需要带如下几个参数,因此,在发送http请求时,需要携带正确的参数。URL:https://search.jd.com/Search?keyword=手机&wq=手机&page=13.2 分析网站的页面结构通过浏览器的开发者工具,可以分析出页面中我们需要的html结构。
如何使用JAVA爬取网站数据?
可以看出,我们需要的商品数据,封装在一个id=J_goodsList的div标签中,我们可以方便的通过DOM解析出这块数据。4. 实战实现过程获取第1页的商品基本数据public static void main(String[] args) throws Exception { //第1页地址 String url = “https://search.jd.com/Search?keyword=手机&wq=手机&page=1”; //发送http请求 Document document = Jsoup.connect(url).get(); //在id=J_goodsList的div下,获取所有带有data-sku属性的li标签 Elements lis = document.select(“div[id=J_goodsList] li[data-sku]”); lis.forEach( li -> { //获取商品sku String sku = li.attr(“data-sku”); //获取商品name String name = li.select(“div[class=p-name p-name-type-2] a em”).text(); //获取商品图片地址 String img = li.select(“div[class=p-img] a img[data-lazy-img]”).attr(“data-lazy-img”); System.out.println(String.format(“%s, %s, %s”, sku, name, img)); } ); }效果预览
如何使用JAVA爬取网站数据?
改造为分页获取public static void main(String[] args) throws Exception { //第N页地址 String url = “https://search.jd.com/Search?keyword=手机&wq=手机&page=” + i; //发送http请求 Document document = Jsoup.connect(url).get(); //在id=J_goodsList的div下,获取所有带有data-sku属性的li标签 Elements lis = document.select(“div[id=J_goodsList] li[data-sku]”); lis.forEach( li -> { //获取商品sku String sku = li.attr(“data-sku”); //获取商品name String name = li.select(“div[class=p-name p-name-type-2] a em”).text(); //获取商品图片地址 String img = li.select(“div[class=p-img] a img[data-lazy-img]”).attr(“data-lazy-img”); System.out.println(String.format(“%s, %s, %s”, sku, name, img)); } ); }

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:如何使用JAVA爬取网站数据? https://www.dachanpin.com/a/cyfx/11691.html

赞 (0)
Java教程:NIO的基本用法
上一篇 2023-05-12 03:35:20
Java接口幂等性设计场景解决方案v1.0
下一篇 2023-05-12 03:36:26

相关推荐

  • 微信大咖教你如何玩转运营,疯狂吸粉!

      试问传统行业里面,有谁有这样一个能力?电视媒体都已经衰落,广告公司已经失去活力。而我的公众号拥有如此号召力和执行力的时候,什么不能玩?美食节?车房展?还是地区特产推广?选美?   可能大部分人都不知道,城市有个统计局,有钱有礼物。经常会做一些调查啊什么的。不过,你不知道也正常。因为你肯定知道这些机构办事的风格——随便弄完就好。所以,很多人都不知道统计局进…

    创业分享 2023-05-29
  • 疫情在家里如何养生,增强免疫力还能创业

    我是春节那几天辞职的,刚开始挺裸辞真开心,炒了老板鱿鱼,觉得一下自由了,想着年后找份自己喜欢的工作又可以新的开始了。 人生就像小马过河,唯有走过了,才能知道河深浅,你问牛,牛说很容易,你问松鼠,松鼠说被淹死了,现在才发现,生活中的小马太多了,旁人的建议总是只能参考,而已。 结果2020年的春节太特殊,刚好赶上新冠疫情窝在家,每天在家无聊难受死了也闲不住,而且…

    2023-05-11
  • 专访卡比布中国区代理雨妈的创业故事

    (卡比布纸尿裤)   朋友的一番话可谓是“一语惊醒梦中人”,行动派的雨妈立即申请了淘宝店铺,并着手准备卡比布的代理事宜。“还记得那几年正值电子商务蓬勃发展时期,众多企业开始涌入线上销售,其中网店就是较为热门的渠道”,雨妈说:“我们就是运气好,赶上了第一波红利”。   因为宝宝与卡比布结下不解之缘 (卡比布纸尿裤)   雨妈是贵州婴乐树电子商务有限公司的负责人…

    创业分享 2023-06-05
  • 长沙新东方:厨师创业 选择了好项目就等于成功了一半

    厨师创业,选择了好项目就等于成功了一半。在选定自己想要创业的领域之前,一定要先想想自己适合做什么?餐饮创业的项目有那么多?到底哪个更适合自己?长沙新东方烹饪学院一站式小型餐饮创业班推出的传统早点系列、粉面系列、煲仔饭创业班、盖码小炒系列、特色小吃系列、夜宵系列、烧烤创业班等项目将根据每个人量身定制,根据你的兴趣、专长、倾向、过去相关的工作资历、行业竞争性等因…

    创业分享 2023-05-25
  • Java基础:什么是Workflow?它具体有什么作用?

    1.工作流概念 工作流(Workflow),就是通过计算机对业务流程自动化执行管理。它主要解决的是“使在多个参与者之间按照某种预定义的规则自动进行传递文档、信息或任务的过程,从而实现某个预期的业务目标,或者促使此目标的实现”。 2.工作流系统 一个软件系统中具有工作流的功能,我们把它称为工作流系统,一个系统中工作流的功能是什么?就是对系统的业务流程进行自动化…

    创业分享 2023-05-12

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息