如何使用JAVA来写个爬虫
本篇文章为大家展示了如何使用JAVA来写个爬虫，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。
为丁青等地区用户提供了全套网页设计制作服务，及丁青网站建设行业解决方案。主营业务为成都做网站、成都网站设计、丁青网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！
这篇文章其实是我很早之前就写好了的，这次重新整理一下。Java写爬虫可能很多朋友没有去试过，可能是由于这方面的资料比较少，也可能是Python写爬虫过于的方便。
基本概念
jsoup is a Java library for working with real-world HTML. It provides a very convenient API for extracting and manipulating data, using the best of DOM, CSS, and jquery-like methods.
上面是官方给的jsoup官方解释，中文意思是 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
总的来说，就是可以帮我们解析HTML页面，并且可以抓取html里面的内容。
开始写代码
public static void main(String[] args) { try { //下面这行代码是连接我们的目标站点，并且get到他的静态HTML代码 Document document=Jsoup.connect("http://www.runoob.com/w3cnote").get(); //我们把获取到的document打印一下，看看里面到底是啥？ System.out.println(document); } catch (IOException e) { e.printStackTrace(); } }看我们代码运行后的结果：
你会发现我们通过这一句就获得了“菜鸟笔记”这个网站的HTML源码
我们来分析一下这串html源码
发现这两个正是我们所想要得到的数据，我们继续抓取
public static void main(String[] args) { try { Document document=Jsoup.connect("http://www.runoob.com/w3cnote").get(); //底下一行代码是我们进一步抓取到具体的HTML模块，div表示标签， //后面的post-intro表示的是div的class //由于div.post-intro这个标签有多个(每个标题有一个)，所以我们先获取到它的所有 Elements elements=document.select("div.post-intro"); //我们来遍历一下，因为div.post-intro有很多个 for(int i=0;i标签。后面的text()，就是获取中的内容 String title=elements.select("a").get(i).text(); //attr是获取里面的属性 String url=elements.select("a").get(i).attr("href"); //分别打印出来 System.out.println(title); System.out.println("http://www.runoob.com/"+url); } } catch (IOException e) { e.printStackTrace(); } }
上述内容就是如何使用JAVA来写个爬虫，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注创新互联行业资讯频道。
分享文章：如何使用JAVA来写个爬虫
网站路径：http://scyanting.com/article/gdopeo.html
