别人家的程序员是如何使用 Java 进行 Web 抓取的？

news/2024/7/19 10:09:07 标签: java, 爬虫, python

Web抓取非常有用，它可以收集信息供多种用途使用，如数据分析、统计、提供第三方信息，还可以给深神经网络和深度学习提供数据。

Web抓取是什么？

有一种非常广泛的误解，人们似乎把Web抓取和Web爬虫当成了同一种东西。所以我们先明确这一点。

两者有个非常显著的区别：

Web爬虫，指搜索或“爬”网页以获得任意信息的过程。通常是搜索引擎如Google、Yahoo或Bing的功能，以便给我们显示搜索结果。

Web抓取，指从特定的网站上利用特别定制的自动化软件手机信息的过程。
创一个小群，供大家学习交流聊天
如果有对学JAVA方面有什么疑惑问题的，或者有什么想说的想聊的大家可以一起交流学习一起进步呀。
也希望大家对学JAVA能够持之以恒
JAVA爱好群，
如果你想要学好JAVA最好加入一个组织，这样大家学习的话就比较方便，还能够共同交流和分享资料，给你推荐一个学习的组织：快乐学习JAVA组织 可以点击组织二字，可以直达

注意！

尽管Web抓取本身是从网站获取信息的合法方式，但如果使用不当，可能会变成非法。

有几种情况需要特别注意：

Web抓取可以被认为是拒绝服务攻击：发送太多请求来获取数据会给服务器带来太多压力，从而限制了正常用户访问网站的能力。

无视版权法和服务条款：因为许多人、许多组织和公司都开发Web抓取软件来收集信息，给许多网站如Amazon、eBay、LinkedIn、Instagram、Facebook等带来了不小的麻烦。因此，绝大多数网站都禁止使用抓取软件获取他们的数据，你必须获得书面许可才能收集数据。

Web抓取可被恶意使用：抓取软件的行为很像机器人，一些框架甚至提供能够自动填写并提交表单的工具。因此可以被用作自动垃圾发送工具，甚至能攻击网站。这也是CAPTCHA存在的原因之一。

如果你想开发一个强大的抓取软件，请务必考虑以上几点，遵守法律和法规。

Web抓取框架

就像许多现代科技一样，从网站提取信息这一功能也有多个框架可以选择。最流行的有JSoup、HTMLUnit和Selenium WebDriver。我们这篇文章讨论JSoup。

JSoup

JSoup是个开源项目，提供强大的数据提取API。可以用它来解析给定URL、文件或字符串中的HTML。它还能操纵HTML元素和属性。

使用JSoup解析字符串

解析字符串是JSoup的最简单的使用方式。

public class JSoupExample {

public static void main(String[] args) {

    String html = "<html><head><title>Website title</title></head><body><p>Sample paragraph number 1 </p><p>Sample paragraph number 2</p></body></html>";



    Document doc = Jsoup.parse(html);

    System.out.println(doc.title());

    Elements paragraphs = doc.getElementsByTag("p");

    for (Element paragraph : paragraphs) {

        System.out.println(paragraph.text());

    }

}

这段代码非常直观。调用parse()方法可以解析输入的HTML，将其变成Document对象。调用该对象的方法就能操纵并提取数据。

在上面的例子中，我们首先输出页面的标题。然后，我们获取所有带有标签“p”的元素。然后我们依次输出每个段落的文本。

运行这段代码，我们可以得到以下输出：

Website title

Sample paragraph number 1

Sample paragraph number 2
使用JSoup解析URL

解析URL的方法跟解析字符串有点不一样，但基本原理是相同的：

public class JSoupExample {

public static void main(String[] args) throws IOException {

    Document doc = Jsoup.connect("https://www.wikipedia.org").get();

    Elements titles = doc.getElementsByClass("other-project");

        for (Element title : titles) {

            System.out.println(title.text());

    }

}

}
要从URL抓取数据，需要调用connect()方法，提供URL作为参数。然后使用get()从连接中获取HTML。这个例子的输出为：

Commons Freely usable photos & more

Wikivoyage Free travel guide

Wiktionary Free dictionary

Wikibooks Free textbooks

Wikinews Free news source

Wikidata Free knowledge base

Wikiversity Free course materials

Wikiquote Free quote compendium

MediaWiki Free & open wiki application

Wikisource Free library

Wikispecies Free species directory

Meta-Wiki Community coordination & documentation
可以看到，这个程序抓取了所有class为other-project的元素。

这种方法是最常用的，因此我们看一些通过URL进行抓取的其他例子。

抓取指定URL的所有链接

public void allLinksInUrl() throws IOException {

    Document doc = Jsoup.connect("https://www.wikipedia.org").get();

    Elements links = doc.select("a[href]");

    for (Element link : links) {

        System.out.println("\nlink : " + link.attr("href"));

        System.out.println("text : " + link.text());

    }

}

运行结果是一个很长的列表：

Link : //en.wikipedia.org/

Text : English 5 678 000+ articles

Link : //ja.wikipedia.org/

Text : 日本語 1 112 000+ 記事

Link : //es.wikipedia.org/

Text : Español 1 430 000+ artículos

Link : //de.wikipedia.org/

Text : Deutsch 2 197 000+ Artikel

Link : //ru.wikipedia.org/

Text : Русский 1 482 000+ статей

Link : //it.wikipedia.org/

Text : Italiano 1 447 000+ voci

Link : //fr.wikipedia.org/

Text : Français 2 000 000+ articles

Link : //zh.wikipedia.org/

Text : 中文 1 013 000+ 條目

<!--A bunch of other languages -->

Text : Wiktionary Free dictionary

Link : //www.wikibooks.org/

Text : Wikibooks Free textbooks

Link : //www.wikinews.org/

Text : Wikinews Free news source

Link : //www.wikidata.org/

Text : Wikidata Free knowledge base

Link : //www.wikiversity.org/

Text : Wikiversity Free course materials

Link : //www.wikiquote.org/

Text : Wikiquote Free quote compendium

Link : //www.mediawiki.org/

Text : MediaWiki Free & open wiki application

Link : //www.wikisource.org/

Text : Wikisource Free library

Link : //species.wikimedia.org/

Text : Wikispecies Free species directory

Link : //meta.wikimedia.org/

Text : Meta-Wiki Community coordination & documentation

Link : https://creativecommons.org/l...

Text : Creative Commons Attribution-ShareAlike License

Link : //meta.wikimedia.org/wiki/Terms_of_Use

Text : Terms of Use

Link : //meta.wikimedia.org/wiki/Privacy_policy

Text : Privacy Policy
与此相似，你还可以得到图像的数量、元信息、表单参数等一切你能想到的东西，因此经常被用于获取统计数据。

使用JSoup解析文件

public void parseFile() throws URISyntaxException, IOException {

    URL path = ClassLoader.getSystemResource("page.html");

    File inputFile = new File(path.toURI());

    Document document = Jsoup.parse(inputFile, "UTF-8");

    System.out.println(document.title());

    //parse document in any way

}

如果要解析文件，就不需要给网站发送请求，因此不用担心运行程序会给服务器增添太多负担。尽管这种方法有许多限制，并且数据是静态的，因而不适合许多任务，但它提供了分析数据的更合法、更无害的方式。

得到的文档可以用前面说过的任何方式解析。

设置属性值

除了读取字符串、URL和文件并获取数据之外，我们还能修改数据和输入表单。

例如，在访问亚马逊时，点击左上角的网站标志，能返回到网站的首页。

如果想改变这个行为，可以这样做：

public void setAttributes() throws IOException {

    Document doc = Jsoup.connect("https://www.amazon.com").get();



    Element element = doc.getElementById("nav-logo");

    System.out.println("Element: " + element.outerHtml());

    element.children().attr("href", "notamazon.org");

    System.out.println("Element with set attribute: " + element.outerHtml());

}

获取网站标志的id后，我们可以查看其HTML。还可以访问它的子元素，并改变其属性。

Element: <div id="nav-logo">

<span class="nav-logo-base nav-sprite">Amazon</span> <span class="nav-logo-ext nav-sprite"></span> <span class="nav-logo-locale nav-sprite"></span>

Try Prime

</div>

Element with set attribute: <div id="nav-logo">

<span class="nav-logo-base nav-sprite">Amazon</span> <span class="nav-logo-ext nav-sprite"></span> <span class="nav-logo-locale nav-sprite"></span>

Try Prime

</div>
默认情况下，两个子元素都指向了各自的链接。将属性改变为别的值之后，可以看到子元素的href属性被更新了。

添加或删除类

除了设置属性值之外，我们还可以修改前面的例子，给元素添加或删除类：

public void changePage() throws IOException {

    Document doc = Jsoup.connect("https://www.amazon.com").get();

    Element element = doc.getElementById("nav-logo");

    System.out.println("Original Element: " + element.outerHtml());

    <!--Setting attributes -->

    element.children().attr("href", "notamazon.org");

    System.out.println("Element with set attribute: " + element.outerHtml());

    <!--Adding classes -->

    element.addClass("someClass");

    System.out.println("Element with added class: " + element.outerHtml());

    <!--Removing classes -->

    element.removeClass("someClass");

    System.out.println("Element with removed class: " + element.outerHtml());

}

运行代码会给我们以下信息：

Original Element: <div id="nav-logo">

<span class="nav-logo-base nav-sprite">Amazon</span> <span class="nav-logo-ext nav-sprite"></span> <span class="nav-logo-locale nav-sprite"></span>

Try Prime

</div>

Element with set attribute: <div id="nav-logo">

<span class="nav-logo-base nav-sprite">Amazon</span> <span class="nav-logo-ext nav-sprite"></span> <span class="nav-logo-locale nav-sprite"></span>

Try Prime

</div>

Element with added class: <div id="nav-logo" class="someClass">

<span class="nav-logo-base nav-sprite">Amazon</span> <span class="nav-logo-ext nav-sprite"></span> <span class="nav-logo-locale nav-sprite"></span>

Try Prime

</div>

Element with removed class: <div id="nav-logo">

<span class="nav-logo-base nav-sprite">Amazon</span> <span class="nav-logo-ext nav-sprite"></span> <span class="nav-logo-locale nav-sprite"></span>

Try Prime

</div>
可以把新的代码以.html形式保存到本机，或者通过HTTP请求发送大欧网站上，不过要注意后者可能是非法的。

结论

在许多情况下Web抓取都很有用，但使用时务必要遵守法律。本文介绍了流行的Web抓取框架JSoup，以及使用它解析信息的几种方式。


http://www.niftyadmin.cn/n/1202862.html

相关文章

Math、Date对象

Math、Date对象

在网页中浏览&#xff0c;我们都可以看到倒计时、时间、数字&#xff0c;特别是在电商网页。在web前端开发中&#xff0c;倒计时、时间以及小数等都离不开Math和Date对象&#xff0c;且从这两个单词中便可看出两者的作用&#xff0c;Math想到的便是数学方面&#xff0c;而Date故…
阅读更多...
中国互联网上市科技公司市值蒸发了多少亿？

中国互联网上市科技公司市值蒸发了多少亿？

科技公司的市值断崖路与程序员的应对救生服… 跌&#xff01;跌&#xff01;跌&#xff01;2018 抱团取暖的科技公司 2018 年&#xff0c;对于中国互联网上市科技公司来说&#xff0c;是跌宕起伏的一年。这一年的前半段&#xff0c;以腾讯、阿里为首的头部公司&#xff0c;风光…
阅读更多...
关于字符串

关于字符串

计算机专业的人士应该都知道&#xff0c;无论是C语言、C、C#、Java、.NET等中的开发中都离不开字符串(String类型),在web前端开发中&#xff0c;字符串也具有着重要的作用&#xff0c;因此&#xff0c;今天的学习内容为&#xff1a;关于字符串。 一、查找字符 &#xff08;1&…
阅读更多...
并查集算法 - Algorithms, Part I, week 1 UNION-FIND

并查集算法 - Algorithms, Part I, week 1 UNION-FIND

前言 下一篇&#xff1a;算法分析 如果能够科学上网&#xff0c;英文水平良好&#xff0c;建议登入cousera进行学习。平台上有完整的作业提交平台&#xff0c;对提交的作业有详细的性能诊断和反馈&#xff1b;有课程各种资源&#xff1b;有课程讨论。在课程提问区提问还会收到导…
阅读更多...
ERROR 1130 (HY000): Host XXX is not allowed to connect to this MySQL server

ERROR 1130 (HY000): Host XXX is not allowed to connect to this MySQL server

在my.ini的mysqld后边加上skip-grant-tables&#xff08;跳过数据库权限验证&#xff09;可以用任意账号和密码登录 1。 改表法。 可能是你的帐号不允许从远程登陆&#xff0c;只能在localhost。这个时候只要在localhost的那台电脑&#xff0c;登入mysql后&#xff0c;更改 &qu…
阅读更多...
JS对象：offset、scroll、event、client

JS对象：offset、scroll、event、client

前言就不多说了&#xff0c;还是直接进入正题吧。今天的内容看上去很多&#xff0c;但实际上很多内容都大相径庭。 一、offset &#xff08;1&#xff09;offsetWidth:检测盒子的高度&#xff0c;offsetWidthwidthpaddingborder &#xff08;2&#xff09;offsetHeight:检测…
阅读更多...
sequel pro 格式化sql

sequel pro 格式化sql

2019独角兽企业重金招聘Python工程师标准>>> 自带格式化功能入口 Sequel Pro 的 SQL 格式化功能以 Bundle 也就是插件的形式提供&#xff0c;使用菜单 Bundles->Input Field->Format->Format SQL 执行。 修正自带 Bundle 官方版本自带的 Bundle 很可能无法…
阅读更多...
常见JS动画效果

常见JS动画效果

作为一名前端开发人员&#xff0c;想要的大多都是&#xff0c;在开发过程中&#xff0c;看着自己制作的动画的炫酷以及困难的解决&#xff1b;开发结束后&#xff0c;自己的项目、成果可以被他人认可接受。人们浏览网页时&#xff0c;若一个网页动画效果丰富炫酷&#xff0c;性…
阅读更多...
最新文章

Copyright @ 2022~2023