首页 前端知识 从零开发短视频电商 使用Jsoup进行HTML爬取解析与操作

从零开发短视频电商 使用Jsoup进行HTML爬取解析与操作

2024-06-17 09:06:56 前端知识 前端哥 283 924 我要收藏

文章目录

    • 简介
    • 原理
    • 依赖
    • 基础示例
    • 功能
      • 解析和遍历文档
      • 输入
        • 从字符串中解析文档
        • 从 URL 加载文档
        • 从文件加载文档
      • 数据提取
        • 使用 DOM 方法导航文档
        • 使用 CSS 选择器查找元素
        • 使用 XPath 选择器查找元素和节点
        • 从元素中提取属性、文本和 HTML
      • 清理HTML

官网: https://jsoup.org/

文档:https://jsoup.org/cookbook/

简介

jsoup 是一个 Java 库,可简化实际 HTML 和 XML 的使用。它提供了一个易于使用的 API,用于使用 DOM API 方法、CSS 和 xpath 选择器进行 URL 获取、数据解析、提取和操作。

jsoup 实现了 WHATWG HTML5 规范,并将 HTML 解析为与现代浏览器相同的 DOM。

  • 抓取
    从 URL、文件或字符串中抓取并解析 HTML

  • 查找
    使用 DOM 遍历或 CSS 选择器查找并提取数据

  • 操作
    操作 HTML 元素、属性和文本

  • 清理
    根据安全列表清理用户提交的内容,以防止 XSS 攻击

  • 输出

    输出整洁的 HTML

jsoup 旨在处理各种常见的 HTML;从原始和验证,到无效的标签; jsoup 将创建一个合理的解析树。

原理

jsoup 使用类似于jQuery的API,它将HTML文档解析成一个DOM树,然后可以使用类似于CSS选择器的语法来定位和操作文档中的元素。这种模型使得开发者能够以一种直观的方式进行数据提取和DOM操作。

依赖

<dependency>
  <!-- jsoup HTML parser library @ https://jsoup.org/ -->
  <groupId>org.jsoup</groupId>
  <artifactId>jsoup</artifactId>
  <version>1.17.1</version>
</dependency>

基础示例

获取维基百科主页,将其解析为 DOM,然后从新闻部分中选择标题到元素列表中:

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;

/**
 * A simple example, used on the jsoup website.
 */
public class Wikipedia {
    public static void main(String[] args) throws IOException {
        Document doc = Jsoup.connect("http://en.wikipedia.org/").get();
        log(doc.title());

        Elements newsHeadlines = doc.select("#mp-itn b a");
        for (Element headline : newsHeadlines) {
            log("%s\n\t%s", headline.attr("title"), headline.absUrl("href"));
        }
    }

    private static void log(String msg, String... vals) {
        System.out.println(String.format(msg, vals));
    }
}

XPath更强大,而CSS选择器通常语法比较简洁,运行速度更快些。

Chrome 插件:

  • Ranorex

  • selectorgadget

功能

解析和遍历文档

解析 HTML 文档

String html = "<html><head><title>First parse</title></head>"
  + "<body><p>Parsed HTML into a doc.</p></body></html>";
Document doc = Jsoup.parse(html);

解析器将尽一切努力根据您提供的 HTML 创建干净的解析,无论 HTML 格式是否良好:

  • 未封闭的标签(例如 <p>Lorem <p>Ipsum 解析为 <p>Lorem</p> <p>Ipsum</p>
  • 隐式标签(例如,裸露的 <td>Table data</td> 被包装到 <table><tr><td>... 中)
  • 可靠地创建文档结构( html 包含 headbody ,并且仅在头部中包含适当的元素)

Document的对象模型

  • 文档由 Elements 和 TextNodes(以及其他几个杂项节点)组成。
  • 继承链是: Document extends Element extends NodeTextNode 扩展 LeafNode 扩展 Node
  • 一个元素包含一系列子节点,并且有一个父元素。他们还提供了仅子元素的过滤列表。

输入

从字符串中解析文档
// 从字符串中解析文档
String html = "<html><head><title>First parse</title></head>"
  + "<body><p>Parsed HTML into a doc.</p></body></html>";
Document doc = Jsoup.parse(html);
// 解析片段
String html = "<div><p>Lorem ipsum.</p>";
Document doc = Jsoup.parseBodyFragment(html);
Element body = doc.body();
从 URL 加载文档
Document doc = Jsoup.connect("http://example.com/").get();
String title = doc.title();

Document doc = Jsoup.connect("http://example.com")
  .data("query", "Java")
  .userAgent("Mozilla")
  .cookie("auth", "token")
  .timeout(3000)
  .post();
从文件加载文档
File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");

数据提取

使用 DOM 方法导航文档
File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");

Element content = doc.getElementById("content");
Elements links = content.getElementsByTag("a");
for (Element link : links) {
  String linkHref = link.attr("href");
  String linkText = link.text();
}

寻找元素

  • getElementById(String id)
  • getElementsByTag(String tag)
  • getElementsByClass(String className)
  • getElementsByAttribute(String key)
  • 兄弟元素: siblingElements() 、 firstElementSibling() 、 lastElementSibling() ; nextElementSibling() ,previousElementSibling()
  • Graph: parent(), children(), child(int index)

元素数据

  • attr(String key) 用于获取属性
  • attributes() 获取所有属性
  • id() 、 className() 和 classNames()
  • text() 获取文本内容, text(String value) 设置文本内容
  • html() 获取内部 HTML 内容, html(String value) 设置内部 HTML 内容
  • outerHtml() 获取外部 HTML 值
  • data() 获取数据内容(例如 script 和 style 标签)
  • tag() and tagName() tag() 和 tagName()
使用 CSS 选择器查找元素
File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "https://example.com/");

Elements links = doc.select("a[href]"); // a with href
Elements pngs = doc.select("img[src$=.png]");
  // img with src ending .png

Element masthead = doc.select("div.masthead").first();
  // div with class=masthead

Elements resultDivs = doc.select("h3.r > div");
  // direct div after h3
Elements resultAs   = resultDivs.select("a");
  // A elements within resultDivs

选择器概述

tagname :通过标签查找元素,例如 div
#id :通过 ID 查找元素,例如 #logo
.class :按类名查找元素,例如 .masthead
[attribute] :具有属性的元素,例如 [href]
[^attrPrefix] :带有属性名称前缀的元素,例如 [^data-] 查找具有 HTML5 数据集属性的元素
[attr=value] :具有属性值的元素,例如 [width=500] (也可引用,如 [data-name='launch sequence']
[attr^=value][attr$=value][attr*=value] :具有以值开头、结尾或包含值的属性的元素,例如 [href*=/path/]
[attr~=regex] :属性值与正则表达式匹配的元素;例如 img[src~=(?i)\.(png|jpe?g)]
* :所有元素,例如 *
ns|tag :通过命名空间前缀中的标签查找元素,例如 fb|name 查找 <fb:name> 元素
*|tag :任何命名空间前缀中的标记的最终元素,例如 *|name 查找 <fb:name><name> 元素

选择器组合
el#id :带有 ID 的元素,例如 div#logo
el.class :具有类的元素,例如 div.masthead
el[attr] :具有属性的元素,例如 a[href]
任意组合,例如 a[href].highlight
ancestor child :从祖先继承的子元素,例如 .body p 查找类为“body”的块下任意位置的 p 元素
parent > child :直接从父元素下降的子元素,例如 div.content > p 查找 p 元素; body > * 查找 body 标记的直接子级
siblingA + siblingB :查找紧邻同级 A 的同级 B 元素,例如 div.head + div
siblingA ~ siblingX :查找同级 X 元素,其前面是同级 A,例如 h1 ~ p
el, el, el :将多个选择器分组,查找与任何选择器匹配的唯一元素;例如 div.masthead, div.logo

伪选择器
:has(selector) :查找包含与选择器匹配的元素的元素;例如 div:has(p)
:is(selector) :查找与选择器列表中任意选择器匹配的元素;例如 :is(h1, h2, h3, h4, h5, h6) 查找任何标题元素
:not(selector) :查找与选择器不匹配的元素;例如 div:not(.logo)
:contains(text) :查找包含给定文本的元素。搜索不区分大小写;例如 p:contains(jsoup)
:containsOwn(text) :查找直接包含给定文本的元素
:matches(regex) :查找文本与指定正则表达式匹配的元素;例如 div:matches((?i)login)
:matchesOwn(regex) :查找自身文本与指定正则表达式匹配的元素
:lt(n) :查找同级索引(即其在 DOM 树中相对于其父级的位置)小于 n 的元素;例如 td:lt(3)
:gt(n) :查找同级索引大于 n 的元素;例如 div p:gt(2)
:eq(n) :查找同级索引等于 n 的元素;例如 form input:eq(1)

使用 XPath 选择器查找元素和节点
 Document doc = Jsoup.connect("https://jsoup.org/").get();
  
  Elements elements = doc.selectXpath("//div[@class='col1']/p");
      // Each P element in div.col1
  
  List<TextNode> textNodes = doc.selectXpath("//a/text()", TextNode.class);
      // Each TextNode in every A element
从元素中提取属性、文本和 HTML
String html = "<p>An <a href='http://example.com/'><b>example</b></a> link.</p>";
Document doc = Jsoup.parse(html);
Element link = doc.select("a").first();

String text = doc.body().text(); // "An example link"
String linkHref = link.attr("href"); // "http://example.com/"
String linkText = link.text(); // "example""

String linkOuterH = link.outerHtml(); 
    // "<a href="http://example.com"><b>example</b></a>"
String linkInnerH = link.html(); // "<b>example</b>"

清理HTML

希望允许不受信任的用户提供 HTML 以在您的网站上输出(例如作为评论提交)。您需要清理此 HTML 以避免跨站点脚本 (XSS) 攻击.

String unsafe = 
  "<p><a href='http://example.com/' οnclick='stealCookies()'>Link</a></p>";
String safe = Jsoup.clean(unsafe, Safelist.basic());
// now: <p><a href="http://example.com/" rel="nofollow">Link</a></p>
转载请注明出处或者链接地址:https://www.qianduange.cn//article/12469.html
标签
评论
发布的文章

HTML5 新增元素

2024-06-22 10:06:20

【前端】HTML5基础

2024-06-22 10:06:36

大家推荐的文章
会员中心 联系我 留言建议 回顶部
复制成功!