Hướng dẫn parse html using jsoup example - phân tích cú pháp html bằng ví dụ jsoup

Question

Đó là một buổi sáng chủ nhật tốt đẹp, và đột nhiên một ý tưởng cho dự án lớn tiếp theo của bạn sẽ xảy ra: "Làm thế nào về việc tôi lấy dữ liệu do Công ty X cung cấp và xây dựng một mặt trận cho nó?" Bạn nhảy vào mã hóa và nhận ra rằng Công ty X không cung cấp API cho dữ liệu của họ. Trang web của họ là nguồn duy nhất cho dữ liệu của họ.

Nội dung chính Show

Cài đặt JSOUP
Sử dụng JSOUP
Phân tích cú pháp HTML
package com.example.jsoupexample; import java.io.IOException; import java.io.InputStream; import java.net.HttpURLConnection; import java.net.MalformedURLException; import java.net.URL; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; public class App { public static void main(String[] args) { URL url; try { url = new URL("https://www.scrapingbee.com/blog"); HttpURLConnection connection; try { connection = (HttpURLConnection) url.openConnection(); connection.setRequestProperty("accept", "application/json"); try { InputStream responseStream = connection.getInputStream(); Document document = Jsoup.parse(responseStream, "UTF-8", "https://www.scrapingbee.com/blog"); System.out.println(document.title()); } catch (IOException e) { e.printStackTrace(); } } catch (IOException e1) { e1.printStackTrace(); } } catch (MalformedURLException e1) { e1.printStackTrace(); } } } 0 và package com.example.jsoupexample; import java.io.IOException; import java.io.InputStream; import java.net.HttpURLConnection; import java.net.MalformedURLException; import java.net.URL; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; public class App { public static void main(String[] args) { URL url; try { url = new URL("https://www.scrapingbee.com/blog"); HttpURLConnection connection; try { connection = (HttpURLConnection) url.openConnection(); connection.setRequestProperty("accept", "application/json"); try { InputStream responseStream = connection.getInputStream(); Document document = Jsoup.parse(responseStream, "UTF-8", "https://www.scrapingbee.com/blog"); System.out.println(document.title()); } catch (IOException e) { e.printStackTrace(); } } catch (IOException e1) { e1.printStackTrace(); } } catch (MalformedURLException e1) { e1.printStackTrace(); } } } 1
Jsoup.connect("https://example.com") 8
Jsoup.connect("https://example.com") .data("key", "value") .header("header", "value") .timeout(3000) 5 và Jsoup.connect("https://example.com") .data("key", "value") .header("header", "value") .timeout(3000) 6
Bộ chọn CSS nâng cao với Jsoup.connect("https://example.com") 8
Mã cuối cùng
Sự kết luận
Jsoup Parse là gì?
Chúng ta có thể sử dụng XPath trong JSoup không?
Jsoup có bị phản đối không?
Jsoup có chạy JavaScript không?

Đã đến lúc phải dùng đến việc quét web cũ tốt, quy trình tự động để phân tích và trích xuất dữ liệu từ mã nguồn HTML của một trang web.

JSOUP, một thư viện Java thực hiện đặc tả WhatWG HTML5, có thể được sử dụng để phân tích các tài liệu HTML, tìm và trích xuất dữ liệu từ các tài liệu HTML và thao tác các phần tử HTML. Đây là một thư viện tuyệt vời để quét web đơn giản vì tính chất đơn giản và khả năng phân tích HTML giống như cách trình duyệt để bạn có thể sử dụng các bộ chọn CSS thường được biết đến.

Trong bài viết này, bạn sẽ học cách sử dụng JSOUP để quét web trong Java.

Cài đặt JSOUP

Bài viết này sử dụng Maven làm hệ thống xây dựng, vì vậy hãy chắc chắn rằng nó đã được cài đặt. Lưu ý rằng bạn cũng có thể sử dụng JSOUP mà không cần Maven. Bạn có thể tìm thấy các hướng dẫn cho điều đó trên trang tải xuống JSOUP.

Ứng dụng mà bạn sẽ xây dựng trong bài viết này có thể được tìm thấy trong GitHub nếu bạn muốn sao chép nó và làm theo, hoặc bạn có thể làm theo hướng dẫn để xây dựng ứng dụng từ đầu.

Bắt đầu bằng cách tạo một dự án Maven:

mvn archetype:generate -DgroupId=com.example.jsoupexample -DartifactId=jsoup-example -DarchetypeArtifactId=maven-archetype-quickstart -DarchetypeVersion=1.4 -DinteractiveMode=false

Thư mục có tên


    org.codehaus.mojo
    exec-maven-plugin
    3.0.0
    
    com.example.jsoupexample.App

1 sẽ giữ các tệp dự án. Đối với phần còn lại của bài viết, bạn sẽ làm việc trong thư mục này.

Chỉnh sửa tệp


    org.codehaus.mojo
    exec-maven-plugin
    3.0.0
    
    com.example.jsoupexample.App

2 và thêm JSoup làm phụ thuộc vào phần


    org.codehaus.mojo
    exec-maven-plugin
    3.0.0
    
    com.example.jsoupexample.App

3:


    ...
    
        org.jsoup
        jsoup
        1.14.3

Bài viết này sử dụng phiên bản


    org.codehaus.mojo
    exec-maven-plugin
    3.0.0
    
    com.example.jsoupexample.App

4, đây là phiên bản mới nhất tại thời điểm viết. Kiểm tra phiên bản nào mới nhất khi bạn đọc nó bằng cách truy cập trang tải xuống JSOUP.

Trong phần


    org.codehaus.mojo
    exec-maven-plugin
    3.0.0
    
    com.example.jsoupexample.App

5, thêm plugin Exec Maven:


    org.codehaus.mojo
    exec-maven-plugin
    3.0.0
    
    com.example.jsoupexample.App

Sử dụng JSOUP

Quét web nên luôn luôn bắt đầu với một liên lạc của con người. Trước khi nhảy thẳng vào mã hóa, trước tiên bạn nên làm quen với trang web Target. Dành thời gian để nghiên cứu cấu trúc của trang web, tìm ra dữ liệu bạn muốn cạo và xem xét mã nguồn HTML để hiểu dữ liệu được đặt ở đâu và cách cấu trúc.

Trong bài viết này, bạn sẽ cạo blog của ScrapingBee và thu thập thông tin về các blog được xuất bản: Tiêu đề, Liên kết, v.v ... Nó khá cơ bản, nhưng nó sẽ giúp bạn bắt đầu hành trình quét web của mình.

Hãy bắt đầu khám phá trang web. Mở


    org.codehaus.mojo
    exec-maven-plugin
    3.0.0
    
    com.example.jsoupexample.App

6 trong trình duyệt của bạn và nhấp vào


    org.codehaus.mojo
    exec-maven-plugin
    3.0.0
    
    com.example.jsoupexample.App

7 để mở các công cụ nhà phát triển. Nhấp vào biểu tượng con trỏ nhỏ trên góc trên cùng bên trái của bảng điều khiển. Nếu bạn di chuột qua một phần tử trên trang web khi nó được bật, nó sẽ xác định vị trí phần tử đó trong mã HTML. Nó lưu bạn khỏi điều hướng thủ công thông qua tệp HTML để xác định mã nào tương ứng với các yếu tố nào. Công cụ này sẽ là bạn của bạn trong suốt hành trình cào.

Hướng dẫn parse html using jsoup example - phân tích cú pháp html bằng ví dụ jsoup

Di chuột qua bài viết trên blog đầu tiên. Bạn sẽ thấy rằng nó được đánh dấu trong bảng điều khiển và đó là


    org.codehaus.mojo
    exec-maven-plugin
    3.0.0
    
    com.example.jsoupexample.App

8 với lớp


    org.codehaus.mojo
    exec-maven-plugin
    3.0.0
    
    com.example.jsoupexample.App

9. Các blog khác bên cạnh nó là mỗi


    org.codehaus.mojo
    exec-maven-plugin
    3.0.0
    
    com.example.jsoupexample.App

8 với lớp

package com.example.jsoupexample;

public class App
{
    public static void main( String[] args )
    {

    }
}

1.

Bây giờ bạn có một cái nhìn tổng quan về cấu trúc rộng của dữ liệu mục tiêu trong trang web, đã đến lúc một số mã hóa. Mở tệp

package com.example.jsoupexample;

public class App
{
    public static void main( String[] args )
    {

    }
}

2, xóa mã được tạo tự động và dán mã Boilerplate sau:

package com.example.jsoupexample;

public class App
{
    public static void main( String[] args )
    {

    }
}

Phân tích cú pháp HTML

JSOUP hoạt động bằng cách phân tích HTML của một trang web và chuyển đổi nó thành một đối tượng tài liệu. Hãy nghĩ về đối tượng này như là một đại diện lập trình của DOM. Để tạo

package com.example.jsoupexample;

public class App
{
    public static void main( String[] args )
    {

    }
}

3 này, JSOUP cung cấp phương thức

package com.example.jsoupexample;

public class App
{
    public static void main( String[] args )
    {

    }
}

4 với nhiều quá tải có thể chấp nhận các loại đầu vào khác nhau.

Một số người đáng chú ý như sau:

package com.example.jsoupexample;

public class App
{
    public static void main( String[] args )
    {

    }
}

5: Phân tích tệp HTML (cũng hỗ trợ các tệp Gzipped)

package com.example.jsoupexample;

public class App
{
    public static void main( String[] args )
    {

    }
}

6: Đọc một

package com.example.jsoupexample;

public class App
{
    public static void main( String[] args )
    {

    }
}

7 và phân tích cú pháp nó

package com.example.jsoupexample;

public class App
{
    public static void main( String[] args )
    {

    }
}

8: phân tích chuỗi HTML

Tất cả các phương thức này trả về đối tượng phân tích cú pháp

package com.example.jsoupexample;

public class App
{
    public static void main( String[] args )
    {

    }
}

3.

Hãy xem cái cuối cùng trong hành động. Đầu tiên, nhập các lớp bắt buộc:

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

Trong phương thức

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

0, hãy viết mã sau:

Document document = Jsoup.parse("Web Scraping");
System.out.println(document.title());

Như bạn có thể thấy, một chuỗi HTML được chuyển trực tiếp đến phương thức

package com.example.jsoupexample;

public class App
{
    public static void main( String[] args )
    {

    }
}

4. Phương thức

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

2 của đối tượng

package com.example.jsoupexample;

public class App
{
    public static void main( String[] args )
    {

    }
}

3 trả về tiêu đề của trang web. Chạy ứng dụng bằng lệnh

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

4 và nó sẽ in

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

5.

Đặt một chuỗi HTML được mã hóa cứng trong phương pháp

package com.example.jsoupexample;

public class App
{
    public static void main( String[] args )
    {

    }
}

4 hoạt động, nhưng nó không thực sự hữu ích. Làm thế nào để bạn có được HTML từ một trang web và phân tích nó?

Một cách là sử dụng lớp

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

7 để đưa ra yêu cầu cho trang web và chuyển

package com.example.jsoupexample;

public class App
{
    public static void main( String[] args )
    {

    }
}

7 của phản hồi cho phương thức

package com.example.jsoupexample;

public class App
{
    public static void main( String[] args )
    {

    }
}

4. Đây là một số mã mẫu để làm điều đó:

package com.example.jsoupexample;

import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class App {
    public static void main(String[] args) {
        URL url;
        try {
            url = new URL("https://www.scrapingbee.com/blog");
            HttpURLConnection connection;
            try {
                connection = (HttpURLConnection) url.openConnection();
                connection.setRequestProperty("accept", "application/json");

                try {
                    InputStream responseStream = connection.getInputStream();
                    Document document = Jsoup.parse(responseStream, "UTF-8", "https://www.scrapingbee.com/blog");
                    System.out.println(document.title());
                } catch (IOException e) {
                    e.printStackTrace();
                }
            } catch (IOException e1) {
                e1.printStackTrace();
            }

        } catch (MalformedURLException e1) {
            e1.printStackTrace();
        }

    }
}

Lưu ý số lượng mã nồi hơi cần thiết chỉ để lấy HTML từ trang web. Rất may, JSOUP cung cấp một phương thức

Document document = Jsoup.parse("Web Scraping");
System.out.println(document.title());

0 thuận tiện hơn có thể kết nối với một trang web, lấy HTML và phân tích nó thành một

package com.example.jsoupexample;

public class App
{
    public static void main( String[] args )
    {

    }
}

3 tất cả trong một lần.

Chỉ cần chuyển URL sang phương thức

Document document = Jsoup.parse("Web Scraping");
System.out.println(document.title());

0 và nó sẽ trả về một đối tượng kết nối:

Jsoup.connect("https://example.com")

Bạn có thể sử dụng đối tượng này để sửa đổi các thuộc tính yêu cầu, chẳng hạn như thêm tham số bằng phương thức dữ liệu, thêm các tiêu đề bằng phương thức tiêu đề, đặt cookie bằng phương thức cookie, v.v. Mỗi phương thức trả về một đối tượng

Document document = Jsoup.parse("Web Scraping");
System.out.println(document.title());

3, vì vậy chúng có thể bị xích:

Jsoup.connect("https://example.com")
    .data("key", "value")
    .header("header", "value")
    .timeout(3000)

Khi bạn đã sẵn sàng thực hiện yêu cầu, hãy gọi phương thức

Document document = Jsoup.parse("Web Scraping");
System.out.println(document.title());

4 hoặc

Document document = Jsoup.parse("Web Scraping");
System.out.println(document.title());

5 của đối tượng

Document document = Jsoup.parse("Web Scraping");
System.out.println(document.title());

3. Điều này sẽ trả về đối tượng

package com.example.jsoupexample;

public class App
{
    public static void main( String[] args )
    {

    }
}

3 phân tích cú pháp. Viết mã sau:

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class App {
    public static void main(String[] args) {
        try {
            Document document = Jsoup.connect("https://www.scrapingbee.com/blog")
                                    .timeout(5000)
                                    .get();
            System.out.println(document.title());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

Mã này đã được gói trong một khối thử vì phương thức

Document document = Jsoup.parse("Web Scraping");
System.out.println(document.title());

4 có thể ném

Document document = Jsoup.parse("Web Scraping");
System.out.println(document.title());

9. Khi bạn chạy mã này, bạn sẽ thấy tiêu đề của trang web được in.

package com.example.jsoupexample; import java.io.IOException; import java.io.InputStream; import java.net.HttpURLConnection; import java.net.MalformedURLException; import java.net.URL; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; public class App { public static void main(String[] args) { URL url; try { url = new URL("https://www.scrapingbee.com/blog"); HttpURLConnection connection; try { connection = (HttpURLConnection) url.openConnection(); connection.setRequestProperty("accept", "application/json"); try { InputStream responseStream = connection.getInputStream(); Document document = Jsoup.parse(responseStream, "UTF-8", "https://www.scrapingbee.com/blog"); System.out.println(document.title()); } catch (IOException e) { e.printStackTrace(); } } catch (IOException e1) { e1.printStackTrace(); } } catch (MalformedURLException e1) { e1.printStackTrace(); } } } 0 và package com.example.jsoupexample; import java.io.IOException; import java.io.InputStream; import java.net.HttpURLConnection; import java.net.MalformedURLException; import java.net.URL; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; public class App { public static void main(String[] args) { URL url; try { url = new URL("https://www.scrapingbee.com/blog"); HttpURLConnection connection; try { connection = (HttpURLConnection) url.openConnection(); connection.setRequestProperty("accept", "application/json"); try { InputStream responseStream = connection.getInputStream(); Document document = Jsoup.parse(responseStream, "UTF-8", "https://www.scrapingbee.com/blog"); System.out.println(document.title()); } catch (IOException e) { e.printStackTrace(); } } catch (IOException e1) { e1.printStackTrace(); } } catch (MalformedURLException e1) { e1.printStackTrace(); } } } 1

Bây giờ chúng ta hãy phân tích các blog. Đối tượng

package com.example.jsoupexample;

public class App
{
    public static void main( String[] args )
    {

    }
}

3 cung cấp nhiều phương thức để chọn nút bạn muốn. Nếu bạn biết JavaScript, bạn sẽ thấy các phương pháp này rất giống với những gì bạn đã từng sử dụng.

Phương pháp quan trọng đầu tiên là getEuityByid. Nó tương tự như

package com.example.jsoupexample;

import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class App {
    public static void main(String[] args) {
        URL url;
        try {
            url = new URL("https://www.scrapingbee.com/blog");
            HttpURLConnection connection;
            try {
                connection = (HttpURLConnection) url.openConnection();
                connection.setRequestProperty("accept", "application/json");

                try {
                    InputStream responseStream = connection.getInputStream();
                    Document document = Jsoup.parse(responseStream, "UTF-8", "https://www.scrapingbee.com/blog");
                    System.out.println(document.title());
                } catch (IOException e) {
                    e.printStackTrace();
                }
            } catch (IOException e1) {
                e1.printStackTrace();
            }

        } catch (MalformedURLException e1) {
            e1.printStackTrace();
        }

    }
}

0 trong JavaScript. Nó lấy một ID và trả về

package com.example.jsoupexample;

import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class App {
    public static void main(String[] args) {
        URL url;
        try {
            url = new URL("https://www.scrapingbee.com/blog");
            HttpURLConnection connection;
            try {
                connection = (HttpURLConnection) url.openConnection();
                connection.setRequestProperty("accept", "application/json");

                try {
                    InputStream responseStream = connection.getInputStream();
                    Document document = Jsoup.parse(responseStream, "UTF-8", "https://www.scrapingbee.com/blog");
                    System.out.println(document.title());
                } catch (IOException e) {
                    e.printStackTrace();
                }
            } catch (IOException e1) {
                e1.printStackTrace();
            }

        } catch (MalformedURLException e1) {
            e1.printStackTrace();
        }

    }
}

4 duy nhất với ID đó. Trang web mục tiêu của chúng tôi có


    org.codehaus.mojo
    exec-maven-plugin
    3.0.0
    
    com.example.jsoupexample.App

8 với ID là

package com.example.jsoupexample;

import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class App {
    public static void main(String[] args) {
        URL url;
        try {
            url = new URL("https://www.scrapingbee.com/blog");
            HttpURLConnection connection;
            try {
                connection = (HttpURLConnection) url.openConnection();
                connection.setRequestProperty("accept", "application/json");

                try {
                    InputStream responseStream = connection.getInputStream();
                    Document document = Jsoup.parse(responseStream, "UTF-8", "https://www.scrapingbee.com/blog");
                    System.out.println(document.title());
                } catch (IOException e) {
                    e.printStackTrace();
                }
            } catch (IOException e1) {
                e1.printStackTrace();
            }

        } catch (MalformedURLException e1) {
            e1.printStackTrace();
        }

    }
}

6. Hãy chọc nó bằng

package com.example.jsoupexample;

import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class App {
    public static void main(String[] args) {
        URL url;
        try {
            url = new URL("https://www.scrapingbee.com/blog");
            HttpURLConnection connection;
            try {
                connection = (HttpURLConnection) url.openConnection();
                connection.setRequestProperty("accept", "application/json");

                try {
                    InputStream responseStream = connection.getInputStream();
                    Document document = Jsoup.parse(responseStream, "UTF-8", "https://www.scrapingbee.com/blog");
                    System.out.println(document.title());
                } catch (IOException e) {
                    e.printStackTrace();
                }
            } catch (IOException e1) {
                e1.printStackTrace();
            }

        } catch (MalformedURLException e1) {
            e1.printStackTrace();
        }

    }
}

0:


    ...
    
        org.jsoup
        jsoup
        1.14.3

0

Lưu ý việc sử dụng phương pháp trẻ em, trả về số lượng trẻ em của

package com.example.jsoupexample;

import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class App {
    public static void main(String[] args) {
        URL url;
        try {
            url = new URL("https://www.scrapingbee.com/blog");
            HttpURLConnection connection;
            try {
                connection = (HttpURLConnection) url.openConnection();
                connection.setRequestProperty("accept", "application/json");

                try {
                    InputStream responseStream = connection.getInputStream();
                    Document document = Jsoup.parse(responseStream, "UTF-8", "https://www.scrapingbee.com/blog");
                    System.out.println(document.title());
                } catch (IOException e) {
                    e.printStackTrace();
                }
            } catch (IOException e1) {
                e1.printStackTrace();
            }

        } catch (MalformedURLException e1) {
            e1.printStackTrace();
        }

    }
}

4. Chạy mã này in

package com.example.jsoupexample;

import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class App {
    public static void main(String[] args) {
        URL url;
        try {
            url = new URL("https://www.scrapingbee.com/blog");
            HttpURLConnection connection;
            try {
                connection = (HttpURLConnection) url.openConnection();
                connection.setRequestProperty("accept", "application/json");

                try {
                    InputStream responseStream = connection.getInputStream();
                    Document document = Jsoup.parse(responseStream, "UTF-8", "https://www.scrapingbee.com/blog");
                    System.out.println(document.title());
                } catch (IOException e) {
                    e.printStackTrace();
                }
            } catch (IOException e1) {
                e1.printStackTrace();
            }

        } catch (MalformedURLException e1) {
            e1.printStackTrace();
        }

    }
}

9, và thực sự có hai đứa trẻ của


    org.codehaus.mojo
    exec-maven-plugin
    3.0.0
    
    com.example.jsoupexample.App

8 này.

Trong ví dụ cụ thể này,

package com.example.jsoupexample;

import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class App {
    public static void main(String[] args) {
        URL url;
        try {
            url = new URL("https://www.scrapingbee.com/blog");
            HttpURLConnection connection;
            try {
                connection = (HttpURLConnection) url.openConnection();
                connection.setRequestProperty("accept", "application/json");

                try {
                    InputStream responseStream = connection.getInputStream();
                    Document document = Jsoup.parse(responseStream, "UTF-8", "https://www.scrapingbee.com/blog");
                    System.out.println(document.title());
                } catch (IOException e) {
                    e.printStackTrace();
                }
            } catch (IOException e1) {
                e1.printStackTrace();
            }

        } catch (MalformedURLException e1) {
            e1.printStackTrace();
        }

    }
}

0 không hữu ích lắm vì không có nhiều yếu tố có ID, vì vậy hãy tập trung vào phương pháp quan trọng tiếp theo: getElementsByClass. Một lần nữa, nó tương tự như phương pháp

Jsoup.connect("https://example.com")

2 trong JavaScript. Lưu ý rằng phương thức này trả về một đối tượng phần tử và không phải là

package com.example.jsoupexample;

import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class App {
    public static void main(String[] args) {
        URL url;
        try {
            url = new URL("https://www.scrapingbee.com/blog");
            HttpURLConnection connection;
            try {
                connection = (HttpURLConnection) url.openConnection();
                connection.setRequestProperty("accept", "application/json");

                try {
                    InputStream responseStream = connection.getInputStream();
                    Document document = Jsoup.parse(responseStream, "UTF-8", "https://www.scrapingbee.com/blog");
                    System.out.println(document.title());
                } catch (IOException e) {
                    e.printStackTrace();
                }
            } catch (IOException e1) {
                e1.printStackTrace();
            }

        } catch (MalformedURLException e1) {
            e1.printStackTrace();
        }

    }
}

4. Điều này là do có thể có nhiều yếu tố với cùng một lớp.

Nếu bạn nhớ, tất cả các blog đều có một lớp

Jsoup.connect("https://example.com")

4, vì vậy bạn có thể sử dụng phương pháp này để giữ chúng:


    ...
    
        org.jsoup
        jsoup
        1.14.3

1

Bây giờ bạn có thể lặp lại danh sách này với vòng lặp

Jsoup.connect("https://example.com")

5:


    ...
    
        org.jsoup
        jsoup
        1.14.3

2

Phương thức

Jsoup.connect("https://example.com")

6 trả về văn bản của phần tử, tương tự như

Jsoup.connect("https://example.com")

7 trong JavaScript. Khi bạn chạy mã này, bạn sẽ thấy văn bản của các blog được in.

Jsoup.connect("https://example.com") 8

Bây giờ chúng ta hãy phân tích danh hiệu của mỗi blog. Bạn sẽ sử dụng phương thức Chọn cho việc này. Tương tự như

Jsoup.connect("https://example.com")

9 trong JavaScript, cần có bộ chọn CSS và trả về danh sách các yếu tố phù hợp với bộ chọn đó. Trong trường hợp này, tiêu đề là một yếu tố

Jsoup.connect("https://example.com")
    .data("key", "value")
    .header("header", "value")
    .timeout(3000)

0 bên trong blog.

Vì vậy, mã sau sẽ chọn tiêu đề và lấy văn bản từ nó:


    ...
    
        org.jsoup
        jsoup
        1.14.3

3

Bước tiếp theo là có được liên kết đến blog. Đối với điều đó, bạn sẽ sử dụng

Jsoup.connect("https://example.com")
    .data("key", "value")
    .header("header", "value")
    .timeout(3000)

1 để chọn tất cả các thẻ

Jsoup.connect("https://example.com")
    .data("key", "value")
    .header("header", "value")
    .timeout(3000)

2 bên trong phần tử blog. Để có được liên kết, hãy sử dụng phương thức attr, trả về thuộc tính được chỉ định của phần tử khớp đầu tiên. Vì mỗi blog chỉ chứa một thẻ

Jsoup.connect("https://example.com")
    .data("key", "value")
    .header("header", "value")
    .timeout(3000)

2, bạn sẽ nhận được liên kết từ thuộc tính

Jsoup.connect("https://example.com")
    .data("key", "value")
    .header("header", "value")
    .timeout(3000)

4:


    ...
    
        org.jsoup
        jsoup
        1.14.3

4

Chạy nó in các liên kết của các blog:


    ...
    
        org.jsoup
        jsoup
        1.14.3

5

Jsoup.connect("https://example.com") .data("key", "value") .header("header", "value") .timeout(3000) 5 và Jsoup.connect("https://example.com") .data("key", "value") .header("header", "value") .timeout(3000) 6

Hãy xem liệu chúng ta có thể nhận được hình ảnh tiêu đề cho blog không. Lần này

Jsoup.connect("https://example.com")
    .data("key", "value")
    .header("header", "value")
    .timeout(3000)

7 sẽ không hoạt động vì có hai hình ảnh: tiêu đề và hình đại diện của tác giả. Thay vào đó, bạn có thể sử dụng phương pháp đầu tiên để có phần tử được khớp đầu tiên hoặc thay vào đó, hãy sử dụng selectfirst:


    ...
    
        org.jsoup
        jsoup
        1.14.3

6

Bộ chọn CSS nâng cao với Jsoup.connect("https://example.com") 8

Bây giờ chúng ta hãy thử hình đại diện của tác giả. Nếu bạn nhìn vào URL cho một trong các avatar, bạn sẽ nhận thấy rằng nó chứa từ "tác giả". Do đó, chúng ta có thể sử dụng một bộ chọn thuộc tính để chọn tất cả các hình ảnh có thuộc tính

Jsoup.connect("https://example.com")
    .data("key", "value")
    .header("header", "value")
    .timeout(3000)

9 chứa "tác giả". Bộ chọn tương ứng là

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class App {
    public static void main(String[] args) {
        try {
            Document document = Jsoup.connect("https://www.scrapingbee.com/blog")
                                    .timeout(5000)
                                    .get();
            System.out.println(document.title());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

0:


    ...
    
        org.jsoup
        jsoup
        1.14.3

7

Cuối cùng, chúng ta hãy xem cách phân trang có thể được xử lý. Nhấp vào nút trang 2 đưa bạn đến

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class App {
    public static void main(String[] args) {
        try {
            Document document = Jsoup.connect("https://www.scrapingbee.com/blog")
                                    .timeout(5000)
                                    .get();
            System.out.println(document.title());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

1. Từ đó, bạn có thể suy ra rằng bạn có thể nối số trang vào

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class App {
    public static void main(String[] args) {
        try {
            Document document = Jsoup.connect("https://www.scrapingbee.com/blog")
                                    .timeout(5000)
                                    .get();
            System.out.println(document.title());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

2 để có được trang đó. Vì mỗi trang là một trang web riêng biệt, bạn có thể quấn mọi thứ trong vòng lặp

Jsoup.connect("https://example.com")

5 và thay đổi URL thành lặp qua mỗi trang:page 2 button takes you to

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class App {
    public static void main(String[] args) {
        try {
            Document document = Jsoup.connect("https://www.scrapingbee.com/blog")
                                    .timeout(5000)
                                    .get();
            System.out.println(document.title());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

1. From this, you can deduce that you can append the page number to

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class App {
    public static void main(String[] args) {
        try {
            Document document = Jsoup.connect("https://www.scrapingbee.com/blog")
                                    .timeout(5000)
                                    .get();
            System.out.println(document.title());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

2 to get that page. Since each page is a separate web page, you can wrap everything in a

Jsoup.connect("https://example.com")

5 loop and change the URL to iterate over each page:


    ...
    
        org.jsoup
        jsoup
        1.14.3

8

Trường hợp

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class App {
    public static void main(String[] args) {
        try {
            Document document = Jsoup.connect("https://www.scrapingbee.com/blog")
                                    .timeout(5000)
                                    .get();
            System.out.println(document.title());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

4 là đặc biệt vì trang đầu tiên được lưu trữ tại


    org.codehaus.mojo
    exec-maven-plugin
    3.0.0
    
    com.example.jsoupexample.App

6 thay vì

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class App {
    public static void main(String[] args) {
        try {
            Document document = Jsoup.connect("https://www.scrapingbee.com/blog")
                                    .timeout(5000)
                                    .get();
            System.out.println(document.title());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

6.

Mã cuối cùng

Đây là mã cuối cùng với một số không gian và văn bản được thêm vào để dễ đọc hơn:


    ...
    
        org.jsoup
        jsoup
        1.14.3

9

Đây là đầu ra mẫu:


    org.codehaus.mojo
    exec-maven-plugin
    3.0.0
    
    com.example.jsoupexample.App

0

Nếu bạn không làm như vậy ban đầu, bạn có thể sao chép ứng dụng này từ GitHub để bạn có thể kiểm tra mã của mình chống lại nó.

Sự kết luận

JSOUP là một lựa chọn tuyệt vời để quét web trong Java. Trong khi bài viết này giới thiệu thư viện, bạn có thể tìm hiểu thêm về nó trong tài liệu JSOUP.

Mặc dù Jsoup rất dễ sử dụng và hiệu quả, nhưng nó có nhược điểm của nó. Ví dụ: nó không thể chạy mã JavaScript, điều đó có nghĩa là JSOUP không thể được sử dụng để cạo các trang web động và các ứng dụng một trang. Trong những trường hợp đó, bạn sẽ cần sử dụng một cái gì đó như selen.

Jsoup Parse là gì?

JSOUP có thể phân tích các tệp HTML, luồng đầu vào, URL hoặc thậm chí các chuỗi.Nó giúp trích xuất dữ liệu từ HTML bằng cách cung cấp các phương thức truyền tải mô hình đối tượng (DOM) và các bộ chọn giống như CSS và jQuery.JSOUP có thể thao tác nội dung: chính phần tử HTML, thuộc tính của nó hoặc văn bản của nó.can parse HTML files, input streams, URLs, or even strings. It eases data extraction from HTML by offering Document Object Model (DOM) traversal methods and CSS and jQuery-like selectors. jsoup can manipulate the content: the HTML element itself, its attributes, or its text.

Chúng ta có thể sử dụng XPath trong JSoup không?

Với các biểu thức XPath, nó có thể chọn các phần tử trong HTML bằng cách sử dụng JSOUP làm trình phân tích cú pháp HTML.it is able to select the elements within the HTML using Jsoup as HTML parser.

Jsoup có bị phản đối không?

Phản đối.Kể từ bản phát hành v1.14.1, lớp này không được ủng hộ có lợi cho Safelist.As of release v1. 14.1 , this class is deprecated in favour of Safelist .

Jsoup có chạy JavaScript không?

JSOUP sẽ không chạy JavaScript cho bạn - nếu bạn cần điều đó trong ứng dụng của mình, tôi khuyên bạn nên xem xét JCEF. - if you need that in your app I'd recommend looking at JCEF.

programming html Is jsoup deprecated? Jsoup Jsoup example Jsoup select jsoup.parse example Jsoup tr td Jsoup document api Element jsoup Jsoup parse HTML

Hướng dẫn parse html using jsoup example - phân tích cú pháp html bằng ví dụ jsoup

Cài đặt JSOUP

Sử dụng JSOUP

Phân tích cú pháp HTML

Jsoup.connect("https://example.com") 8

Jsoup.connect("https://example.com") .data("key", "value") .header("header", "value") .timeout(3000) 5 và Jsoup.connect("https://example.com") .data("key", "value") .header("header", "value") .timeout(3000) 6

Bộ chọn CSS nâng cao với Jsoup.connect("https://example.com") 8

Mã cuối cùng

Sự kết luận

Jsoup Parse là gì?

Chúng ta có thể sử dụng XPath trong JSoup không?

Jsoup có bị phản đối không?

Jsoup có chạy JavaScript không?

Bài Viết Liên Quan

Quảng Cáo

Có thể bạn quan tâm

Toplist được quan tâm

Quảng cáo

Xem Nhiều

Quảng cáo

Chúng tôi

Điều khoản

Trợ giúp

Mạng xã hội