Trích xuất href từ html Python

Khi chúng tôi duyệt qua một trang web, chúng tôi thấy một số văn bản màu xanh có gạch dưới bên dưới. Chúng được gọi là anchor text. Đó là bởi vì khi bạn nhấp vào những văn bản này, chúng sẽ đưa bạn đến một trang web mới.  

Các thẻ neo, hoặc các thẻ

import requests
from bs4 import BeautifulSoup

import requests
from bs4 import BeautifulSoup

Tham khảo hình bên dưới để hiểu rõ hơn

Trong hầu hết tất cả các dự án quét web, tìm nạp các URL từ thuộc tính

import requests
from bs4 import BeautifulSoup

Trong bài viết hôm nay, hãy cùng tìm hiểu các cách khác nhau để tìm nạp URL từ thuộc tính

import requests
from bs4 import BeautifulSoup

Để tìm nạp URL, trước tiên chúng tôi phải tìm tất cả các thẻ liên kết hoặc

import requests
from bs4 import BeautifulSoup

import requests
from bs4 import BeautifulSoup

Hai cách để tìm tất cả các thẻ neo hoặc các mục nhập

import requests
from bs4 import BeautifulSoup

1. import requests
   from bs4 import BeautifulSoup

   8
2. lớp

   import requests
   from bs4 import BeautifulSoup

   9

Sau khi tìm thấy tất cả các mục nhập

import requests
from bs4 import BeautifulSoup

• import requests
  from bs4 import BeautifulSoup
  
  url = "https://www.wikipedia.org/"
  # retrieve the data from URL
  response = requests.get(url)
  
  # parse the contents of the webpage
  soup = BeautifulSoup(response.text, 'html.parser')
  
  # filter all the  tags from the parsed document
  for tag in soup.find_all('a'):
     print(tag)
  

  1

• import requests
  from bs4 import BeautifulSoup
  
  url = "https://www.wikipedia.org/"
  # retrieve the data from URL
  response = requests.get(url)
  
  # parse the contents of the webpage
  soup = BeautifulSoup(response.text, 'html.parser')
  
  # filter all the  tags from the parsed document
  for tag in soup.find_all('a'):
     print(tag)
  

  2

Điều kiện tiên quyết. Cài đặt và Nhập các yêu cầu và BeautifulSoup

Trong suốt bài viết, chúng tôi sẽ sử dụng mô-đun

import requests
from bs4 import BeautifulSoup

url = "https://www.wikipedia.org/"
# retrieve the data from URL
response = requests.get(url)

# parse the contents of the webpage
soup = BeautifulSoup(response.text, 'html.parser')

# filter all the  tags from the parsed document
for tag in soup.find_all('a'):
   print(tag)

import requests
from bs4 import BeautifulSoup

url = "https://www.wikipedia.org/"
# retrieve the data from URL
response = requests.get(url)

# parse the contents of the webpage
soup = BeautifulSoup(response.text, 'html.parser')

# filter all the  tags from the parsed document
for tag in soup.find_all('a'):
   print(tag)

pip install requests

• Làm cách nào để cài đặt thư viện

  import requests
  from bs4 import BeautifulSoup
  
  url = "https://www.wikipedia.org/"
  # retrieve the data from URL
  response = requests.get(url)
  
  # parse the contents of the webpage
  soup = BeautifulSoup(response.text, 'html.parser')
  
  # filter all the  tags from the parsed document
  for tag in soup.find_all('a'):
     print(tag)
  

  5 trong Python?

Để cài đặt Beautiful Soup trong hệ thống của bạn, hãy mở cửa sổ đầu cuối của bạn và nhập lệnh bên dưới

pip install bs4

Để cài đặt Beautiful Soup, hãy mở cửa sổ terminal và nhập lệnh bên dưới

import requests
from bs4 import BeautifulSoup

Thêm thông tin tại đây

• Làm cách nào để cài đặt thư viện

  import requests
  from bs4 import BeautifulSoup
  
  url = "https://www.wikipedia.org/"
  # retrieve the data from URL
  response = requests.get(url)
  
  # parse the contents of the webpage
  soup = BeautifulSoup(response.text, 'html.parser')
  
  # filter all the  tags from the parsed document
  for tag in soup.find_all('a'):
     print(tag)
  

  6 trong PyCharm?

Tìm các mục nhập href từ một trang web

Các mục nhập

import requests
from bs4 import BeautifulSoup

import requests
from bs4 import BeautifulSoup

import requests
from bs4 import BeautifulSoup

import requests
from bs4 import BeautifulSoup

import requests
from bs4 import BeautifulSoup

url = "https://www.wikipedia.org/"
# retrieve the data from URL
response = requests.get(url)

# parse the contents of the webpage
soup = BeautifulSoup(response.text, 'html.parser')

# filter all the  tags from the parsed document
for tag in soup.find_all('a'):
   print(tag)

đầu ra

English
6 383 000+ articles

.
.
.


Creative Commons Attribution-ShareAlike License
Terms of Use
Privacy Policy

Sử dụng lớp SoupStrainer

Chúng ta cũng có thể sử dụng lớp

import requests
from bs4 import BeautifulSoup

from bs4 import SoupStrainer

Bây giờ, bạn có thể chọn chỉ phân tích cú pháp các thuộc tính bắt buộc bằng cách sử dụng lớp

import requests
from bs4 import BeautifulSoup

import requests
from bs4 import BeautifulSoup, SoupStrainer

url = "https://www.wikipedia.org/"
# retrieve the data from URL
response = requests.get(url)

# parse-only the  tags from the webpage
soup = BeautifulSoup(response.text, 'html.parser', parse_only=SoupStrainer("a"))
for tag in soup:
   print(tag)

đầu ra

English
6 383 000+ articles

.
.
.


Creative Commons Attribution-ShareAlike License
Terms of Use
Privacy Policy

Lấy giá trị của thuộc tính href

Khi chúng tôi đã tìm nạp các thẻ được yêu cầu, chúng tôi có thể truy xuất giá trị của thuộc tính

import requests
from bs4 import BeautifulSoup

Tất cả các thuộc tính và giá trị của chúng được lưu trữ dưới dạng từ điển. Tham khảo bên dưới

sample_string="""Elsie"""
soup= BeautifulSoup(sample_string,'html.parser')
atag=soup.find_all('a')[0]
print(atag)
print(atag.attrs)

đầu ra

Elsie
{'href': 'http://example.com/elsie', 'class': ['sister'], 'id': 'link1'}

Sử dụng thẻ [‘href’]

Như đã thấy ở đầu ra, các thuộc tính và giá trị của chúng được lưu trữ dưới dạng từ điển

Để truy cập giá trị của thuộc tính

import requests
from bs4 import BeautifulSoup

pip install bs4

Bây giờ, hãy tinh chỉnh chương trình trên để in các giá trị

import requests
from bs4 import BeautifulSoup

pip install bs4

đầu ra

pip install bs4

Sử dụng thẻ. nhận ('href')

Ngoài ra, chúng ta cũng có thể sử dụng phương thức

English
6 383 000+ articles

.
.
.


Creative Commons Attribution-ShareAlike License
Terms of Use
Privacy Policy

English
6 383 000+ articles

.
.
.


Creative Commons Attribution-ShareAlike License
Terms of Use
Privacy Policy

pip install bs4

đầu ra

pip install bs4

Ví dụ thời gian thực

Bây giờ chúng ta đã biết cách tìm nạp giá trị của thuộc tính href, hãy xem xét một số trường hợp sử dụng trong thời gian thực

ví dụ 1. Tìm nạp tất cả các URL từ trang web

Hãy quét trang chính Wikipedia để tìm tất cả các mục

import requests
from bs4 import BeautifulSoup

pip install bs4

đầu ra

pip install bs4

Như bạn có thể thấy, tất cả các mục nhập

import requests
from bs4 import BeautifulSoup

ví dụ 2. Tìm nạp tất cả các URL dựa trên một số điều kiện

Giả sử chúng ta chỉ cần tìm các liên kết ngoài. Từ đầu ra, chúng tôi có thể nhận thấy rằng hầu hết các liên kết trong nước không có

from bs4 import SoupStrainer

Như vậy, chúng ta có thể sử dụng biểu thức chính quy (

from bs4 import SoupStrainer

from bs4 import SoupStrainer

Ngoài ra, hãy kiểm tra để đảm bảo không có kết quả nào với '

from bs4 import SoupStrainer

pip install bs4

đầu ra

pip install bs4

ví dụ 3. Tìm nạp các URL dựa trên giá trị của các thuộc tính khác nhau

Hãy xem xét một tập tin như hình dưới đây

Giả sử chúng ta cần tìm nạp URL từ

from bs4 import SoupStrainer

from bs4 import SoupStrainer

pip install bs4

đầu ra

import requests
from bs4 import BeautifulSoup

Phần kết luận

Điều đó đưa chúng ta đến phần cuối của hướng dẫn này. Trong hướng dẫn ngắn này, chúng ta đã học cách lấy giá trị của thuộc tính

import requests
from bs4 import BeautifulSoup

import requests
from bs4 import BeautifulSoup

Làm cách nào để trích xuất liên kết từ HTML bằng Python?

Làm cách nào tôi có thể nhận được các liên kết href từ HTML bằng Python?

Làm cách nào để lấy dữ liệu URL trong Python?

Làm cách nào để lấy giá trị href trong Selenium Python?