Làm cách nào để lấy giá trị từ HTML Python?

Xây dựng công cụ quét web đầu tiên của bạn

Một gói hữu ích để quét web mà bạn có thể tìm thấy trong thư viện chuẩn của Python là

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

>>> title_index = html.find[""]
>>> title_index
14

Trong cửa sổ tương tác của IDLE, hãy nhập nội dung sau để nhập

>>> title_index = html.find[""]
>>> title_index
14

>>>

>>> from urllib.request import urlopen

Trang web mà bạn sẽ mở nằm ở URL sau

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Để mở trang web, hãy chuyển

>>> start_index = title_index + len[""]
>>> start_index
21

>>> title_index = html.find[""]
>>> title_index
14

>>>

>>> page = urlopen[url]

>>> title_index = html.find[""]
>>> title_index
14

>>> start_index = title_index + len[""]
>>> start_index
21

>>>

>>> page

Để trích xuất HTML từ trang, trước tiên hãy sử dụng phương thức

>>> start_index = title_index + len[""]
>>> start_index
21

>>> start_index = title_index + len[""]
>>> start_index
21

>>> start_index = title_index + len[""]
>>> start_index
21

>>>

>>> html_bytes = page.read[]
>>> html = html_bytes.decode["utf-8"]

Bây giờ bạn có thể in HTML để xem nội dung của trang web

>>>

>>> print[html]


Profile: Aphrodite







Name: Aphrodite



Favorite animal: Dove



Favorite color: Red



Hometown: Mount Olympus

Đầu ra mà bạn đang thấy là mã HTML của trang web mà trình duyệt của bạn hiển thị khi bạn truy cập

>>> start_index = title_index + len[""]
>>> start_index
21

Với

>>> title_index = html.find[""]
>>> title_index
14

Trích xuất văn bản từ HTML bằng các phương thức chuỗi

Một cách để trích xuất thông tin từ HTML của trang web là sử dụng. Chẳng hạn, bạn có thể sử dụng

>>> start_index = title_index + len[""]
>>> start_index
21

>>> end_index = html.find[""]
>>> end_index
39

Để bắt đầu, bạn sẽ trích xuất tiêu đề của trang web mà bạn đã yêu cầu trong ví dụ trước. Nếu bạn biết chỉ mục của ký tự đầu tiên của tiêu đề và chỉ mục của ký tự đầu tiên của thẻ đóng

>>> end_index = html.find[""]
>>> end_index
39

Bởi vì

>>> start_index = title_index + len[""]
>>> start_index
21

>>> end_index = html.find[""]
>>> end_index
39

>>> end_index = html.find[""]
>>> end_index
39

>>> start_index = title_index + len[""]
>>> start_index
21

>>>

>>> title_index = html.find[""]
>>> title_index
14

Tuy nhiên, bạn không muốn chỉ mục của thẻ

>>> end_index = html.find[""]
>>> end_index
39

>>> end_index = html.find[""]
>>> end_index
39

>>> end_index = html.find[""]
>>> end_index
39

>>>

>>> start_index = title_index + len[""]
>>> start_index
21

Bây giờ hãy lấy chỉ mục của thẻ đóng

>>> end_index = html.find[""]
>>> end_index
39

>>> title = html[start_index:end_index]
>>> title
'Profile: Aphrodite'

>>> start_index = title_index + len[""]
>>> start_index
21

>>>

>>> end_index = html.find[""]
>>> end_index
39

Cuối cùng, bạn có thể trích xuất tiêu đề bằng cách cắt chuỗi

>>> title = html[start_index:end_index]
>>> title
'Profile: Aphrodite'

>>>

>>> title = html[start_index:end_index]
>>> title
'Profile: Aphrodite'

HTML trong thế giới thực có thể phức tạp hơn nhiều và khó dự đoán hơn nhiều so với HTML trên trang hồ sơ Aphrodite. Đây là một trang hồ sơ khác với một số HTML lộn xộn hơn mà bạn có thể cạo

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Hãy thử trích xuất tiêu đề từ URL mới này bằng phương pháp tương tự như trong ví dụ trước

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Rất tiếc. Có một chút HTML trộn lẫn với tiêu đề. Tại sao vậy?

HTML cho trang

>>> title = html[start_index:end_index]
>>> title
'Profile: Aphrodite'

>>> title = html[start_index:end_index]
>>> title
'Profile: Aphrodite'

>>> end_index = html.find[""]
>>> end_index
39

>>> title = html[start_index:end_index]
>>> title
'Profile: Aphrodite'

>>> title = html[start_index:end_index]
>>> title
'Profile: Aphrodite'

>>> title = html[start_index:end_index]
>>> title
'Profile: Aphrodite'

>>> title = html[start_index:end_index]
>>> title
'Profile: Aphrodite'

>>> end_index = html.find[""]
>>> end_index
39

>>> title = html[start_index:end_index]
>>> title
'Profile: Aphrodite'

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Ký tự tại chỉ mục

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> title = html[start_index:end_index]
>>> title
'Profile: Aphrodite'

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> end_index = html.find[""]
>>> end_index
39

Những loại vấn đề này có thể xảy ra theo vô số cách không thể đoán trước. Bạn cần một cách đáng tin cậy hơn để trích xuất văn bản từ HTML

Làm quen với biểu thức chính quy

Cụm từ thông dụng—hay gọi tắt là biểu thức chính quy—là các mẫu mà bạn có thể sử dụng để tìm kiếm văn bản trong một chuỗi. Python hỗ trợ các biểu thức chính quy thông qua mô-đun

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Ghi chú. Biểu thức chính quy không dành riêng cho Python. Chúng là một khái niệm lập trình chung và được hỗ trợ trong nhiều ngôn ngữ lập trình

Để làm việc với các biểu thức chính quy, điều đầu tiên bạn cần làm là nhập mô-đun

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Biểu thức chính quy sử dụng các ký tự đặc biệt được gọi là siêu ký tự để biểu thị các mẫu khác nhau. Chẳng hạn, ký tự dấu hoa thị [_______5_______15] là viết tắt của 0 hoặc nhiều trường hợp của bất kỳ thứ gì xuất hiện ngay trước dấu hoa thị

Trong ví dụ sau, bạn sử dụng

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Đối số đầu tiên của

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Biểu thức chính quy

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Đây là cùng một mẫu được áp dụng cho các chuỗi khác nhau

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Lưu ý rằng nếu không tìm thấy kết quả khớp, thì

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Khớp mẫu có phân biệt chữ hoa chữ thường. Nếu bạn muốn khớp mẫu này bất kể trường hợp nào, thì bạn có thể chuyển đối số thứ ba có giá trị

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Bạn có thể sử dụng dấu chấm [

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Mẫu

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Thông thường, bạn sử dụng

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Các chi tiết của

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Có thêm một chức năng trong mô-đun

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Các đối số được chuyển đến

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>>

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Có lẽ đó không phải là những gì bạn mong đợi sẽ xảy ra

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> title = html[start_index:end_index]
>>> title
'Profile: Aphrodite'

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Ngoài ra, bạn có thể sử dụng mẫu so khớp không tham lam

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>>

>>> page = urlopen[url]

Lần này,

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Trích xuất văn bản từ HTML bằng biểu thức chính quy

Được trang bị tất cả những kiến ​​thức này, bây giờ hãy thử phân tích tiêu đề từ một trang hồ sơ khác, bao gồm dòng HTML được viết khá cẩu thả này

>>> page = urlopen[url]

Phương thức

>>> start_index = title_index + len[""]
>>> start_index
21

>>> page = urlopen[url]

Hãy xem xét kỹ hơn biểu thức chính quy đầu tiên trong chuỗi

>>> url = "//olympus.realpython.org/profiles/aphrodite"

1. >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   61 khớp với thẻ mở đầu

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   62 trong

   >>> title = html[start_index:end_index]
   >>> title
   'Profile: Aphrodite'
   

   2. Phần

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   64 của mẫu khớp với

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   65 vì

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   35 được gọi với

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   27 và

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   68 khớp với bất kỳ văn bản nào sau

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   65 cho đến phiên bản đầu tiên của

   >>> title = html[start_index:end_index]
   >>> title
   'Profile: Aphrodite'
   

   6

2. >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   71 đối sánh không tham lam tất cả văn bản sau phần mở đầu

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   62, dừng ở đối sánh đầu tiên cho

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   73

3. >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   73 khác với mẫu đầu tiên chỉ ở việc sử dụng ký tự

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   75, vì vậy nó khớp với thẻ đóng

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   76 trong

   >>> title = html[start_index:end_index]
   >>> title
   'Profile: Aphrodite'
   

   2

Biểu thức chính quy thứ hai, chuỗi

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Ghi chú. Quét web bằng Python hoặc bất kỳ ngôn ngữ nào khác có thể rất tẻ nhạt. Không có hai trang web nào được tổ chức theo cùng một cách và HTML thường lộn xộn. Hơn nữa, các trang web thay đổi theo thời gian. Công cụ quét web hoạt động ngày hôm nay không được bảo đảm sẽ hoạt động vào năm tới—hoặc tuần tới, vì vấn đề đó

Biểu thức chính quy là một công cụ mạnh mẽ khi được sử dụng đúng cách. Trong phần giới thiệu này, bạn hầu như không làm trầy xước bề mặt. Để biết thêm về biểu thức chính quy và cách sử dụng chúng, hãy xem loạt bài gồm hai phần Biểu thức chính quy. Regex trong Python

Kiểm tra việc hiểu của bạn

Mở rộng khối bên dưới để kiểm tra sự hiểu biết của bạn

Tập thể dục. Cạo dữ liệu từ một trang webHiển thị/Ẩn

Viết chương trình lấy toàn bộ HTML từ URL sau

>>>

>>> page = urlopen[url]

Sau đó sử dụng

>>> start_index = title_index + len[""]
>>> start_index
21

Bạn có thể mở rộng khối bên dưới để xem giải pháp

Giải pháp. Cạo dữ liệu từ một trang webHiển thị/Ẩn

Đầu tiên, nhập hàm

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> page = urlopen[url]

Sau đó mở URL và sử dụng phương thức

>>> start_index = title_index + len[""]
>>> start_index
21

>>> start_index = title_index + len[""]
>>> start_index
21

>>> title_index = html.find[""]
>>> title_index
14

>>> page = urlopen[url]

Phương thức

>>> start_index = title_index + len[""]
>>> start_index
21

>>> start_index = title_index + len[""]
>>> start_index
21

Bây giờ bạn đã có nguồn HTML của trang web dưới dạng một chuỗi được gán cho biến

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Bạn có thể lấy tên bằng cách tìm chuỗi

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Vòng lặp

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> page = urlopen[url]

Có vẻ như có rất nhiều thứ đang diễn ra trong vòng lặp

>>> url = "//olympus.realpython.org/profiles/aphrodite"

1. Bạn sử dụng

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   97 để tìm chỉ mục bắt đầu của chuỗi, hoặc là

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   92 hoặc

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   99, sau đó gán chỉ mục cho

   >>> page = urlopen[url]
   

   00

2. Vì văn bản cần trích xuất bắt đầu ngay sau dấu hai chấm trong

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   92 hoặc

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   99, nên bạn lấy chỉ mục của ký tự ngay sau dấu hai chấm bằng cách thêm độ dài của chuỗi vào

   >>> page = urlopen[url]
   

   03, sau đó gán kết quả cho

   >>> page = urlopen[url]
   

   04

3. Bạn tính toán chỉ số kết thúc của văn bản cần trích xuất bằng cách xác định chỉ số của dấu ngoặc nhọn đầu tiên [

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   09] so với

   >>> page = urlopen[url]
   

   04 và gán giá trị này cho

   >>> page = urlopen[url]
   

   07. Sau đó, bạn thêm giá trị đó vào

   >>> page = urlopen[url]
   

   04 và gán kết quả cho

   >>> page = urlopen[url]
   

   09

4. Bạn trích xuất văn bản bằng cách cắt

   >>> url = "//olympus.realpython.org/profiles/aphrodite"
   

   91 từ

   >>> page = urlopen[url]
   

   04 thành

   >>> page = urlopen[url]
   

   09 và gán chuỗi này cho

   >>> page = urlopen[url]
   

   13

5. Bạn xóa mọi khoảng trắng ở đầu và cuối của

   >>> page = urlopen[url]
   

   13 bằng cách sử dụng

   >>> page = urlopen[url]
   

   15 và gán kết quả cho

   >>> page = urlopen[url]
   

   16

Ở cuối vòng lặp, bạn sử dụng

>>> page = urlopen[url]

>>> page = urlopen[url]

Giải pháp này là một trong nhiều giải pháp giải quyết vấn đề này, vì vậy nếu bạn nhận được kết quả tương tự với một giải pháp khác, thì bạn đã làm rất tốt

Khi bạn đã sẵn sàng, bạn có thể chuyển sang phần tiếp theo

Cài Đặt Súp Đẹp

Để cài đặt Beautiful Soup, bạn có thể chạy lệnh sau trong thiết bị đầu cuối của mình

>>> page = urlopen[url]

Với lệnh này, bạn đang cài đặt phiên bản Beautiful Soup mới nhất vào môi trường Python toàn cầu của mình

Tạo một đối tượng

>>> page = urlopen[url]

18

Nhập chương trình sau vào cửa sổ soạn thảo mới

>>> page = urlopen[url]

Chương trình này thực hiện ba điều

1. Mở URL

   >>> page = urlopen[url]
   

   19 bằng cách sử dụng

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   8 từ mô-đun

   >>> title_index = html.find[""]
   >>> title_index
   14
   

   7

2. Đọc HTML từ trang dưới dạng chuỗi và gán nó cho biến

   >>> title = html[start_index:end_index]
   >>> title
   'Profile: Aphrodite'
   

   2

3. Tạo một đối tượng

   >>> page = urlopen[url]
   

   18 và gán nó cho biến

   >>> page = urlopen[url]
   

   24

Đối tượng

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

Sử dụng một đối tượng

>>> page = urlopen[url]

18

Lưu và chạy chương trình trên. Khi nó chạy xong, bạn có thể sử dụng biến

>>> page = urlopen[url]

>>> title = html[start_index:end_index]
>>> title
'Profile: Aphrodite'

Ghi chú. Nếu bạn không sử dụng IDLE, thì bạn có thể chạy chương trình của mình với cờ

>>> page = urlopen[url]

>>> page = urlopen[url]

Ví dụ: các đối tượng

>>> page = urlopen[url]

>>> page = urlopen[url]

Nhập mã sau vào cửa sổ tương tác của IDLE hoặc ở cuối mã trong trình chỉnh sửa của bạn

>>>

>>> page

Có rất nhiều dòng trống trong đầu ra này. Đây là kết quả của các ký tự xuống dòng trong văn bản của tài liệu HTML. Bạn có thể loại bỏ chúng bằng phương pháp chuỗi

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Thông thường, bạn chỉ cần lấy văn bản cụ thể từ tài liệu HTML. Trước tiên, sử dụng Beautiful Soup để trích xuất văn bản và sau đó sử dụng phương pháp chuỗi

>>> start_index = title_index + len[""]
>>> start_index
21

Tuy nhiên, những lần khác, chính các thẻ HTML là các yếu tố chỉ ra dữ liệu bạn muốn truy xuất. Chẳng hạn, có lẽ bạn muốn truy xuất URL cho tất cả các hình ảnh trên trang. Các liên kết này được chứa trong thuộc tính

>>> page = urlopen[url]

>>> page = urlopen[url]

Trong trường hợp này, bạn có thể sử dụng

>>> page = urlopen[url]

>>>

>>> page

Điều này trả về một danh sách tất cả các thẻ

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

Bạn có thể khám phá điều này một chút bằng cách lần đầu tiên giải nén các đối tượng

>>> page = urlopen[url]

>>>

>>> page

Mỗi đối tượng

>>> page = urlopen[url]

>>> page = urlopen[url]

>>>

>>> page

Bạn có thể truy cập các thuộc tính HTML của đối tượng

>>> page = urlopen[url]

Ví dụ: thẻ

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

Để lấy nguồn của các hình ảnh trong trang hồ sơ Dionysus, bạn truy cập thuộc tính

>>> page = urlopen[url]

>>>

>>> page

Một số thẻ trong tài liệu HTML có thể được truy cập bởi các thuộc tính của đối tượng

>>> page = urlopen[url]

>>> end_index = html.find[""]
>>> end_index
39

>>> page = urlopen[url]

>>>

>>> page

Nếu bạn xem nguồn của hồ sơ Dionysus bằng cách điều hướng đến trang hồ sơ, nhấp chuột phải vào trang và chọn Xem nguồn trang, thì bạn sẽ nhận thấy rằng thẻ

>>> end_index = html.find[""]
>>> end_index
39

Beautiful Soup tự động dọn sạch các thẻ cho bạn bằng cách loại bỏ khoảng trống thừa trong thẻ mở và dấu gạch chéo lên phía trước không liên quan [_______5_______75] trong thẻ đóng

Bạn cũng có thể chỉ truy xuất chuỗi giữa các thẻ tiêu đề với thuộc tính

>>> page = urlopen[url]

>>> page = urlopen[url]

>>>

>>> page

Một trong những tính năng của Beautiful Soup là khả năng tìm kiếm các loại thẻ cụ thể có thuộc tính khớp với các giá trị nhất định. Ví dụ: nếu bạn muốn tìm tất cả các thẻ

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

>>>

>>> page

Ví dụ này hơi tùy ý và tính hữu ích của kỹ thuật này có thể không rõ ràng từ ví dụ. Nếu bạn dành thời gian duyệt các trang web khác nhau và xem nguồn trang của chúng, thì bạn sẽ nhận thấy rằng nhiều trang web có cấu trúc HTML cực kỳ phức tạp

Khi cạo dữ liệu từ các trang web bằng Python, bạn thường quan tâm đến các phần cụ thể của trang. Bằng cách dành thời gian xem qua tài liệu HTML, bạn có thể xác định các thẻ có thuộc tính duy nhất mà bạn có thể sử dụng để trích xuất dữ liệu mình cần

Sau đó, thay vì dựa vào các biểu thức chính quy phức tạp hoặc sử dụng

>>> start_index = title_index + len[""]
>>> start_index
21

Trong một số trường hợp, bạn có thể thấy rằng Beautiful Soup không cung cấp chức năng mà bạn cần. Thư viện hơi phức tạp hơn để bắt đầu nhưng cung cấp tính linh hoạt hơn nhiều so với Beautiful Soup để phân tích tài liệu HTML. Bạn có thể muốn kiểm tra nó sau khi cảm thấy thoải mái khi sử dụng Beautiful Soup

Ghi chú. Các trình phân tích cú pháp HTML như Beautiful Soup có thể giúp bạn tiết kiệm rất nhiều thời gian và công sức khi định vị dữ liệu cụ thể trong các trang web. Tuy nhiên, đôi khi HTML được viết kém và lộn xộn đến mức ngay cả một trình phân tích cú pháp tinh vi như Beautiful Soup cũng không thể diễn giải đúng các thẻ HTML

Trong trường hợp này, bạn thường phải sử dụng

>>> start_index = title_index + len[""]
>>> start_index
21

Beautiful Soup rất tốt để thu thập dữ liệu từ HTML của trang web, nhưng nó không cung cấp bất kỳ cách nào để làm việc với biểu mẫu HTML. Ví dụ: nếu bạn cần tìm kiếm một số truy vấn trên một trang web và sau đó thu thập kết quả, thì một mình Beautiful Soup sẽ không giúp bạn tiến xa được

Kiểm tra việc hiểu của bạn

Mở rộng khối bên dưới để kiểm tra sự hiểu biết của bạn

Tập thể dục. Phân tích cú pháp HTML bằng Beautiful SoupHiển thị/Ẩn

Viết chương trình lấy toàn bộ HTML từ trang tại URL

>>> page = urlopen[url]

Sử dụng Beautiful Soup, in ra danh sách tất cả các liên kết trên trang bằng cách tìm các thẻ HTML có tên

>>> page = urlopen[url]

>>> page = urlopen[url]

Đầu ra cuối cùng sẽ trông như thế này

>>> page

Đảm bảo rằng bạn chỉ có một dấu gạch chéo [

>>> url = "//olympus.realpython.org/profiles/aphrodite"

Bạn có thể mở rộng khối bên dưới để xem giải pháp

Giải pháp. Phân tích cú pháp HTML bằng Beautiful SoupHiển thị/Ẩn

Đầu tiên, nhập hàm

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page

Mỗi URL liên kết trên trang

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> html_bytes = page.read[]
>>> html = html_bytes.decode["utf-8"]

Bạn có thể tạo một URL đầy đủ bằng cách nối

>>> page = urlopen[url]

Bây giờ hãy mở trang

>>> page = urlopen[url]

>>> title_index = html.find[""]
>>> title_index
14

>>> start_index = title_index + len[""]
>>> start_index
21

>>> html_bytes = page.read[]
>>> html = html_bytes.decode["utf-8"]

Với nguồn HTML được tải xuống và giải mã, bạn có thể tạo một đối tượng

>>> page = urlopen[url]

>>> html_bytes = page.read[]
>>> html = html_bytes.decode["utf-8"]

>>> page = urlopen[url]

>>> html_bytes = page.read[]
>>> html = html_bytes.decode["utf-8"]

Bạn có thể truy cập URL tương đối cho mỗi liên kết thông qua chỉ số phụ

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

Khi bạn đã sẵn sàng, bạn có thể chuyển sang phần tiếp theo

Cài đặt MechanicalSoup

Bạn có thể cài đặt MechanicalSoup với

>>> page = urlopen[url]

>>> html_bytes = page.read[]
>>> html = html_bytes.decode["utf-8"]

Bạn sẽ cần đóng và khởi động lại phiên IDLE của mình để MechanicalSoup tải và được nhận dạng sau khi cài đặt

Tạo một đối tượng

>>> page = urlopen[url]

89

Nhập nội dung sau vào cửa sổ tương tác của IDLE

>>>

>>> html_bytes = page.read[]
>>> html = html_bytes.decode["utf-8"]

>>> page = urlopen[url]

>>> page = urlopen[url]

>>>

>>> html_bytes = page.read[]
>>> html = html_bytes.decode["utf-8"]

>>> page = urlopen[url]

>>> page = urlopen[url]

>>>

>>> html_bytes = page.read[]
>>> html = html_bytes.decode["utf-8"]

Số

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

MechanicalSoup sử dụng Beautiful Soup để phân tích cú pháp HTML từ yêu cầu và

>>> page = urlopen[url]

>>> page = urlopen[url]

>>> page = urlopen[url]

>>>

>>> html_bytes = page.read[]
>>> html = html_bytes.decode["utf-8"]

Bạn có thể xem HTML bằng cách kiểm tra thuộc tính

>>> page = urlopen[url]

>>>

>>> html_bytes = page.read[]
>>> html = html_bytes.decode["utf-8"]

Lưu ý rằng trang này có một

>>> page

>>> page

Gửi biểu mẫu với MechanicalSoup

Mở trang

>>> page

Hãy thử nhập kết hợp tên người dùng và mật khẩu ngẫu nhiên. Nếu bạn đoán sai, thì thông báo Sai tên người dùng hoặc mật khẩu. được hiển thị ở dưới cùng của trang

Tuy nhiên, nếu bạn cung cấp thông tin đăng nhập chính xác thì bạn sẽ được chuyển hướng đến trang

>>> page = urlopen[url]

UsernamePassword

>>> page

>>> page

Trong ví dụ tiếp theo, bạn sẽ thấy cách sử dụng MechanicalSoup để điền và gửi biểu mẫu này bằng Python

Phần quan trọng của mã HTML là biểu mẫu đăng nhập—nghĩa là mọi thứ bên trong thẻ

>>> page

>>> page

>>> page

>>> page

>>> page

>>> page

>>> page

>>> page

Bây giờ bạn đã biết cấu trúc cơ bản của biểu mẫu đăng nhập, cũng như thông tin đăng nhập cần thiết để đăng nhập, hãy xem một chương trình điền vào biểu mẫu và gửi biểu mẫu đó

Trong cửa sổ soạn thảo mới, gõ vào chương trình sau

>>> print[html]


Profile: Aphrodite







Name: Aphrodite



Favorite animal: Dove



Favorite color: Red



Hometown: Mount Olympus

Lưu tệp và nhấn F5 để chạy tệp. Để xác nhận rằng bạn đã đăng nhập thành công, hãy nhập thông tin sau vào cửa sổ tương tác.

>>>

>>> print[html]


Profile: Aphrodite







Name: Aphrodite



Favorite animal: Dove



Favorite color: Red



Hometown: Mount Olympus

Bây giờ chia nhỏ ví dụ trên

1. Bạn tạo một phiên bản

   >>> page = urlopen[url]
   

   89 và sử dụng nó để yêu cầu URL

   >>> page
   
   

   17. Bạn gán nội dung HTML của trang cho biến

   >>> page
   
   

   18 bằng cách sử dụng thuộc tính

   >>> page = urlopen[url]
   

   99

2. >>> page
   
   

   20 trả về danh sách tất cả các phần tử

   >>> page
   
   

   02 trên trang. Vì trang chỉ có một phần tử

   >>> page
   
   

   02 nên bạn có thể truy cập biểu mẫu bằng cách truy xuất phần tử tại chỉ mục

   >>> page
   
   

   23 của danh sách. Khi chỉ có một biểu mẫu trên một trang, bạn cũng có thể sử dụng

   >>> page
   
   

   24. Hai dòng tiếp theo chọn đầu vào tên người dùng và mật khẩu và đặt giá trị của chúng lần lượt là

   >>> page
   
   

   25 và

   >>> page
   
   

   26

3. Bạn gửi biểu mẫu với

   >>> page
   
   

   27. Lưu ý rằng bạn truyền hai đối số cho phương thức này, đối tượng

   >>> page
   
   

   28 và URL của

   >>> page
   
   

   29 mà bạn truy cập thông qua

   >>> page
   
   

   30

Trong cửa sổ tương tác, bạn xác nhận rằng nội dung gửi đã được chuyển hướng thành công đến trang

>>> page = urlopen[url]

>>> page

>>> page

Ghi chú. Tin tặc có thể sử dụng các chương trình tự động như chương trình ở trên để bắt buộc đăng nhập bằng cách nhanh chóng thử nhiều tên người dùng và mật khẩu khác nhau cho đến khi chúng tìm thấy sự kết hợp hoạt động

Bên cạnh việc điều này rất bất hợp pháp, hầu hết tất cả các trang web ngày nay đều khóa bạn và báo cáo địa chỉ IP của bạn nếu họ thấy bạn thực hiện quá nhiều yêu cầu không thành công, vì vậy đừng thử

Bây giờ bạn đã có bộ biến

>>> page

>>> page = urlopen[url]

Để làm điều này, bạn sử dụng lại

>>> page

>>> url = "//olympus.realpython.org/profiles/aphrodite"

>>> page

>>>

>>> print[html]


Profile: Aphrodite







Name: Aphrodite



Favorite animal: Dove



Favorite color: Red



Hometown: Mount Olympus

Bây giờ bạn có thể lặp qua từng liên kết và in thuộc tính

>>> page = urlopen[url]

>>>

>>> print[html]


Profile: Aphrodite







Name: Aphrodite



Favorite animal: Dove



Favorite color: Red



Hometown: Mount Olympus

Các URL có trong mỗi thuộc tính

>>> page = urlopen[url]

Trong trường hợp này, URL cơ sở chỉ là

>>> page

>>> page = urlopen[url]

>>>

>>> print[html]


Profile: Aphrodite







Name: Aphrodite



Favorite animal: Dove



Favorite color: Red



Hometown: Mount Olympus

Bạn có thể làm được rất nhiều việc chỉ với

>>> page = urlopen[url]

>>> page

>>> page

Kiểm tra việc hiểu của bạn

Mở rộng khối bên dưới để kiểm tra sự hiểu biết của bạn

Tập thể dục. Gửi biểu mẫu bằng MechanicalSoupHiển thị/Ẩn

Sử dụng MechanicalSoup để cung cấp đúng tên người dùng [

>>> page

>>> page

>>> page

Sau khi biểu mẫu được gửi, hãy hiển thị tiêu đề của trang hiện tại để xác định rằng bạn đã được chuyển hướng đến trang

>>> page = urlopen[url]

Chương trình của bạn sẽ in văn bản

>>> page

Bạn có thể mở rộng khối bên dưới để xem giải pháp

Giải pháp. Gửi biểu mẫu bằng MechanicalSoupHiển thị/Ẩn

Đầu tiên, nhập gói

>>> page

>>> page

>>> print[html]


Profile: Aphrodite







Name: Aphrodite



Favorite animal: Dove



Favorite color: Red



Hometown: Mount Olympus

Trỏ trình duyệt đến trang đăng nhập bằng cách chuyển URL tới

>>> page

>>> page = urlopen[url]

>>> print[html]


Profile: Aphrodite







Name: Aphrodite



Favorite animal: Dove



Favorite color: Red



Hometown: Mount Olympus

>>> page

>>> page = urlopen[url]

>>> page

>>> page

>>> page

>>> page

>>> print[html]


Profile: Aphrodite







Name: Aphrodite



Favorite animal: Dove



Favorite color: Red



Hometown: Mount Olympus

Bây giờ biểu mẫu đã được điền đầy đủ, bạn có thể gửi nó cùng với

>>> page

>>> print[html]


Profile: Aphrodite







Name: Aphrodite



Favorite animal: Dove



Favorite color: Red



Hometown: Mount Olympus

Nếu bạn điền đúng tên người dùng và mật khẩu vào biểu mẫu, thì

>>> page

>>> page = urlopen[url]

>>> page

>>> print[html]


Profile: Aphrodite







Name: Aphrodite



Favorite animal: Dove



Favorite color: Red



Hometown: Mount Olympus

Bạn sẽ thấy văn bản sau được hiển thị

>>> title_index = html.find[""]
>>> title_index
14

Nếu thay vào đó, bạn thấy văn bản

>>> page

Khi bạn đã sẵn sàng, bạn có thể chuyển sang phần tiếp theo