Python tải xuống tất cả các tệp từ url

1

2

3

.. .

# nhận tất cả các giá trị href (liên kết) hoặc Không có nếu không có (không chắc)

return [t. lấy('href', None) for t in atags]

Liên kết tất cả những thứ này lại với nhau, get_urls_from_html() .

1

2

3

4

5

6

7

8

9

10

Chúng tôi sẽ lưu tất cả các tệp trong thư mục cục bộ trong thư mục con tmp/ .

1

2

3

.. .

# thư mục cục bộ để lưu tất cả các tệp trên trang html

ĐƯỜNG = 'tmp'

Sau đó, chúng ta có thể gọi hàm download_all_files() .

1

2

3

.. .

# tải xuống tất cả các tệp trên trang web html

download_all_files(URL, PATH)

Liên kết điều này lại với nhau, ví dụ hoàn chỉnh về việc tải xuống tất cả các tệp trên trang web HTML được liệt kê bên dưới

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

#Trăn Siêu Nhanh. com

# tải xuống tuần tự tất cả các tệp từ một trang web

from os import makedirs

from os. đường dẫn nhập tên cơ sở

from os. path import join

từ urllib. yêu cầu nhập urlopen

từ urllib. phân tích cú pháp nhập urljoin

từ bs4 nhập BeautifulSoup

# tải tệp từ một URL, trả về nội dung của tệp đã tải xuống

def download_url(đường dẫn url):

    # mở kết nối với máy chủ

    với urlopen(đường dẫn url) as connection:

        # đọc nội dung của url dưới dạng byte và gửi lại

        trả lại kết nối. đọc()

Nói chung là,

Using the

1. Create the thread pool by calling ThreadPoolExecutor() .
2. Submit tasks and get futures by calling submit() .
3. Chờ và nhận kết quả khi nhiệm vụ hoàn thành bằng cách gọi as_completed().
4. Tắt nhóm luồng bằng cách gọi shutdown()

Tạo nhóm chủ đề

First, a

Theo mặc định, nó sẽ tạo ra một nhóm luồng bằng với số lõi CPU hợp lý trong hệ thống của bạn cộng với bốn.

Điều này là tốt cho hầu hết các mục đích

1

2

3

.. .

# tạo nhóm luồng với số lượng luồng công nhân mặc định

pool = ThreadPoolExecutor()

Bạn có thể chạy hàng chục đến hàng trăm luồng liên kết IO đồng thời trên mỗi CPU, mặc dù có thể không phải hàng nghìn hoặc hàng chục nghìn

Bạn có thể chỉ định số lượng chuỗi sẽ tạo trong nhóm thông qua đối số max_workers ; .

1

2

3

.. .

# create a thread pool with 10 worker threads

pool = ThreadPoolExecutor(max_workers=10)

Gửi nhiệm vụ đến Thread Pool

Sau khi được tạo, chúng tôi có thể gửi các tác vụ vào nhóm để hoàn thành bằng cách sử dụng gửi() . function.

Hàm này lấy tên của hàm để gọi bất kỳ và tất cả các đối số và trả về một đối tượng Tương lai .

Các

1

2

3

.. .

# gửi một nhiệm vụ

future = pool. gửi(my_task, arg1 . , arg2, .. . )

Có thể truy cập kết quả trả về từ một hàm do nhóm luồng thực thi thông qua kết quả() . Nó sẽ đợi cho đến khi có kết quả nếu cần hoặc trả về ngay nếu có kết quả. function on the future object. It will wait until the result is available, if needed, or return immediately if the result is available.

Ví dụ

1

2

3

.. .

# get the result from a future

result = future. kết quả()

Nhận kết quả khi hoàn thành nhiệm vụ

Cái hay của việc thực hiện các nhiệm vụ đồng thời là chúng ta có thể nhận được kết quả khi chúng có sẵn thay vì đợi các nhiệm vụ được hoàn thành theo thứ tự chúng đã được gửi

The đồng thời. futures module provides an as_completed() function that we can use to get results for tasks as they are completed, just like its name suggests.

Chúng ta có thể gọi hàm và cung cấp cho nó danh sách các đối tượng trong tương lai được tạo bằng cách gọi submit( . and it will return future objects as they are completed in whatever order.

For example, we can use a list comprehension to submit the tasks and create the list of future objects

1

2

3

.. .

# submit all tasks into the thread pool and create a list of futures

tương lai = [nhóm. gửi(my_func, nhiệm vụ) for task in tasks]

Then get results for tasks as they complete in a for loop

1

2

3

4

5

6

.. .

# lặp lại tất cả các nhiệm vụ đã gửi và nhận kết quả khi chúng có sẵn

for future in as_completed(futures).

# lấy kết quả

result = future. kết quả()

# làm điều gì đó với kết quả

Tắt nhóm chủ đề

Khi tất cả các tác vụ được hoàn thành, chúng tôi có thể đóng nhóm luồng, thao tác này sẽ giải phóng từng luồng và mọi tài nguyên mà nó có thể giữ (e. g. không gian ngăn xếp)

1

2

3

.. .

# shutdown the thread pool

nhóm. tắt máy()

An easier way to use the thread pool is via the context manager (the with keyword), which ensures it is closed automatically once we are finished with it.

1

2

3

4

5

6

7

8

9

10

.. .

# tạo nhóm chủ đề

với ThreadPoolExecutor(max_workers=10) as pool:

# gửi nhiệm vụ

tương lai = [nhóm. gửi(my_func, nhiệm vụ) for task in tasks]

# nhận kết quả khi chúng có sẵn

for future in as_completed(futures).

# lấy kết quả

result = future. kết quả()

# làm điều gì đó với kết quả

Bây giờ chúng ta đã quen thuộc với ThreadPoolExecutor và cách sử dụng nó, hãy xem cách chúng ta có thể điều chỉnh chương trình tải xuống URL của mình để tạo .

Bối rối với API lớp ThreadPoolExecutor?
Tải xuống bảng cheat PDF MIỄN PHÍ của tôi

Cách tải xuống nhiều tệp đồng thời

Chương trình tải URL xuống tệp có thể được điều chỉnh để sử dụng ThreadPoolExecutor với rất ít thay đổi.

Hàm download_all_files() hiện liệt kê danh sách . download_url_to_file() function for each.

Có thể cập nhật vòng lặp này thành submit() tasks to a

Ví dụ

1

2

3

4

5

6

7

8

9

10

11

12

13

14

.. .

# tạo nhóm chủ đề công nhân

với ThreadPoolExecutor(max_workers=20) as exe:

    # gửi tất cả tác vụ tải xuống tới chuỗi công nhân

    tương lai = [exe.gửi(download_url_to_file, url, link, path) for link in links]

    # báo cáo kết quả khi chúng có sẵn

    cho tương lai trong as_completed(futures):

        # truy xuất kết quả

        liên kết, đường ra = future.kết quả()

        # kiểm tra liên kết đã bị bỏ qua

        nếu đường ra là Không:

            in(f'>đã bỏ qua {link})

        khác.

            in(f'Đã tải {link} xuống)

Ở đây, chúng tôi sử dụng 20 luồng cho tối đa 20 kết nối đồng thời đến máy chủ lưu trữ tệp. Điều này có thể cần được điều chỉnh tùy thuộc vào số lượng kết nối đồng thời được hỗ trợ bởi máy chủ mà bạn muốn tải tệp xuống từ đó

Phiên bản cập nhật của hàm download_all_files() . ThreadPoolExecutor is listed below.

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

# tải xuống tất cả các tệp trên trang web được cung cấp theo đường dẫn được cung cấp

def download_all_files(url, path):

    # tải xuống trang web html

    dữ liệu = download_url(url)

    # tạo thư mục cục bộ để lưu tệp

    makedirs(đường dẫn, exist_ok=True)

    # phân tích cú pháp html và truy xuất tất cả href url được liệt kê

    liên kết = get_urls_from_html(data)

    # tiến trình báo cáo

    print(f'Đã tìm thấy {len(links)

    # tạo nhóm chuỗi công nhân

    với ThreadPoolExecutor(max_workers=20) as exe:

        # gửi tất cả tác vụ tải xuống tới chuỗi công nhân

        hợp đồng tương lai = [exe.gửi(download_url_to_file, url, link, path) for link in links]

        # báo cáo kết quả khi chúng có sẵn

        cho tương lai trong as_completed(futures):

            # truy xuất kết quả

            liên kết, đường ra = future.kết quả()

            # kiểm tra liên kết đã bị bỏ qua

            nếu đường ra là Không:

                        in(f'>đã bỏ qua {link})

            else.

                        in(f'Đã tải {link} xuống)

Liên kết điều này lại với nhau, ví dụ hoàn chỉnh về việc tải xuống đồng thời tất cả các bot quake 1 bằng cách sử dụng

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

#Trăn Siêu Nhanh. com

# tải xuống tuần tự tất cả các tệp từ một trang web

from os import makedirs

from os. đường dẫn nhập tên cơ sở

from os. path import join

từ urllib. yêu cầu nhập urlopen

từ urllib. phân tích cú pháp nhập urljoin

từ đồng thời. tương lai nhập ThreadPoolExecutor

từ đồng thời. tương lai nhập as_completed

từ bs4 nhập BeautifulSoup

# tải tệp từ một URL, trả về nội dung của tệp đã tải xuống

def download_url(đường dẫn url):

    # mở kết nối với máy chủ

    với urlopen(đường dẫn url) as connection:

        # đọc nội dung của url dưới dạng byte và gửi lại

        trả lại kết nối. đọc()

Làm cách nào để tải xuống tất cả các tệp từ URL Python?

Làm cách nào để tải xuống dữ liệu từ URL trong Python?

Tôi có thể sử dụng Python để tải xuống tệp từ trang web không?

Làm cách nào để đọc tệp từ URL trong Python?