ThreadPoolExecutor yêu cầu Python

API của chúng tôi được thiết kế để cho phép bạn có nhiều thao tác cạo đồng thời. Điều đó có nghĩa là bạn có thể tăng tốc độ quét hàng trăm, hàng nghìn hoặc thậm chí hàng triệu trang mỗi ngày, tùy thuộc vào kế hoạch của bạn

Bạn càng có nhiều yêu cầu đồng thời giới hạn, bạn càng có nhiều cuộc gọi hoạt động song song và bạn có thể cạo càng nhanh

Tiện ích bổ sung nhỏ cho thư viện http yêu cầu python. Sử dụng python 3. 2 đồng thời. tương lai hoặc backport cho các phiên bản trước của python

API bổ sung và các thay đổi là tối thiểu và cố gắng tránh những bất ngờ

Mã đồng bộ sau

from requests import Session

session = Session[]
# first requests starts and blocks until finished
response_one = session.get['//httpbin.org/get']
# second request starts once first is finished
response_two = session.get['//httpbin.org/get?foo=bar']
# both requests are complete
print['response one status: {0}'.format[response_one.status_code]]
print[response_one.content]
print['response two status: {0}'.format[response_two.status_code]]
print[response_two.content]

Có thể được dịch để sử dụng tương lai và do đó không đồng bộ bằng cách tạo FuturesSession và bắt Tương lai được trả về thay cho Phản hồi. Phản hồi có thể được truy xuất bằng cách gọi phương thức kết quả trên Tương lai

from requests_futures.sessions import FuturesSession

session = FuturesSession[]
# first request is started in background
future_one = session.get['//httpbin.org/get']
# second requests is started immediately
future_two = session.get['//httpbin.org/get?foo=bar']
# wait for the first request to complete, if it hasn't already
response_one = future_one.result[]
print['response one status: {0}'.format[response_one.status_code]]
print[response_one.content]
# wait for the second request to complete, if it hasn't already
response_two = future_two.result[]
print['response two status: {0}'.format[response_two.status_code]]
print[response_two.content]

Theo mặc định, ThreadPoolExecutor được tạo với 8 công nhân. Nếu bạn muốn điều chỉnh giá trị đó hoặc chia sẻ trình thực thi trong nhiều phiên, bạn có thể cung cấp một trình tạo cho hàm tạo FuturesSession

from concurrent.futures import ThreadPoolExecutor
from requests_futures.sessions import FuturesSession

session = FuturesSession[executor=ThreadPoolExecutor[max_workers=10]]
# ...

Là một lối tắt trong trường hợp chỉ tăng số công nhân, bạn có thể chuyển thẳng max_workers tới hàm tạo FuturesSession

from requests_futures.sessions import FuturesSession
session = FuturesSession[max_workers=10]

FutureSession sẽ sử dụng một đối tượng phiên hiện có nếu được cung cấp

from requests import session
from requests_futures.sessions import FuturesSession
my_session = session[]
future_session = FuturesSession[session=my_session]

Đó là nó. api của yêu cầu. Phiên được giữ nguyên mà không có bất kỳ sửa đổi nào ngoài việc trả về Tương lai thay vì Phản hồi. Như với tất cả các ngoại lệ tương lai được chuyển [ném] sang tương lai. result[] gọi vì vậy hãy thử/ngoại trừ các khối nên được chuyển đến đó

from requests_futures.sessions import FuturesSession
with FuturesSession[max_workers=1] as session:
    future = session.get['//httpbin.org/get']
    future2 = session.get['//httpbin.org/delay/10']
    future3 = session.get['//httpbin.org/delay/10']
    response = future.result[]

from pprint import pprint
from requests_futures.sessions import FuturesSession

session = FuturesSession[]

def response_hook[resp, *args, **kwargs]:
    # parse the json storing the result on the response object
    resp.data = resp.json[]

future = session.get['//httpbin.org/get', hooks={
    'response': response_hook,
}]
# do some other stuff, send some more requests while this one works
response = future.result[]
print['response status {0}'.format[response.status_code]]
# data will have been attached to the response object in the background
pprint[response.data]

from pprint import pprint
from requests_futures.sessions import FuturesSession

def response_hook[resp, *args, **kwargs]:
    # parse the json storing the result on the response object
    resp.data = resp.json[]

session = FuturesSession[]
session.hooks['response'] = response_hook

future = session.get['//httpbin.org/get']
# do some other stuff, send some more requests while this one works
response = future.result[]
print['response status {0}'.format[response.status_code]]
# data will have been attached to the response object in the background
pprint[response.data]   pprint[response.data]

from concurrent.futures import ProcessPoolExecutor
from requests_futures.sessions import FuturesSession

session = FuturesSession[executor=ProcessPoolExecutor[max_workers=10]]
# .. use as before