Tôi có thể chạy tập lệnh Python trên AWS không?

Vì vậy, xin chào các bạn, Trong blog này, chúng ta sẽ xem cách chúng ta có thể lên lịch một Tập lệnh Python trong AWS Glue như một Công việc. Tôi đã cố gắng làm cho hướng dẫn này dễ dàng nhất có thể

Vì vậy, không có bất kỳ hạn chế nào nữa, hãy làm điều đó…

Đọc toàn bộ bài viết tại đây — https. // dự án máy học. net/schedule-a-python-script-in-aws-glue-as-a-job/

Bước 1 — Tìm kiếm và mở AWS Glue trong tài khoản AWS của bạn

Bước 2 — Mở Công việc từ các Trang Cũ

Bước 3 — Thêm công việc

Bước 4 — Định cấu hình Công việc của bạn

• Đặt tên cho công việc của bạn
• Thay đổi nhóm của bạn nơi Keo sẽ lưu trữ Tập lệnh Python và các tệp tạm thời của bạn
• Nghỉ ngơi giữ mọi thứ như nó là
• Cuộn xuống và nhấp vào Tiếp theo
• Một màn hình như bên dưới sẽ bật lên và nó sẽ yêu cầu bạn tạo kết nối. Tập lệnh Python của tôi không yêu cầu bất kỳ kết nối nào, vì vậy tôi sẽ không chọn bất kỳ kết nối nào
• Bạn có thể nhấp vào Lưu công việc và chỉnh sửa tập lệnh

Bước 5 - Hãy thêm mã Python của chúng tôi

Bây giờ, trong thanh menu bên trái, nhấp vào Công việc [mới] sẽ mở ra bảng điều khiển nơi chúng tôi có thể thêm mã của mình và lên lịch sau

Một màn hình giống như màn hình bên dưới sẽ mở ra nơi bạn cần chọn Công việc dán keo của mình

• Khi bạn nhấp vào Công việc của mình, trình chỉnh sửa mã sẽ mở ra nơi bạn cần dán Mã Python mà bạn muốn lên lịch
• Sau đây là mã demo mà tôi đã viết để kiểm tra Công việc dán keo của mình

• Bây giờ bạn có thể thấy rằng tôi đã nhập pandas và numpy vào mã của mình và chúng chưa có trong môi trường Keo
• Vì vậy, bây giờ chúng tôi sẽ thêm các thư viện này vào môi trường của chúng tôi

Các bước để bao gồm các thư viện bên ngoài

• Mở chi tiết công việc
• Cuộn xuống và nhấp vào Thuộc tính nâng cao
• Cuộn xuống và bên dưới Tham số công việc, nhấp vào 'Thêm tham số mới'
• Bên dưới Khóa thêm ' - mô-đun python bổ sung' và bên dưới Giá trị thêm các thư viện được phân tách bằng dấu phẩy
• Nhấp vào Lưu

Bước 6 — Hãy lên lịch cho Tập lệnh Python trong AWS Glue làm công việc

• Nhấp vào Lịch biểu
• Nhấp vào Tạo lịch biểu
• Thêm Tên và tạo lịch trình

Bước 7 - Hãy chạy nó

• Nhấp vào Chạy và nó sẽ chạy Công việc của bạn
• Và nó sẽ chạy thành công

Bạn cũng có thể xem Tất cả Nhật ký, Nhật ký đầu ra và Nhật ký lỗi trên trang này

Nhật ký đầu ra

Bạn có thể xem các tin nhắn ở đây mà chúng tôi đã in từ mã của chúng tôi

Và đây là cách bạn có thể lên lịch cho Tập lệnh Python trong AWS Glue làm công việc

Vì vậy, đây là tất cả những gì dành cho blog này, cảm ơn vì đã đọc nó và tôi hy vọng bạn sẽ mang theo thứ gì đó sau khi đọc nó và cho đến lần sau?…

Đọc bài viết trước của tôi. Cách dễ nhất để sử dụng trình kích hoạt Amazon S3 để gọi hàm Lambda

Kiểm tra các dự án học máy khác của tôi, dự án học sâu, dự án thị giác máy tính, dự án NLP, dự án Flask tại machinelearningprojects. net

Vậy là bạn đã thiết lập và chạy một phiên bản EC2 trên AWS [Nếu bạn chưa có phiên bản này, hãy xem bài đăng này. https. //trung bình. com/@praneeth. jm/khởi chạy và kết nối với một aws-ec2-instance-6678f660bbe6]

Bây giờ hãy xem cách chúng ta có thể thiết lập môi trường python, chuyển tập lệnh python từ máy cục bộ của bạn sang phiên bản từ xa và chạy chúng

Phiên bản AWS EC2 trên PuTTY

Để xem mọi thứ được cài đặt trong phiên bản của bạn, hãy nhập các lệnh sau

cd /usr/bin/
ls

1. Bạn có thể sẽ thấy python 2. 7 đã được cài đặt, đây là phiên bản cũ hơn, vì vậy hãy tiếp tục và cài đặt python 3. 6

sudo yum install python36

Ngay cả sau khi cài đặt python 3. 6, chạy python --version trong thiết bị đầu cuối Putty vẫn trỏ đến python 2. 7, hãy thay đổi điều đó

alternatives --set python /usr/bin/python3.6python --version

Những gì chúng tôi đã làm ở đó là thay đổi python mặc định thành phiên bản mới hơn, bây giờ nó sẽ trỏ đến python 3. 6

2. Tiếp theo, chúng tôi muốn cài đặt pip3 mà chúng tôi sẽ sử dụng để cài đặt các gói python

cd /tmp
curl -O //bootstrap.pypa.io/get-pip.py
python3 get-pip.py --user
pip3 --version

Bây giờ chúng ta có thể sử dụng pip3 để cài đặt các gói python. Nếu bạn muốn cài đặt gói selen, hãy chạy phần sau trong thiết bị đầu cuối PuTTY của bạn

pip3 install selenium --user

Hãy chuyển tập lệnh python từ máy cục bộ của chúng ta sang phiên bản EC2 và thử chạy tập lệnh đó

1. Trước tiên hãy mở một thiết bị đầu cuối windows trên máy của bạn bằng cmd
2. Sử dụng scp [Giao thức sao chép an toàn] để truyền tệp giữa máy cục bộ và máy chủ từ xa. Lệnh scp có ba đối số, đối số đầu tiên là đường dẫn tệp đến khóa riêng “. pem”, đối số thứ hai là đường dẫn đến vị trí của tệp bạn muốn sao chép từ máy của mình và đối số thứ ba là đường dẫn đến vị trí trên phiên bản mà bạn muốn sao chép tệp đó

scp -i path/to/.pem_file path/to/file   username@host_address.amazonaws.com:/path_to_copy

username@host_address.amazonaws.com trong đoạn mã trên không là gì ngoài tên miền của phiên bản mà bạn có thể tìm thấy trên trang “Xem phiên bản” trên aws

Ví dụ: tôi có tệp khóa riêng “kiểm tra. pem” và tập lệnh python “kiểm tra. py” ở vị trí “D. /ec2/” và tôi muốn sao chép chúng từ máy cục bộ của mình vào thư mục chính của phiên bản ec2

scp -i D:/ec2/test.pem D:/ec2/test.py ec2-user@ec2-18-191-31-0.us-east-2.compute.amazonaws.com:/home/ec2-user

Đảm bảo rằng bạn chạy cái này trong thiết bị đầu cuối dòng lệnh của windows chứ không phải thiết bị đầu cuối PuTTY,. Ghi chú. Nếu bạn gặp lỗi cho biết “Quyền bị từ chối” hoặc “Quyền quá mở”, thì chúng tôi cần thay đổi quyền cho “. pem” tệp khóa riêng tư sao cho chỉ chủ sở hữu mới có quyền truy cập vào tệp đó

3. Nhấp chuột phải vào “. pem” > Chọn Thuộc tính > Nhấp vào tab “Bảo mật” > Nhấp vào “Nâng cao” > Nhấp vào “Vô hiệu hóa kế thừa”. Điều này sẽ xóa tất cả các mục nhập Quyền

4. Bây giờ bạn cần thêm quyền cho chủ sở hữu, vì vậy hãy ghi lại tên người dùng hiển thị là chủ sở hữu trên màn hình. Sau đó Nhấp vào “Thêm” > Nhấp vào “Chọn hiệu trưởng” > Nhập tên chủ sở hữu vào hộp văn bản có nội dung “Nhập tên đối tượng để chọn” > Nhấp vào “Kiểm tra tên”. Bây giờ, tên Chủ sở hữu sẽ xuất hiện trong hộp đó > Nhấp vào OK > Kiểm tra “Kiểm soát hoàn toàn” > Nhấp vào OK

5. Chạy lại lệnh scp ngay bây giờ và bạn sẽ thấy các tệp của mình được chuyển sang phiên bản EC2

Bây giờ hãy kết nối với phiên bản EC2 trong PuTTY và nhập vào ls , thao tác này sẽ cung cấp cho bạn danh sách tất cả các tệp trong thư mục làm việc hiện tại, bây giờ bạn sẽ thấy phần “kiểm tra. py” là tập lệnh python để in “Xin chào thế giới”. Chạy tập lệnh đó bằng cách sử dụng

sudo yum install python36

0 và bạn sẽ thấy đầu ra

Nếu bạn muốn mở tệp python, xem nội dung của nó và thay đổi nó, bạn có thể sử dụng các lệnh Linux sau trong thiết bị đầu cuối PuTTY

sudo yum install python36

1 mở tập lệnh python để xem. Nếu bạn muốn chỉnh sửa tệp, hãy nhấn

sudo yum install python36

2 sau đó chỉnh sửa tệp bằng bàn phím, sau khi bạn thực hiện xong các thay đổi, hãy nhấn phím thoát rồi nhập

sudo yum install python36

3 và nhấn phím enter, để ghi các thay đổi vào tệp và thoát

Bạn cũng có thể thiết lập một công việc định kỳ để tự động chạy các tập lệnh python tại một khoảng thời gian hoặc khoảng thời gian cụ thể trong phiên bản ec2 của bạn. Để làm điều này

1. Bắt đầu dịch vụ định kỳ

   sudo yum install python36

   4
2. Chỉnh sửa tệp crontab bằng cách sử dụng

   sudo yum install python36

   5
3. Thêm đường dẫn tệp của tệp bạn muốn chạy. Nhấn phím “i” để bắt đầu chỉnh sửa tệp và sau đó thêm

   sudo yum install python36

   6. Đảm bảo rằng bạn cung cấp đường dẫn đầy đủ tới tập lệnh python mà bạn muốn chạy

Chuỗi thời gian cron là năm giá trị được phân tách bằng dấu cách, mỗi giá trị chỉ định phút [0–59], giờ [0–23], ngày trong tháng [1–31], tháng [1–12] và ngày trong tuần [0

Nếu bạn thêm dấu gạch chéo [ / ] và một số nguyên vào ký tự đại diện ở bất kỳ vị trí ký tự nào, bạn có thể định cấu hình tác vụ định kỳ để chạy theo khoảng thời gian đều đặn

Nếu bạn muốn thực hiện một số thao tác quét web bằng Selenium và ChromeDriver, hãy xem bài đăng tiếp theo của tôi. https. //trung bình. com/@praneeth. jm/running-chromedriver-and-selenium-in-python-on-an-aws-ec2-instance-2fb4ad633bb5