Tôi có thể chạy tập lệnh Python trên AWS không?
Vì vậy, xin chào các bạn, Trong blog này, chúng ta sẽ xem cách chúng ta có thể lên lịch một Tập lệnh Python trong AWS Glue như một Công việc. Tôi đã cố gắng làm cho hướng dẫn này dễ dàng nhất có thể Vì vậy, không có bất kỳ hạn chế nào nữa, hãy làm điều đó… Đọc toàn bộ bài viết tại đây — https. // dự án máy học. net/schedule-a-python-script-in-aws-glue-as-a-job/ Bước 1 — Tìm kiếm và mở AWS Glue trong tài khoản AWS của bạn
Bây giờ, trong thanh menu bên trái, nhấp vào Công việc (mới) sẽ mở ra bảng điều khiển nơi chúng tôi có thể thêm mã của mình và lên lịch sau Một màn hình giống như màn hình bên dưới sẽ mở ra nơi bạn cần chọn Công việc dán keo của mình
Bạn cũng có thể xem Tất cả Nhật ký, Nhật ký đầu ra và Nhật ký lỗi trên trang này Nhật ký đầu raBạn có thể xem các tin nhắn ở đây mà chúng tôi đã in từ mã của chúng tôi Và đây là cách bạn có thể lên lịch cho Tập lệnh Python trong AWS Glue làm công việc Vì vậy, đây là tất cả những gì dành cho blog này, cảm ơn vì đã đọc nó và tôi hy vọng bạn sẽ mang theo thứ gì đó sau khi đọc nó và cho đến lần sau?… Đọc bài viết trước của tôi. Cách dễ nhất để sử dụng trình kích hoạt Amazon S3 để gọi hàm Lambda Kiểm tra các dự án học máy khác của tôi, dự án học sâu, dự án thị giác máy tính, dự án NLP, dự án Flask tại machinelearningprojects. net Vậy là bạn đã thiết lập và chạy một phiên bản EC2 trên AWS (Nếu bạn chưa có phiên bản này, hãy xem bài đăng này. https. //trung bình. com/@praneeth. jm/khởi chạy và kết nối với một aws-ec2-instance-6678f660bbe6) Bây giờ hãy xem cách chúng ta có thể thiết lập môi trường python, chuyển tập lệnh python từ máy cục bộ của bạn sang phiên bản từ xa và chạy chúng Để xem mọi thứ được cài đặt trong phiên bản của bạn, hãy nhập các lệnh sau cd /usr/bin/
sudo yum install python36 Ngay cả sau khi cài đặt python 3. 6, chạy alternatives --set python /usr/bin/python3.6python --version Những gì chúng tôi đã làm ở đó là thay đổi python mặc định thành phiên bản mới hơn, bây giờ nó sẽ trỏ đến python 3. 6 2. Tiếp theo, chúng tôi muốn cài đặt pip3 mà chúng tôi sẽ sử dụng để cài đặt các gói python cd /tmp Bây giờ chúng ta có thể sử dụng pip3 để cài đặt các gói python. Nếu bạn muốn cài đặt gói selen, hãy chạy phần sau trong thiết bị đầu cuối PuTTY của bạn pip3 install selenium --user Hãy chuyển tập lệnh python từ máy cục bộ của chúng ta sang phiên bản EC2 và thử chạy tập lệnh đó
scp -i path/to/.pem_file path/to/file username@host_address.amazonaws.com:/path_to_copy
Ví dụ: tôi có tệp khóa riêng “kiểm tra. pem” và tập lệnh python “kiểm tra. py” ở vị trí “D. /ec2/” và tôi muốn sao chép chúng từ máy cục bộ của mình vào thư mục chính của phiên bản ec2 scp -i D:/ec2/test.pem D:/ec2/test.py [email protected]:/home/ec2-user Đảm bảo rằng bạn chạy cái này trong thiết bị đầu cuối dòng lệnh của windows chứ không phải thiết bị đầu cuối PuTTY,. Ghi chú. Nếu bạn gặp lỗi cho biết “Quyền bị từ chối” hoặc “Quyền quá mở”, thì chúng tôi cần thay đổi quyền cho “. pem” tệp khóa riêng tư sao cho chỉ chủ sở hữu mới có quyền truy cập vào tệp đó 3. Nhấp chuột phải vào “. pem” > Chọn Thuộc tính > Nhấp vào tab “Bảo mật” > Nhấp vào “Nâng cao” > Nhấp vào “Vô hiệu hóa kế thừa”. Điều này sẽ xóa tất cả các mục nhập Quyền 4. Bây giờ bạn cần thêm quyền cho chủ sở hữu, vì vậy hãy ghi lại tên người dùng hiển thị là chủ sở hữu trên màn hình. Sau đó Nhấp vào “Thêm” > Nhấp vào “Chọn hiệu trưởng” > Nhập tên chủ sở hữu vào hộp văn bản có nội dung “Nhập tên đối tượng để chọn” > Nhấp vào “Kiểm tra tên”. Bây giờ, tên Chủ sở hữu sẽ xuất hiện trong hộp đó > Nhấp vào OK > Kiểm tra “Kiểm soát hoàn toàn” > Nhấp vào OK 5. Chạy lại lệnh scp ngay bây giờ và bạn sẽ thấy các tệp của mình được chuyển sang phiên bản EC2 Bây giờ hãy kết nối với phiên bản EC2 trong PuTTY và nhập vào sudo yum install python36 0 và bạn sẽ thấy đầu raNếu bạn muốn mở tệp python, xem nội dung của nó và thay đổi nó, bạn có thể sử dụng các lệnh Linux sau trong thiết bị đầu cuối PuTTY sudo yum install python36 1 mở tập lệnh python để xem. Nếu bạn muốn chỉnh sửa tệp, hãy nhấn sudo yum install python36 2 sau đó chỉnh sửa tệp bằng bàn phím, sau khi bạn thực hiện xong các thay đổi, hãy nhấn phím thoát rồi nhập sudo yum install python36 3 và nhấn phím enter, để ghi các thay đổi vào tệp và thoátBạn cũng có thể thiết lập một công việc định kỳ để tự động chạy các tập lệnh python tại một khoảng thời gian hoặc khoảng thời gian cụ thể trong phiên bản ec2 của bạn. Để làm điều này
Chuỗi thời gian cron là năm giá trị được phân tách bằng dấu cách, mỗi giá trị chỉ định phút (0–59), giờ (0–23), ngày trong tháng (1–31), tháng (1–12) và ngày trong tuần (0 Nếu bạn thêm dấu gạch chéo ( / ) và một số nguyên vào ký tự đại diện ở bất kỳ vị trí ký tự nào, bạn có thể định cấu hình tác vụ định kỳ để chạy theo khoảng thời gian đều đặn Nếu bạn muốn thực hiện một số thao tác quét web bằng Selenium và ChromeDriver, hãy xem bài đăng tiếp theo của tôi. https. //trung bình. com/@praneeth. jm/running-chromedriver-and-selenium-in-python-on-an-aws-ec2-instance-2fb4ad633bb5 |