Hướng dẫn network monitoring python - Python giám sát mạng
 Show
Nội phân chính
Giới thiệuMua vé buổi hòa nhạc? Chờ đợi một quyết định nhập học đại học? Bạn có bao giờ trong một tình huống mà bạn liên tục làm mới một trang web nhiều lần với hy vọng tuyệt vọng rằng lần tới khi nó tải, bạn sẽ thấy một cái gì đó khác biệt? Nếu vậy, những gì bạn đang tìm kiếm là một màn hình trang web. Màn hình trang web (hoặc màn hình trang web) là một chương trình liên tục yêu cầu trang web và thông báo cho người dùng, qua văn bản hoặc email, khi nó đã phát hiện bất kỳ thay đổi nào.website monitor. A website monitor (or webpage monitor) is a program that repeatedly requests a webpage and notifies the user, via text or email, when it has detected any changes. Gần đây tôi đã ở trong một tình huống mà tôi cần một giám sát trang web. Vào tháng 1 năm 2021, quê hương của tôi đã bắt đầu phân phối vắc -xin Covid cho các nhân viên chăm sóc sức khỏe và người già. Bà tôi muốn lấy vắc -xin ngay lập tức, nhưng có rất nhiều người cũng quan tâm, rằng vào ngày đầu tiên, mẫu cuộc hẹn vắc -xin được phát hành, tất cả các vị trí được thực hiện trong vòng vài phút. Tôi quyết định rằng chúng tôi cần một màn hình trang web để liên tục kiểm tra trang web này và cho tôi biết ngay khi có các vị trí hẹn mới có sẵn. Tôi đã tìm thấy một vài dịch vụ trả phí làm điều này, nhưng tôi không thích chi tiền khi nó có thể tránh được. Vì vậy, tôi đã tạo một tập lệnh Python đơn giản thực hiện như sau:
Tôi có thể chỉ để kịch bản Python này chạy trên máy tính xách tay cá nhân của mình, nhưng tôi sử dụng máy tính xách tay của mình cho nhiều thứ khác và không muốn để nó trong thời gian dài. Vì vậy, tôi quyết định chạy nó trên Raspberry Pi của mình, điều này hoàn hảo cho loại dự án này. Nếu bạn muốn bỏ qua hướng dẫn, bạn có thể tìm thấy tất cả các mã trên repo GitHub này. Hướng dẫn này là ai?Hướng dẫn này là hoàn hảo cho bạn nếu bạn là…
Trước khi bắt đầu, hãy chắc chắn rằng bạn đã quen thuộc ít nhất là với những điều cơ bản của Python, biết cách thực thi các tệp .py và có thể cài đặt các gói/mô -đun Python bằng PIP. Tôi đã sử dụng Python 3.7.3 nhưng bất kỳ phiên bản Python 3.* sẽ hoạt động cho dự án này. Bạn không cần một Raspberry Pi để chạy màn hình trang web này! Bất kỳ thiết bị chuyên dụng nào có Python và kết nối với Internet sẽ hoạt động. Điều đó có nghĩa là bạn có thể sử dụng một PC cũ mà bạn có trên gác mái hoặc AWS EC2. Nếu bạn chỉ muốn tìm hiểu cách tạo màn hình trang web, hãy dừng sau khi đọc qua Phần 1 của hướng dẫn.Any dedicated device that has python and connect to the internet will work. That means that you can use an old PC that you have in your attic or an AWS EC2. If you just want to learn how to make the webpage monitor, stop after reading through Part 1 of the tutorial. Một lời cảnh báoLời cảnh báo thực sự là một từ viết tắt: dos. TL; DR: Nếu bạn yêu cầu cùng một trang web quá thường xuyên, máy chủ web có thể nghĩ rằng bạn đang cố gắng tấn công nó và sẽ chặn bạn. DOS là viết tắt của từ chối dịch vụ. Nó có một loại tấn công mạng liên quan đến việc cố gắng hạ gục một máy chủ hoặc mạng bằng cách bắn phá nó với quá nhiều yêu cầu. Loại tấn công DOS khét tiếng nhất là một cuộc tấn công DDOS, viết tắt của từ chối dịch vụ phân tán. Đó là khi một loạt các máy tính ở nhiều nơi khác nhau đồng thời gửi các yêu cầu đến cùng một máy chủ, tràn ngập nó với quá nhiều yêu cầu để không thể phân biệt giữa các máy khách hợp pháp và kẻ tấn công, vì vậy nó không có lựa chọn nào khác ngoài việc ngừng phục vụ mọi người. Không sử dụng hướng dẫn này để thực hiện một cuộc tấn công DDOS! Thật tệ. Và có lẽ là bất hợp pháp. Hãy chắc chắn rằng chương trình của bạn chờ đợi lâu hơn 10 giây trước khi gửi một yêu cầu khác. Nếu bạn không chờ đợi đủ lâu, máy chủ có thể nghĩ rằng bạn đang cố gắng tấn công nó và nó có thể cấm địa chỉ IP của bạn. Phần 1: Viết kịch bản PythonKiểm tra xem trang web có thay đổi khôngLoại bỏ và thẻ Bạn có thể sử dụng mô -đun Python Các tiêu đề là các tham số bổ sung được đính kèm với yêu cầu của bạn cung cấp cho máy chủ thêm thông tin về bối cảnh của yêu cầu. Tôi đặc biệt thêm Một số phần của trang web mà bạn kiểm tra có thể thay đổi mỗi khi bạn làm mới trang. Điều gì sẽ xảy ra nếu, ví dụ, một số nhà thiết kế web Nincompoop quyết định hiển thị thời gian hiện tại ở đâu đó trên trang web? Bạn có thể kiểm tra xem bạn có cần phải làm điều này hay không bằng cách đặt mã trên vào một tệp có tên là Monitor.py và chạy nó ở chế độ tương tác như sau: python3 -i monitor.py>>> URL_TO_MONITOR = "https://paul.bitutsky.com" Hàm webpage_was_changed () phải luôn trả về true ngay lần đầu tiên được gọi bởi vì nó không có gì trong tệp trước_content.txt. Nhưng sau cuộc gọi đầu tiên, nó sẽ trả về sai. Nếu nó không có, hãy nhìn vào cách trước đó_content.txt thay đổi mỗi lần webpage_was_changed () được gọi. Nếu thẻ scp path/to/monitor.py :monitor.py1 hoặc scp path/to/monitor.py :monitor.py2 được thay đổi mỗi khi bạn nhận được HTML mới, hãy xem xét thêm chức năng xử lý loại bỏ các thẻ đó:Bạn sẽ cần cài đặt Thư viện Python đẹp bằng cách thực thi lệnh scp path/to/monitor.py :monitor.py3. Tùy thuộc vào cách bạn đã cài đặt Python3, bạn có thể cần sử dụng scp path/to/monitor.py :monitor.py4 thay vì scp path/to/monitor.py :monitor.py5. Thông tin thêm về việc cài đặt các thư viện Python với PIP.Nhận thông báo tin nhắn văn bảnBây giờ, hãy để một chức năng gửi tin nhắn văn bản (SMS). Đối với điều này, chúng tôi sẽ sử dụng API Twilio. Đây là những gì bạn cần làm:
Và bây giờ, hãy để viết một chức năng gửi tin nhắn văn bản. Đối số cho hàm sẽ là văn bản để gửi được gửi trong tin nhắn. Nhận thông báo qua emailCó nhiều cách bạn có thể gửi email bằng Python, nhưng tôi thấy rằng sử dụng thư viện Yagmail là tùy chọn đơn giản nhất. Có vẻ như Yagmail hoạt động bằng cách đăng nhập bạn vào tài khoản Gmail và gửi email từ tài khoản đó. Trước khi viết bất kỳ mã nào, ở đây, những gì bạn nên làm:
Tại đây, mã để gửi một thông báo email. Lưu ý rằng nó thường thực hành xấu để lưu trữ mật khẩu email bằng văn bản đơn giản. Một thay thế cho mã trên là không cung cấp đối số mật khẩu cho scp path/to/monitor.py :monitor.py9 (ví dụ: [email protected]:~ $ nohup python3 monitor.py &0). Tuy nhiên, nếu bạn không cung cấp mật khẩu, bạn sẽ cần sử dụng [email protected]:~ $ nohup python3 monitor.py &1 tại một số điểm trước khi bắt đầu tập lệnh Python của mình để lưu trữ mật khẩu cho tài khoản này trong móc khóa của bạn. Tôi thấy cách tiếp cận này là có vấn đề. Điều gì xảy ra nếu bạn quên làm [email protected]:~ $ nohup python3 monitor.py &1 hoặc cần đăng ký lại tại một số điểm? Nếu thư viện Yagmail không có mật khẩu cho tài khoản Gmail này, nó sẽ nhắc người dùng về mật khẩu, điều đó có nghĩa là tập lệnh giám sát sẽ đợi người dùng nhập mật khẩu tài khoản, tạm dừng vòng lặp mà Lọ được cho là liên tục kiểm tra trang web.Vòng lặp mãi mãiỞ đây, một phần của mã kiểm tra xem trang web có được thay đổi hay không và gửi thông báo email và văn bản khi có. Thêm ghi nhật kýLàm thế nào bạn sẽ biết nếu tập lệnh vẫn đang chạy? Bạn có thể thêm một loạt các câu lệnh [email protected]:~ $ nohup python3 monitor.py &3, nhưng sử dụng thư viện ghi nhật ký Python là tốt hơn. Bạn có thể làm cho nó thêm ngày và thời gian cho mọi thông báo nhật ký quá! Điều này sẽ đặc biệt hữu ích sau này khi chúng tôi chạy điều này trên Raspberry Pi và sẽ muốn những người khác có thể xem kịch bản của chúng tôi có còn chạy hay không.Một trường hợp cạnh quan trọng: Các vấn đề về mạngĐiều gì xảy ra nếu có một vấn đề kết nối mạng? Trả lời: Mô -đun yêu cầu Python sẽ trả về một lỗi, điều đó có nghĩa là vòng lặp của bạn sẽ dừng! Đó là lý do tại sao bạn nên thêm một thử/ngoại trừ, như vậy: Buộc tất cả lại với nhauHãy để Lừa đặt vòng lặp mãi mãi vào một chức năng chính, như là thực hành tốt nhất của Python và đảm bảo rằng chức năng chính được gọi khi chúng ta thực hiện tập lệnh Python. Nếu bạn đặt mã sau vào một tệp có tên Monitor.py và cài đặt tất cả các thư viện đã nhập thông qua PIP (BeautifulSoup4, Twilio, Yagmail), bạn sẽ có thể kích hoạt nó bằng cách chạy trên dòng lệnh. Phần 2: Chạy nó trên Raspberry PiBạn có thể chạy tập lệnh Python đó từ máy tính của bạn và nó sẽ hoạt động tốt. Nhưng ai muốn giữ máy tính của họ mọi lúc? Hãy để triển khai em bé này đến Raspberry Pi! Tôi sẽ sử dụng Raspberry Pi 4 Model B vì nó có khả năng WiFi (không giống như PI trước đó). Bạn có thể sử dụng bất kỳ PI nào bạn muốn, miễn là bạn có thể kết nối với nó thông qua SSH và nó có thể kết nối với Internet. Bạn không cần kết nối PI với màn hình.You do not need to connect the Pi to a monitor. Bạn cần thiết lập Raspberry Pi trước để có thể kết nối với nó thông qua SSH. Người đàn ông đẹp trai này mà tôi biết đã thực hiện một hướng dẫn về cách làm điều đó nếu bạn có máy Mac.This handsome man I know made a tutorial on how to do that if you have a mac. Sao chép màn hình của bạn.py từ máy tính của bạn vào PIBạn có thể sao chép các tệp qua SSH bằng lệnh [email protected]:~ $ nohup python3 monitor.py &5. Điều này sẽ sao chép Monitor.py vào thư mục nhà của bạn trên PI:scp path/to/monitor.py :monitor.pyBắt đầu màn hình trang webBạn luôn có thể bắt đầu tập lệnh theo cách đơn giản. SSH vào Raspberry Pi và thực thi [email protected]:~ $ nohup python3 monitor.py &4 (bạn sẽ cần cài đặt tất cả các phụ thuộc với PIP/PIP3 trước!). Nhưng một khi kết nối SSH chấm dứt, tập lệnh Python sẽ ngừng chạy! Vì vậy, những gì bạn cần làm là sử dụng Nohup. Thay vào đó, hãy bắt đầu tập lệnh như thế này: [email protected]:~ $ nohup python3 monitor.py &7Ampersand (&) có nghĩa là chạy quá trình trong nền. Nếu bạn thực thi lệnh trên và sau đó kết thúc kết nối SSH, tập lệnh sẽ không dừng. [email protected]:~ $ nohup python3 monitor.py &Đó là những gì nó trông giống như khi tôi chạy kịch bản Python với Nohup. Có vẻ như đầu ra từ lệnh NOHUP đã tràn ra một chút vì vậy tôi chỉ nhấn Enter/Return để có được một dòng đầu vào sạch. Số chữ số bốn (1911 trong trường hợp của tôi) là bộ định danh quy trình tương ứng với quy trình Python chạy Monitor.py. Bạn có thể kiểm tra đầu ra của tập lệnh bằng cách chạy [email protected]:~ $ nohup python3 monitor.py &8. Đó là một tập tin mà Nohup sẽ tạo trong thư mục nhà của bạn và ghi vào đó mọi thứ thường được xuất ra vào thiết bị đầu cuối.Dừng màn hình trang webBạn có thể chấm dứt quy trình Nohup mà LỚN chạy tập lệnh Python bằng cách SSH xông vào PI và thực hiện như sau. [email protected]:~ $ ps ax | grep python3Lệnh [email protected]:~ $ nohup python3 monitor.py &9 liệt kê tất cả các quy trình chạy trên hệ thống. [email protected]:~ $ ps ax | grep python30 Chỉ định định dạng. Đầu ra của danh sách dài các quy trình được đưa vào lệnh [email protected]:~ $ ps ax | grep python31 sẽ lọc tất cả các dòng mà don lồng có chuỗi python33 trong đó. Trong tiếng Anh, lệnh đầu tiên cho biết, chỉ cho tôi tất cả các quy trình hiện tại có liên quan đến Python3. Đối với mỗi quy trình, Mã định danh quy trình (PID) được liệt kê trong cột ngoài cùng bên trái. Trong ba quá trình được hiển thị, bạn sẽ muốn giết một quy trình nói [email protected]:~ $ nohup python3 monitor.py &4. Trong trường hợp của tôi, đó là quá trình với PID 1911. Chạy lệnh [email protected]:~ $ ps ax | grep python33 thay thế bằng PID của quá trình bạn muốn giết.Làm cho nhật ký của bạn dễ dàng truy cập (vì vậy bạn không phải SSH mỗi lần)Bạn có thể dễ dàng làm cho nhật ký của bạn có thể xem được cho bất kỳ ai trên mạng cục bộ của bạn bằng cách chạy một máy chủ Apache trên Raspberry Pi của bạn. Thực thi [email protected]:~ $ ps ax | grep python34. Điều này sẽ cài đặt (và bắt đầu) Apache. Bạn có thể kiểm tra rằng nó hoạt động bằng cách đi đến Raspberrypi.lan, trong một trình duyệt. Nếu bạn thấy trang mặc định của Apache2 Debian, thì nó hoạt động!Bây giờ, bất cứ điều gì trong thư mục/var/www/html/trên Raspberry Pi sẽ là một trang web ở đây. Vì vậy, nếu bạn tạo một tệp /var/www/html/web_monitor.log, bạn sẽ có thể truy cập nó bằng cách truy cập raspberrypi.lan/web_monitor.log. Hãy để làm điều đó. Bạn có thể tạo tệp với sudo touch /var/www/html/web_monitor.logLệnh [email protected]:~ $ ps ax | grep python35 tạo một tệp trống. Bạn cần sử dụng [email protected]:~ $ ps ax | grep python36 vì thư mục này được bảo vệ và không thể chỉnh sửa bởi những người dùng khác. Lệnh [email protected]:~ $ ps ax | grep python36 có nghĩa là là một siêu người dùng (người dùng quản trị/root) thực hiện các hoạt động sau.Theo mặc định, các tệp được tạo bởi Superuser chỉ có thể chỉnh sửa/có thể ghi bởi SuperUser. Hãy cùng làm cho tệp này có thể ghi cho tất cả người dùng: sudo chmod o+w /var/www/html/web_monitor.logLệnh [email protected]:~ $ ps ax | grep python38 thay đổi quyền. [email protected]:~ $ ps ax | grep python39 có nghĩa là tất cả người dùng khác. sudo touch /var/www/html/web_monitor.log0 có nghĩa là thêm một quyền. sudo touch /var/www/html/web_monitor.log1 có nghĩa là quyền viết. Trong tiếng Anh, cho phép tất cả người dùng khác viết vào tệp này.Vì vậy, bây giờ tất cả những gì bạn phải làm là bảo Nohup viết thư cho /var/www/html/web_monitor.log thay vì NOHUP.OUT: nohup python3 monitor.py > /var/www/html/web_monitor.log &Các>> có nghĩa là chuyển hướng đầu ra cho tệp này. Bây giờ bạn sẽ có thể xem nhật ký của mình trên Raspberrypi.Lan/Web_Monitor.log. Cái gì tiếp theoĐó là sự kết thúc của hướng dẫn! Dưới đây là một số điều bạn có thể tự thử để cải thiện màn hình trang web này:
Hy vọng điều này là hữu ích! Làm cách nào để theo dõi nội dung của một trang web?Đầu tiên là sử dụng một công cụ trực tuyến như Google Alerts. Với công cụ này, bạn có thể nhập URL của trang web bạn muốn theo dõi và sau đó chọn tần suất bạn muốn nhận cập nhật. Google Alerts sau đó sẽ gửi cho bạn một email bất cứ khi nào nó phát hiện nội dung mới trên trang web.use an online tool like Google Alerts. With this tool, you can enter the URL of the website you want to monitor and then choose how often you want to receive updates. Google Alerts will then send you an email whenever it detects new content on the website. Python có thể sử dụng cho các trang web không?Bạn có thể tạo một trang web bằng Python không? Câu trả lời là có, bạn có thể tạo một trang web với Python - thực tế khá dễ dàng. Mặc dù Python là một ngôn ngữ lập trình đa năng, nhưng tự nhiên mở rộng thành lập trình web.yes, you can make a website with Python - quite easily in fact. Although Python is a general-purpose programming language, that naturally extends into web programming. Giám sát trong Python là gì?Giám sát Python cung cấp khả năng hiển thị ở cấp độ mã đối với sức khỏe và hiệu suất của các dịch vụ của bạn, cho phép bạn nhanh chóng khắc phục sự cố bất kỳ vấn đề nào cho dù nó có liên quan đến coroutines, các nhiệm vụ không đồng bộ hoặc số liệu thời gian chạy.provides code-level visibility into the health and performance of your services, allowing you to quickly troubleshoot any issue—whether it's related to coroutines, asynchronous tasks, or runtime metrics. |
