Nguồn: Edureka
Ở phần 2 chúng ta đã tìm hiểu qua 4 chủ đề:
- Machine Learning Basics
- Types Of Machine Learning
- Types Of Problems Solved By Using Machine Learning
- Machine Learning Process
TIếp theo ở phần này, cúng ta sẽ tìm hiểu tiếp các chủ đề sau:
- Machine Learning With Python
- Limitations Of Machine Learning
- Why Deep Learning?
- How Deep Learning Works?
- What Is Deep Learning?
- Deep Learning Use Case
- Perceptrons
- Multilayer Perceptrons
9. Machine Learning With Python
Trong phần này, chúng tôi sẽ triển khai Machine Learning bằng cách sử dụng Python. Hãy bắt đầu nào.
Problem Statement [Báo cáo sự cố]: Để xây dựng mô hình Machine Learning, dự đoán ngày mai có mưa hay không bằng cách nghiên cứu dữ liệu trong quá khứ. Để xây dựng mô hình Machine Learning, dự đoán ngày mai có mưa hay không bằng cách nghiên cứu dữ liệu trong quá khứ.
Data Set Description [Mô tả tập dữ liệu]: Tập dữ liệu này chứa khoảng 145k quan sát về điều kiện thời tiết hàng ngày như được quan sát từ nhiều trạm thời tiết ở Úc. Tập dữ liệu có khoảng 24 tính năng và chúng tôi sẽ sử dụng 23 tính năng [biến dự đoán Predictor variables] để dự đoán biến mục tiêu [target variable], đó là “RainTomorrow”. Tập dữ liệu này chứa khoảng 145k quan sát về điều kiện thời tiết hàng ngày như được quan sát từ nhiều trạm thời tiết ở Úc. Tập dữ liệu có khoảng 24 tính năng và chúng tôi sẽ sử dụng 23 tính năng [biến dự đoán Predictor variables] để dự đoán biến mục tiêu [target variable], đó là “RainTomorrow”.
Tải tập dữ liệu weatherAUS: ở đây.
Biến mục tiêu này [RainTomorrow] sẽ lưu trữ hai giá trị:
- Yes: Biểu thị rằng trời sẽ mưa vào ngày mai: Biểu thị rằng trời sẽ mưa vào ngày mai
- No: Biểu thị trời sẽ không mưa vào ngày mai: Biểu thị trời sẽ không mưa vào ngày mai
Do đó, đây rõ ràng là một vấn đề phân loại [classification problem]. Mô hình Machine Learning sẽ phân loại đầu ra thành 2 lớp, YES hoặc NO.YES hoặc NO.
Logic: Xây dựng các mô hình Phân loại [Classification models] để dự đoán ngày mai trời sẽ mưa hay không dựa trên các điều kiện thời tiết. Xây dựng các mô hình Phân loại [Classification models] để dự đoán ngày mai trời sẽ mưa hay không dựa trên các điều kiện thời tiết.
Bây giờ mục tiêu đã rõ ràng, hãy để bộ não của chúng ta hoạt động và bắt đầu viết mã.
Bước 1: Nhập các thư viện cần thiết
# AI/main.py
# For linear algebra
import numpy as np
# For data processing
import pandas as pd
Bước 2: Tải tập dữ liệu
#AI/main.py
import ...
#Load the data set
df = pd.read_csv['./weatherAUS.csv']
#Display the shape of the data set
print['Size of weather data frame is :',df.shape]
#Display data
print[df[0:5]]
Chạy lệnh
#AI/main.py
import ...
#Load the data set
df = pd.read_csv['./weatherAUS.csv']
#Display the shape of the data set
print['Size of weather data frame is :',df.shape]
#Display data
print[df[0:5]]
Bước 3: Xử lý dữ liệu
#AI/main.py
# Checking for null values
print[df.count[].sort_values[]]
Và kết quả:
Lưu ý đầu ra, nó cho thấy bốn cột đầu tiên có hơn 40% giá trị null, do đó, tốt nhất là nếu chúng ta thoát khỏi các cột này.
Trong quá trình tiền xử lý dữ liệu luôn cần phải loại bỏ các biến không đáng kể. Dữ liệu không cần thiết sẽ chỉ làm tăng tính toán của chúng tôi. Do đó, chúng tôi sẽ xóa biến 'vị trí' và biến 'ngày' vì chúng không có ý nghĩa trong việc dự đoán thời tiết.
Chúng tôi cũng sẽ xóa biến 'RISK_MM' vì chúng tôi muốn dự đoán 'RainTomorrow' và RISK_MM [lượng mưa vào ngày hôm sau] có thể rò rỉ một số thông tin cho mô hình của chúng tôi.
#AI/main.py
...
df = df.drop[columns=['WindDir3pm', 'WindDir9am', 'WindGustDir', 'Sunshine','Evaporation','Cloud3pm','Cloud9am','Location','RISK_MM','Date'],axis=1]
print[df.shape]
[169299, 17]
Tiếp theo, chúng tôi sẽ xóa tất cả các giá trị null trong khung dữ liệu của chúng tôi.
#AI/main.py
...
#Removing null values
df = df.dropna[how='any']
print[df.shape]
[130840, 17]
Sau khi loại bỏ các giá trị null, chúng tôi cũng phải kiểm tra tập dữ liệu của chúng tôi xem có bất kỳ ngoại lệ nào không. Một ngoại lệ là một điểm dữ liệu khác biệt đáng kể so với các quan sát khác. Các ngoại lệ thường xảy ra do tính toán sai trong khi thu thập dữ liệu.
Trong đoạn mã dưới đây, chúng tôi sẽ loại bỏ các ngoại lệ:
#AI/main.py
import ...
from scipy import stats
...
z = np.abs[stats.zscore[df._get_numeric_data[]]]
print[z]
df= df[[z