Python là một trong những ngôn ngữ phổ biến nhất được sử dụng bởi các nhà khoa học dữ liệu và nhà phát triển phần mềm cho các nhiệm vụ khoa học dữ liệu. Nó có thể được sử dụng để dự đoán kết quả, tự động hóa nhiệm vụ, hợp lý hóa quy trình và cung cấp thông tin chuyên sâu về kinh doanh thông minh.
Có thể làm việc với dữ liệu trong vanilla Python, nhưng có khá nhiều thư viện nguồn mở giúp các tác vụ dữ liệu Python trở nên dễ dàng hơn rất nhiều
Bạn chắc chắn đã nghe nói về một số trong số này, nhưng có thư viện hữu ích nào mà bạn có thể đang thiếu không?
Khai thác dữ liệu
1. phế liệu
Là một trong những thư viện khoa học dữ liệu Python phổ biến nhất, Scrapy giúp xây dựng các chương trình thu thập thông tin [bot nhện] có thể truy xuất dữ liệu có cấu trúc từ web – ví dụ: URL hoặc thông tin liên hệ. Đó là một công cụ tuyệt vời để thu thập dữ liệu được sử dụng trong các mô hình máy học Python chẳng hạn.
Các nhà phát triển sử dụng nó để thu thập dữ liệu từ các API. Khung chính thức này tuân theo nguyên tắc Không lặp lại chính mình trong thiết kế giao diện của nó. Do đó, công cụ truyền cảm hứng cho người dùng viết mã chung có thể được sử dụng lại để xây dựng và nhân rộng các trình thu thập thông tin lớn
2. ĐẹpSúp
BeautifulSoup là một thư viện thực sự phổ biến khác để thu thập thông tin trên web và thu thập dữ liệu. Nếu bạn muốn thu thập dữ liệu có sẵn trên một số trang web nhưng không thông qua CSV hoặc API thích hợp, BeautifulSoup có thể giúp bạn thu thập và sắp xếp dữ liệu đó thành định dạng bạn cần
Xử lý dữ liệu và mô hình hóa
3. NumPy
NumPy [Python số] là một công cụ hoàn hảo để tính toán khoa học và thực hiện các thao tác mảng cơ bản và nâng cao
Thư viện cung cấp nhiều tính năng tiện dụng thực hiện các thao tác trên n-mảng và ma trận trong Python. Nó giúp xử lý các mảng lưu trữ các giá trị của cùng một kiểu dữ liệu và giúp thực hiện các phép toán trên mảng [và vector hóa của chúng] dễ dàng hơn. Trên thực tế, việc vector hóa các phép toán trên kiểu mảng NumPy giúp tăng hiệu suất và đẩy nhanh thời gian thực hiện
4. khoa học viễn tưởng
Thư viện hữu ích này bao gồm các mô-đun cho đại số tuyến tính, tích hợp, tối ưu hóa và thống kê. Chức năng chính của nó được xây dựng dựa trên NumPy, vì vậy các mảng của nó sử dụng thư viện này. SciPy hoạt động tuyệt vời cho tất cả các loại dự án lập trình khoa học [khoa học, toán học và kỹ thuật]. Nó cung cấp các quy trình số hiệu quả như tối ưu hóa số, tích hợp và các quy trình khác trong các mô hình con. Tài liệu phong phú giúp làm việc với thư viện này thực sự dễ dàng
5. gấu trúc
Pandas là một thư viện được tạo ra để giúp các nhà phát triển làm việc với dữ liệu “được gắn nhãn” và “quan hệ” một cách trực quan. Nó dựa trên hai cấu trúc dữ liệu chính. “Sê-ri” [một chiều, giống như danh sách các mục] và “Khung dữ liệu” [hai chiều, giống như một bảng có nhiều cột]. Pandas cho phép chuyển đổi cấu trúc dữ liệu thành các đối tượng DataFrame, xử lý dữ liệu bị thiếu và thêm/xóa các cột khỏi DataFrame, gán các tệp bị thiếu và vẽ biểu đồ dữ liệu bằng biểu đồ hoặc hộp biểu đồ. Đó là thứ bắt buộc phải có để sắp xếp, thao tác và trực quan hóa dữ liệu
[Bạn muốn tìm hiểu về gấu trúc? Hãy xem khóa học cơ bản về NumPy và Pandas của Dataquest hoặc một trong nhiều hướng dẫn miễn phí về gấu trúc của chúng tôi. ]
6. máy ảnh
Keras là một thư viện tuyệt vời để xây dựng mạng lưới thần kinh và mô hình hóa. Nó rất đơn giản để sử dụng và cung cấp cho các nhà phát triển khả năng mở rộng tốt. Thư viện tận dụng các gói khác, [Theano hoặc TensorFlow] làm phần phụ trợ của nó. Hơn nữa, Microsoft đã tích hợp CNTK [Bộ công cụ nhận thức của Microsoft] để phục vụ như một phụ trợ khác. Đó là một lựa chọn tuyệt vời nếu bạn muốn thử nghiệm nhanh chóng bằng cách sử dụng các hệ thống nhỏ gọn – phương pháp thiết kế tối giản thực sự mang lại hiệu quả
7. SciKit-Tìm hiểu
Đây là tiêu chuẩn ngành cho các dự án khoa học dữ liệu dựa trên Python. Scikits là một nhóm các gói trong SciPy Stack được tạo cho các chức năng cụ thể - ví dụ: xử lý ảnh. Scikit-learning sử dụng các phép toán của SciPy để hiển thị giao diện ngắn gọn cho các thuật toán học máy phổ biến nhất.
Các nhà khoa học dữ liệu sử dụng nó để xử lý các nhiệm vụ khai thác dữ liệu và học máy tiêu chuẩn như phân cụm, hồi quy, lựa chọn mô hình, giảm kích thước và phân loại. Sự thuận lợi khác? .
8. PyTorch
PyTorch là một khung hoàn hảo cho các nhà khoa học dữ liệu muốn thực hiện các nhiệm vụ học sâu một cách dễ dàng. Công cụ này cho phép thực hiện tính toán tensor với khả năng tăng tốc GPU. Nó cũng được sử dụng cho các tác vụ khác – ví dụ: để tạo biểu đồ tính toán động và tự động tính toán độ dốc. PyTorch dựa trên Torch, một thư viện học sâu mã nguồn mở được triển khai bằng C, với trình bao bọc trong Lua.
9. TenorFlow
TensorFlow là một khung Python phổ biến dành cho học máy và học sâu, được phát triển tại Google Brain. Đây là công cụ tốt nhất cho các tác vụ như nhận dạng đối tượng, nhận dạng giọng nói và nhiều tác vụ khác. Nó giúp làm việc với các mạng thần kinh nhân tạo cần xử lý nhiều bộ dữ liệu. Thư viện bao gồm nhiều trình trợ giúp lớp khác nhau [tflearn, tf-slim, skflow], làm cho nó có nhiều chức năng hơn. TensorFlow liên tục được mở rộng với các bản phát hành mới – bao gồm các bản sửa lỗi về lỗ hổng bảo mật tiềm ẩn hoặc cải tiến trong việc tích hợp TensorFlow và GPU
10. XGBoost
Sử dụng thư viện này để triển khai các thuật toán học máy trong khung Tăng tốc Gradient. XGBoost di động, linh hoạt và hiệu quả. Nó cung cấp khả năng tăng cường cây song song giúp các nhóm giải quyết nhiều vấn đề về khoa học dữ liệu. Một ưu điểm khác là các nhà phát triển có thể chạy cùng một mã trên các môi trường phân tán chính như Hadoop, SGE và MPI
Trực quan hóa dữ liệu
11. Matplotlib
Đây là thư viện khoa học dữ liệu tiêu chuẩn giúp tạo trực quan hóa dữ liệu, chẳng hạn như biểu đồ và biểu đồ hai chiều [biểu đồ, biểu đồ phân tán, biểu đồ tọa độ không phải Descartes]. Matplotlib là một trong những thư viện vẽ biểu đồ thực sự hữu ích trong các dự án khoa học dữ liệu — nó cung cấp API hướng đối tượng để nhúng các biểu đồ vào ứng dụng.
Nhờ thư viện này mà Python có thể cạnh tranh với các công cụ khoa học như MatLab hay Mathematica. Tuy nhiên, các nhà phát triển cần viết nhiều mã hơn bình thường trong khi sử dụng thư viện này để tạo trực quan hóa nâng cao. Lưu ý rằng các thư viện vẽ sơ đồ phổ biến hoạt động trơn tru với Matplotlib.
12. sinh ra biển
Seaborn dựa trên Matplotlib và phục vụ như một công cụ học máy Python hữu ích để trực quan hóa các mô hình thống kê - bản đồ nhiệt và các loại trực quan hóa khác tóm tắt dữ liệu và mô tả các bản phân phối tổng thể. Khi sử dụng thư viện này, bạn sẽ được hưởng lợi từ một thư viện trực quan phong phú [bao gồm cả những thứ phức tạp như chuỗi thời gian, sơ đồ chung và sơ đồ vĩ cầm]
13. Bokeh
Thư viện này là một công cụ tuyệt vời để tạo các hình ảnh trực quan tương tác và có thể mở rộng bên trong trình duyệt bằng các tiện ích JavaScript. Bokeh hoàn toàn độc lập với Matplotlib. Nó tập trung vào tính tương tác và trình bày trực quan hóa thông qua các trình duyệt hiện đại – tương tự như Tài liệu theo hướng dữ liệu [d3. js]. Nó cung cấp một tập hợp các biểu đồ, khả năng tương tác [như liên kết các ô hoặc thêm các tiện ích JavaScript] và kiểu dáng
14. âm mưu
Công cụ trực quan hóa dữ liệu dựa trên web này cung cấp nhiều đồ họa sẵn có hữu ích – bạn có thể tìm thấy chúng trên Plot. lý trang web. Thư viện hoạt động rất tốt trong các ứng dụng web tương tác. Những người tạo ra nó đang bận rộn mở rộng thư viện với đồ họa và tính năng mới để hỗ trợ nhiều chế độ xem được liên kết, hoạt ảnh và tích hợp nhiễu xuyên âm
15. pydot
Thư viện này giúp tạo đồ thị định hướng và không định hướng. Nó phục vụ như một giao diện cho Graphviz [được viết bằng Python thuần túy]. Bạn có thể dễ dàng hiển thị cấu trúc của biểu đồ với sự trợ giúp của thư viện này. Điều đó rất hữu ích khi bạn đang phát triển các thuật toán dựa trên mạng thần kinh và cây quyết định
Phần kết luận
Danh sách này không có nghĩa là đầy đủ vì hệ sinh thái Python cung cấp nhiều công cụ khác giúp hoàn thành các nhiệm vụ học máy và xây dựng thuật toán. Các nhà khoa học dữ liệu và kỹ sư phần mềm tham gia vào các dự án khoa học dữ liệu sử dụng Python sẽ sử dụng nhiều công cụ trong số này, vì chúng rất cần thiết để xây dựng các mô hình ML hiệu suất cao trong Python
Bạn có biết các thư viện hữu ích khác cho các dự án ML không? .
____
Bài đăng này là đóng góp của khách từ Sunscrapers, một công ty phát triển phần mềm chuyên về Python. Sunscrapers tổ chức và tài trợ cho nhiều sự kiện và buổi gặp mặt về Python, khuyến khích các kỹ sư của họ chia sẻ kiến thức và tham gia vào các dự án mã nguồn mở
thư việnpythonpython thư viện
Giới thiệu về tác giả
Charlie Custer
Charlie là sinh viên ngành khoa học dữ liệu và cũng là nhà tiếp thị nội dung tại Dataquest. Trong thời gian rảnh rỗi, anh ấy học đi xe đạp leo núi và làm video về nó