Hướng dẫn how does python store files in mongodb? - python lưu trữ tệp trong mongodb như thế nào?

Python là gì?

Python, con dao quân đội Thụy Sĩ của các ngôn ngữ được đánh máy động, có sự hỗ trợ toàn diện cho các nhiệm vụ xử lý và thao tác dữ liệu chung. Các loại dữ liệu từ điển và danh sách bản địa của Python, làm cho nó chỉ đứng sau JavaScript để điều khiển các tài liệu JSON-và rất phù hợp để làm việc với BSON. Pymongo, thư viện trình điều khiển mongoDB tiêu chuẩn cho Python, rất dễ sử dụng và cung cấp API trực quan để truy cập cơ sở dữ liệu, bộ sưu tập và tài liệu.

Các đối tượng được lấy từ MongoDB qua Pymongo tương thích với từ điển và danh sách, vì vậy chúng ta có thể dễ dàng thao tác, lặp lại và in chúng.

Cách MongoDB lưu trữ dữ liệu

MongoDB lưu trữ dữ liệu trong các tài liệu giống JSON:

# Mongodb document (JSON-style)
document_1 = {
  "_id" : "BF00001CFOOD",
  "item_name" : "Bread",
  "quantity" : 2,
  "ingredients" : "all-purpose flour"
}

Từ điển Python trông giống như:

# python dictionary
dict_1 = {
  "item_name" : "blender",
  "max_discount" : "10%",
  "batch_number" : "RR450020FRG",
  "price" : 340
}

Đọc để xem tổng quan về cách bắt đầu và cung cấp tiềm năng của sự kết hợp mạnh mẽ này.

Điều kiện tiên quyết

Tải xuống và cài đặt Python trên máy của bạn. Để xác nhận nếu cài đặt của bạn là đúng, hãy nhập

# python dictionary
dict_1 = {
  "item_name" : "blender",
  "max_discount" : "10%",
  "batch_number" : "RR450020FRG",
  "price" : 340
}
8 vào thiết bị đầu cuối dòng lệnh của bạn. Bạn sẽ nhận được một cái gì đó tương tự như:

Python 3.9.12

Bạn có thể làm theo các ví dụ Python MongoDB trong hướng dẫn này ngay cả khi bạn chưa quen với Python.

Chúng tôi khuyên bạn nên thiết lập một cụm cấp miễn phí của MongoDB Atlas cho hướng dẫn này.

Kết nối Python và MongoDB Atlas

Pymongo có một bộ các gói cho tương tác Python MongoDB. Đối với hướng dẫn sau đây, bắt đầu bằng cách tạo một môi trường ảo và kích hoạt nó.

python -m venv env
source env/bin/activate

Bây giờ bạn đang ở trong môi trường ảo của mình, bạn có thể cài đặt pymongo. Trong thiết bị đầu cuối của bạn, loại:

python -m pip install "pymongo[srv]"

Bây giờ, chúng ta có thể sử dụng Pymongo như một thư viện Python MongoDB trong mã của chúng tôi với một tuyên bố nhập khẩu.

Tạo cơ sở dữ liệu MongoDB trong Python

Bước đầu tiên để kết nối Python với Atlas là tạo ra một cụm. Bạn có thể làm theo các hướng dẫn từ tài liệu để tìm hiểu cách tạo và thiết lập cụm của bạn.

Tiếp theo, tạo một tệp có tên

# python dictionary
dict_1 = {
  "item_name" : "blender",
  "max_discount" : "10%",
  "batch_number" : "RR450020FRG",
  "price" : 340
}
9 trong bất kỳ thư mục nào để viết mã pymongo. Bạn có thể sử dụng bất kỳ trình soạn thảo văn bản đơn giản, như Visual Studio Code.

Tạo ứng dụng khách MongoDB bằng cách thêm các mục sau:

from pymongo import MongoClient
def get_database():
 
   # Provide the mongodb atlas url to connect python to mongodb using pymongo
   CONNECTION_STRING = "mongodb+srv://user:/myFirstDatabase"
 
   # Create a connection using MongoClient. You can import MongoClient or use pymongo.MongoClient
   client = MongoClient(CONNECTION_STRING)
 
   # Create the database for our example (we will use the same database throughout the tutorial
   return client['user_shopping_list']
  
# This is added so that many files can reuse the function get_database()
if __name__ == "__main__":   
  
   # Get the database
   dbname = get_database()

Để tạo Mongoclient, bạn sẽ cần một chuỗi kết nối với cơ sở dữ liệu của mình. Nếu bạn đang sử dụng Atlas, bạn có thể làm theo các bước từ tài liệu để có được chuỗi kết nối đó. Sử dụng

Python 3.9.12
0 để tạo MongoClient và nhận kết nối cơ sở dữ liệu MongoDB. Thay đổi tên người dùng, mật khẩu và tên cụm.

Trong hướng dẫn Python MongoDB này, chúng tôi sẽ tạo một danh sách mua sắm và thêm một vài mặt hàng. Đối với điều này, chúng tôi đã tạo một cơ sở dữ liệu

Python 3.9.12
1.

MongoDB không tạo ra một cơ sở dữ liệu cho đến khi bạn có các bộ sưu tập và tài liệu trong đó. Vì vậy, hãy để tạo ra một bộ sưu tập tiếp theo.

Tạo một bộ sưu tập trong Python

Để tạo một bộ sưu tập, hãy chuyển tên bộ sưu tập cho cơ sở dữ liệu. Trong một tệp mới có tên là tệp

Python 3.9.12
2, thêm mã sau.

# Get the database using the method we defined in pymongo_test_insert file
from pymongo_get_database import get_database
dbname = get_database()
collection_name = dbname["user_1_items"]

Điều này tạo ra một bộ sưu tập có tên

Python 3.9.12
3 trong cơ sở dữ liệu
Python 3.9.12
1.

Chèn tài liệu trong Python

Để chèn nhiều tài liệu cùng một lúc, hãy sử dụng phương pháp pymongo

Python 3.9.12
5.

item_1 = {
  "_id" : "U1IT00001",
  "item_name" : "Blender",
  "max_discount" : "10%",
  "batch_number" : "RR450020FRG",
  "price" : 340,
  "category" : "kitchen appliance"
}

item_2 = {
  "_id" : "U1IT00002",
  "item_name" : "Egg",
  "category" : "food",
  "quantity" : 12,
  "price" : 36,
  "item_description" : "brown country eggs"
}
collection_name.insert_many([item_1,item_2])

Hãy để chèn một tài liệu thứ ba mà không cần chỉ định trường

Python 3.9.12
6. Lần này, chúng tôi thêm một trường loại dữ liệu ‘ngày. Để thêm ngày sử dụng pymongo, hãy sử dụng gói Python
Python 3.9.12
7.

Bắt đầu bằng cách cài đặt gói bằng lệnh sau:


python -m pip install python-dateutil

Thêm phần sau vào

Python 3.9.12
2:

from dateutil import parser
expiry_date = '2021-07-13T00:00:00.000Z'
expiry = parser.parse(expiry_date)
item_3 = {
  "item_name" : "Bread",
  "quantity" : 2,
  "ingredients" : "all-purpose flour",
  "expiry_date" : expiry
}
collection_name.insert_one(item_3)

Chúng tôi sử dụng phương thức

Python 3.9.12
9 để chèn một tài liệu.

Mở dòng lệnh và điều hướng đến thư mục nơi bạn đã lưu

python -m venv env
source env/bin/activate
0

Thực thi tệp bằng cách sử dụng

# python dictionary
dict_1 = {
  "item_name" : "blender",
  "max_discount" : "10%",
  "batch_number" : "RR450020FRG",
  "price" : 340
}
0

command.

Hãy để kết nối với MongoDB Atlas UI và kiểm tra những gì chúng ta có cho đến nay.

Đăng nhập vào cụm Atlas của bạn và nhấp vào nút Bộ sưu tập.

Ở phía bên trái, bạn có thể thấy cơ sở dữ liệu và tên thu thập mà chúng tôi đã tạo. Nếu bạn nhấp vào tên thu thập, bạn cũng có thể xem dữ liệu:

Hướng dẫn how does python store files in mongodb? - python lưu trữ tệp trong mongodb như thế nào?

Hướng dẫn how does python store files in mongodb? - python lưu trữ tệp trong mongodb như thế nào?

Trường

Python 3.9.12
6 thuộc loại ObjectID theo mặc định. Nếu chúng tôi không chỉ định trường
Python 3.9.12
6, MongoDB sẽ tạo ra như vậy. Không phải tất cả các trường có trong một tài liệu có mặt trong các trường khác. Nhưng MongoDB không ngăn bạn nhập dữ liệu - đây là bản chất của cơ sở dữ liệu sơ đồ.

Nếu chúng ta chèn

python -m venv env
source env/bin/activate
3 một lần nữa, MongoDB sẽ chèn một tài liệu mới, với giá trị
Python 3.9.12
6 mới. Tuy nhiên, hai phần chèn đầu tiên sẽ gây ra lỗi vì trường
Python 3.9.12
6, định danh duy nhất.

Truy vấn trong Python

Hãy cùng xem tất cả các tài liệu cùng nhau bằng Find (). Đối với điều đó, chúng tôi sẽ tạo một tệp riêng

python -m venv env
source env/bin/activate
6:

# python dictionary
dict_1 = {
  "item_name" : "blender",
  "max_discount" : "10%",
  "batch_number" : "RR450020FRG",
  "price" : 340
}
1

Mở dòng lệnh và điều hướng đến thư mục nơi bạn đã lưu

python -m venv env
source env/bin/activate
6. Thực hiện tệp bằng lệnh
python -m venv env
source env/bin/activate
8.

Chúng tôi nhận được danh sách đối tượng từ điển làm đầu ra:

Hướng dẫn how does python store files in mongodb? - python lưu trữ tệp trong mongodb như thế nào?

Chúng ta có thể xem dữ liệu nhưng định dạng không phải là tất cả tuyệt vời. Vì vậy, hãy để Lôi in các tên vật phẩm và danh mục của chúng bằng cách thay thế dòng

python -m venv env
source env/bin/activate
9 bằng các mục sau:

# python dictionary
dict_1 = {
  "item_name" : "blender",
  "max_discount" : "10%",
  "batch_number" : "RR450020FRG",
  "price" : 340
}
2

Mặc dù MongoDB nhận được toàn bộ dữ liệu, chúng tôi nhận được một python ‘keyerror trên tài liệu thứ ba.

Hướng dẫn how does python store files in mongodb? - python lưu trữ tệp trong mongodb như thế nào?

Để xử lý các lỗi dữ liệu bị thiếu trong Python, hãy sử dụng pandas.dataFrames. DataFrames là cấu trúc dữ liệu 2D được sử dụng cho các tác vụ xử lý dữ liệu. Phương thức find () pymongo trả về các đối tượng từ điển có thể được chuyển đổi thành một khung dữ liệu trong một dòng mã duy nhất.

Cài đặt thư viện Pandas như:

# python dictionary
dict_1 = {
  "item_name" : "blender",
  "max_discount" : "10%",
  "batch_number" : "RR450020FRG",
  "price" : 340
}
3

Bây giờ nhập thư viện

python -m pip install "pymongo[srv]"
0 bằng cách thêm dòng sau ở đầu tệp:

# python dictionary
dict_1 = {
  "item_name" : "blender",
  "max_discount" : "10%",
  "batch_number" : "RR450020FRG",
  "price" : 340
}
4

Và thay thế mã trong vòng lặp bằng cách sau để xử lý KeyError trong một bước:

# python dictionary
dict_1 = {
  "item_name" : "blender",
  "max_discount" : "10%",
  "batch_number" : "RR450020FRG",
  "price" : 340
}
5

Các lỗi được thay thế bởi NAN và NAT cho các giá trị bị thiếu.

Hướng dẫn how does python store files in mongodb? - python lưu trữ tệp trong mongodb như thế nào?

Lập chỉ mục trong Python MongoDB

Số lượng tài liệu và bộ sưu tập trong cơ sở dữ liệu trong thế giới thực luôn tiếp tục tăng. Có thể mất một thời gian rất dài để tìm kiếm các tài liệu cụ thể-ví dụ, các tài liệu có bột mì đa dụng trong số các thành phần của chúng-trong một bộ sưu tập rất lớn. Các chỉ mục làm cho tìm kiếm cơ sở dữ liệu nhanh hơn và hiệu quả hơn, và giảm chi phí truy vấn cho các hoạt động như sắp xếp, đếm và khớp.

MongoDB xác định các chỉ mục ở cấp độ thu thập.

Để chỉ mục có ý nghĩa hơn, hãy thêm nhiều tài liệu vào bộ sưu tập của chúng tôi. Chèn nhiều tài liệu cùng một lúc bằng phương pháp

Python 3.9.12
5. Đối với các tài liệu mẫu, hãy sao chép mã từ GitHub và thực thi
python -m pip install "pymongo[srv]"
2 trong thiết bị đầu cuối của bạn.

Hãy nói rằng chúng tôi muốn các mặt hàng thuộc thể loại ‘thực phẩm:

# python dictionary
dict_1 = {
  "item_name" : "blender",
  "max_discount" : "10%",
  "batch_number" : "RR450020FRG",
  "price" : 340
}
6

Để thực hiện truy vấn trên, MongoDB phải quét tất cả các tài liệu. Để xác minh điều này, tải về la bàn. Kết nối với cụm của bạn bằng chuỗi kết nối. Mở bộ sưu tập và đi đến tab Kế hoạch giải thích. Trong ‘bộ lọc, đưa ra các tiêu chí trên và xem kết quả:

Hướng dẫn how does python store files in mongodb? - python lưu trữ tệp trong mongodb như thế nào?

Lưu ý rằng truy vấn quét 14 tài liệu để nhận được năm kết quả.

Hãy tạo một chỉ mục duy nhất trên trường ‘danh mục. Trong một tệp mới có tên

python -m pip install "pymongo[srv]"
3, thêm mã sau.

# python dictionary
dict_1 = {
  "item_name" : "blender",
  "max_discount" : "10%",
  "batch_number" : "RR450020FRG",
  "price" : 340
}
7

Giải thích lại cùng một bộ lọc trên la bàn UI:

Hướng dẫn how does python store files in mongodb? - python lưu trữ tệp trong mongodb như thế nào?

Lần này, chỉ có năm tài liệu được quét vì chỉ số danh mục. Chúng tôi không thấy sự khác biệt đáng kể về thời gian thực hiện vì số lượng nhỏ các tài liệu. Nhưng chúng tôi thấy một sự giảm lớn về số lượng tài liệu được quét cho truy vấn. Các chỉ mục giúp tối ưu hóa hiệu suất cho các tập hợp, là tốt. Các tập hợp nằm ngoài phạm vi cho hướng dẫn này, nhưng ở đây, một cái nhìn tổng quan.

Làm thế nào để Python lưu trữ dữ liệu trong MongoDB?

Để chèn một bản ghi hoặc tài liệu vì nó được gọi trong MongoDB, vào một bộ sưu tập, chúng tôi sử dụng phương thức chèn_one (). Tham số đầu tiên của phương thức chèn_one () là từ điển chứa (các) tên và giá trị của mỗi trường trong tài liệu bạn muốn chèn.use the insert_one() method. The first parameter of the insert_one() method is a dictionary containing the name(s) and value(s) of each field in the document you want to insert.

Làm thế nào các tập tin được lưu trữ trong MongoDB?

MongoDB lưu trữ các đối tượng ở định dạng nhị phân gọi là BSON. Bindata là loại dữ liệu BSON cho mảng byte nhị phân. Tuy nhiên, các đối tượng MongoDB thường bị giới hạn ở kích thước 16MB. Để đối phó với điều này, các tệp được "chia" thành nhiều đối tượng nhỏ hơn 255 kib mỗi đối tượng.in a binary format called BSON. BinData is a BSON data type for a binary byte array. However, MongoDB objects are typically limited to 16MB in size. To deal with this, files are "chunked" into multiple objects that are less than 255 KiB each.

Làm thế nào để Python lưu trữ hình ảnh trong MongoDB?

Trước hết, hãy nhập thư viện sau đó kết nối với máy chủ để bạn có thể sử dụng MongoDB trong Python và để lưu trữ hình ảnh tạo cơ sở dữ liệu ...
Ở phía bên phải của đầu ra, bạn có thể thấy hình ảnh cơ sở dữ liệu được tạo ra một cách hoàn hảo ..
Trong cơ sở dữ liệu có hai bộ phụ được đặt tên là FS.Chunks và FS.....
Hình ảnh của chúng tôi được lưu trữ trong FS ..

Làm thế nào để Python tích hợp với MongoDB?

Để kết nối với MongoDB từ ứng dụng Python, hãy làm theo hướng dẫn từng bước dưới đây:..
Cài đặt trình điều khiển Python - Pymongo.Pymongo chứa các công cụ để làm việc với MongoDB.....
Nhập Mongoclient từ Pymongo.....
Tạo một kết nối với dịch vụ Daemon MongoDB bằng Mongoclient.....
Mongoclient đã sẵn sàng.....
Kết nối chặt chẽ với MongoDB ..