Làm cách nào để lấy tất cả hình ảnh trong thư mục trong python?

Một bộ dữ liệu để chơi với

Chúng tôi sẽ sử dụng bộ dữ liệu hình ảnh của Viện nghiên cứu nâng cao Canada, hay còn gọi là CIFAR-10, bao gồm 60.000 hình ảnh màu 32x32 pixel thuộc các lớp đối tượng khác nhau, chẳng hạn như chó, mèo và máy bay. Về mặt tương đối, CIFAR không phải là tập dữ liệu quá lớn, nhưng nếu chúng tôi sử dụng tập dữ liệu TinyImages đầy đủ thì bạn sẽ cần khoảng 400GB dung lượng đĩa trống, đây có thể là một yếu tố hạn chế

Tín dụng cho bộ dữ liệu như được mô tả trong chương 3 của báo cáo công nghệ này là của Alex Krizhevsky, Vinod Nair và Geoffrey Hinton

Nếu bạn muốn làm theo các ví dụ mã trong bài viết này, bạn có thể tải xuống CIFAR-10 tại đây, chọn phiên bản Python. Bạn sẽ hy sinh 163 MB dung lượng ổ đĩa

Khi bạn tải xuống và giải nén thư mục, bạn sẽ phát hiện ra rằng các tệp này không phải là tệp hình ảnh mà con người có thể đọc được. Chúng thực sự đã được đánh số thứ tự và lưu theo lô bằng cách sử dụng cPickle

Mặc dù chúng tôi sẽ không xem xét

$ pip install lmdb

$ pip install lmdb

$ pip install lmdb

Đoạn mã sau giải nén từng tệp trong số năm tệp bó và tải tất cả các hình ảnh vào một mảng NumPy

import numpy as np
import pickle
from pathlib import Path

# Path to the unzipped CIFAR data
data_dir = Path("data/cifar-10-batches-py/")

# Unpickle function provided by the CIFAR hosts
def unpickle(file):
    with open(file, "rb") as fo:
        dict = pickle.load(fo, encoding="bytes")
    return dict

images, labels = [], []
for batch in data_dir.glob("data_batch_*"):
    batch_data = unpickle(batch)
    for i, flat_im in enumerate(batch_data[b"data"]):
        im_channels = []
        # Each image is flattened, with channels in order of R, G, B
        for j in range(3):
            im_channels.append(
                flat_im[j * 1024 : (j + 1) * 1024].reshape((32, 32))
            )
        # Reconstruct the original image
        images.append(np.dstack((im_channels)))
        # Save the label
        labels.append(batch_data[b"labels"][i])

print("Loaded CIFAR-10 training set:")
print(f" - np.shape(images)     {np.shape(images)}")
print(f" - np.shape(labels)     {np.shape(labels)}")

Tất cả các hình ảnh hiện có trong RAM ở biến

$ pip install lmdb

$ pip install lmdb

Ghi chú. Khối mã cuối cùng đó đã sử dụng chuỗi f. Bạn có thể đọc thêm về chúng trong Chuỗi f của Python 3. Cú pháp định dạng chuỗi được cải thiện (Hướng dẫn)

Thiết lập để lưu trữ hình ảnh trên đĩa

Bạn sẽ cần thiết lập môi trường của mình cho phương pháp lưu và truy cập những hình ảnh này từ đĩa mặc định. Bài viết này sẽ giả sử bạn có Python 3. x được cài đặt trên hệ thống của bạn và sẽ sử dụng

$ pip install lmdb

$ pip install lmdb

Ngoài ra, nếu thích, bạn có thể cài đặt nó bằng Anaconda

$ pip install lmdb

Ghi chú.

$ pip install lmdb

$ pip install lmdb

$ pip install lmdb

Bây giờ bạn đã sẵn sàng để lưu trữ và đọc hình ảnh từ đĩa

Bắt đầu với LMDB

LMDB, đôi khi được gọi là “Cơ sở dữ liệu Lightning”, viết tắt của Lightning Memory-Mapped Database vì nó nhanh và sử dụng các tệp ánh xạ bộ nhớ. Đó là kho lưu trữ khóa-giá trị, không phải cơ sở dữ liệu quan hệ

Về mặt triển khai, LMDB là một cây B+, về cơ bản có nghĩa là nó là một cấu trúc biểu đồ dạng cây được lưu trữ trong bộ nhớ trong đó mỗi phần tử khóa-giá trị là một nút và các nút có thể có nhiều nút con. Các nút trên cùng cấp độ được liên kết với nhau để truyền tải nhanh

Quan trọng là, các thành phần chính của cây B+ được đặt tương ứng với kích thước trang của hệ điều hành máy chủ, tối đa hóa hiệu quả khi truy cập bất kỳ cặp khóa-giá trị nào trong cơ sở dữ liệu. Do hiệu suất cao của LMDB phụ thuộc rất nhiều vào điểm cụ thể này, nên hiệu quả của LMDB đã được chứng minh là phụ thuộc vào hệ thống tệp cơ bản và việc triển khai hệ thống đó

Một lý do quan trọng khác cho hiệu quả của LMDB là nó được ánh xạ bộ nhớ. Điều này có nghĩa là nó trả về các con trỏ trực tiếp tới địa chỉ bộ nhớ của cả khóa và giá trị mà không cần sao chép bất kỳ thứ gì trong bộ nhớ như hầu hết các cơ sở dữ liệu khác đều làm

Những ai muốn tìm hiểu sâu hơn một chút về chi tiết triển khai bên trong của cây B+ có thể xem bài viết này về cây B+ và sau đó chơi với hình ảnh trực quan về việc chèn nút này

Nếu cây B+ không làm bạn quan tâm, đừng lo lắng. Bạn không cần biết nhiều về triển khai nội bộ của họ để sử dụng LMDB. Chúng tôi sẽ sử dụng liên kết Python cho thư viện LMDB C, có thể được cài đặt qua pip

$ pip install lmdb

Bạn cũng có tùy chọn cài đặt qua Anaconda

$ pip install lmdb

Kiểm tra xem bạn có thể

$ pip install lmdb

Bắt đầu với HDF5

HDF5 là viết tắt của Hierarchical Data Format, một định dạng tệp được gọi là HDF4 hoặc HDF5. Chúng ta không cần lo lắng về HDF4, vì HDF5 là phiên bản được bảo trì hiện tại

Thật thú vị, HDF có nguồn gốc từ Trung tâm ứng dụng siêu máy tính quốc gia, dưới dạng định dạng dữ liệu khoa học nhỏ gọn, di động. Nếu bạn đang thắc mắc liệu nó có được sử dụng rộng rãi hay không, hãy xem lời giới thiệu của NASA về HDF5 từ dự án Dữ liệu Trái đất của họ

Các tệp HDF bao gồm hai loại đối tượng

1. Bộ dữ liệu
2. Các nhóm

Bộ dữ liệu là các mảng nhiều chiều và các nhóm bao gồm các bộ dữ liệu hoặc các nhóm khác. Mảng đa chiều có kích thước và loại bất kỳ có thể được lưu trữ dưới dạng tập dữ liệu, nhưng kích thước và loại phải thống nhất trong tập dữ liệu. Mỗi bộ dữ liệu phải chứa một mảng N chiều đồng nhất. Điều đó nói rằng, bởi vì các nhóm và bộ dữ liệu có thể được lồng vào nhau, bạn vẫn có thể nhận được sự không đồng nhất mà bạn có thể cần

$ pip install lmdb

Cũng như các thư viện khác, bạn có thể cài đặt luân phiên qua Anaconda

$ pip install lmdb

Nếu bạn có thể

$ pip install lmdb

Lưu trữ vào đĩa

Đầu vào của chúng tôi cho thử nghiệm này là một hình ảnh duy nhất

$ pip install lmdb

$ pip install lmdb

$ pip install lmdb

$ pip install lmdb

$ pip install lmdb

Điều này lưu hình ảnh. Trong tất cả các ứng dụng thực tế, bạn cũng quan tâm đến siêu dữ liệu được đính kèm với hình ảnh, mà trong bộ dữ liệu ví dụ của chúng tôi là nhãn hình ảnh. Khi bạn đang lưu trữ hình ảnh vào đĩa, có một số tùy chọn để lưu siêu dữ liệu

Một giải pháp là mã hóa các nhãn thành tên hình ảnh. Điều này có lợi thế là không yêu cầu bất kỳ tệp bổ sung nào

Tuy nhiên, nó cũng có nhược điểm lớn là buộc bạn phải xử lý tất cả các tệp bất cứ khi nào bạn làm bất cứ điều gì với nhãn. Lưu trữ các nhãn trong một tệp riêng biệt cho phép bạn chơi xung quanh với các nhãn một mình mà không phải tải hình ảnh. Ở trên, tôi đã lưu trữ các nhãn trong một tệp

$ pip install lmdb

Bây giờ, hãy chuyển sang thực hiện chính xác nhiệm vụ tương tự với LMDB

Lưu trữ vào LMDB

Đầu tiên, LMDB là một hệ thống lưu trữ khóa-giá trị trong đó mỗi mục nhập được lưu dưới dạng một mảng byte, vì vậy, trong trường hợp của chúng tôi, các khóa sẽ là mã định danh duy nhất cho mỗi hình ảnh và giá trị sẽ là chính hình ảnh đó. Cả khóa và giá trị đều phải là chuỗi, do đó, cách sử dụng phổ biến là tuần tự hóa giá trị dưới dạng chuỗi, sau đó bỏ tuần tự hóa giá trị đó khi đọc lại

Bạn có thể sử dụng

$ pip install lmdb

Bạn có thể tạo một lớp Python cơ bản cho hình ảnh và dữ liệu meta của nó

$ pip install lmdb

Thứ hai, vì LMDB được ánh xạ bộ nhớ, các cơ sở dữ liệu mới cần biết chúng dự kiến ​​sẽ sử dụng bao nhiêu bộ nhớ. Điều này tương đối đơn giản trong trường hợp của chúng ta, nhưng nó có thể là một vấn đề lớn trong các trường hợp khác, mà bạn sẽ thấy sâu hơn trong phần sau. LMDB gọi biến này là

$ pip install lmdb

Cuối cùng, thao tác đọc và ghi với LMDB được thực hiện trong

$ pip install lmdb

Với ba điểm đó, hãy xem mã để lưu một hình ảnh vào LMDB

$ pip install lmdb

Ghi chú. Bạn nên tính toán số byte chính xác mà mỗi cặp khóa-giá trị sẽ chiếm

Với tập dữ liệu hình ảnh có kích thước khác nhau, đây sẽ là giá trị gần đúng, nhưng bạn có thể sử dụng

$ pip install lmdb

$ pip install lmdb

Hàm cũng sẽ không thể tính toán đầy đủ các mục, danh sách hoặc đối tượng lồng nhau có chứa tham chiếu đến các đối tượng khác

Ngoài ra, bạn có thể sử dụng

$ pip install lmdb

Bây giờ bạn đã sẵn sàng để lưu hình ảnh vào LMDB. Cuối cùng, hãy xem phương pháp cuối cùng, HDF5

Lưu trữ với HDF5

Hãy nhớ rằng một tệp HDF5 có thể chứa nhiều tập dữ liệu. Trong trường hợp khá tầm thường này, bạn có thể tạo hai bộ dữ liệu, một cho hình ảnh và một cho siêu dữ liệu của nó

$ pip install lmdb

$ pip install lmdb

Ghi chú. Việc lựa chọn kiểu dữ liệu sẽ ảnh hưởng mạnh đến thời gian chạy và yêu cầu lưu trữ của HDF5, vì vậy tốt nhất bạn nên chọn các yêu cầu tối thiểu của mình

Bây giờ chúng ta đã xem xét ba phương pháp lưu một hình ảnh, hãy chuyển sang bước tiếp theo

Các thử nghiệm để lưu trữ một hình ảnh

Bây giờ bạn có thể đặt cả ba chức năng để lưu một hình ảnh vào từ điển, có thể được gọi sau này trong quá trình thử nghiệm thời gian

$ pip install lmdb

Cuối cùng, mọi thứ đã sẵn sàng để tiến hành thí nghiệm hẹn giờ. Hãy thử lưu hình ảnh đầu tiên từ CIFAR và nhãn tương ứng của nó và lưu trữ nó theo ba cách khác nhau

$ pip install lmdb

Ghi chú. Trong khi tìm hiểu về LMDB, bạn có thể thấy lỗi

$ pip install lmdb

Điều này góp phần làm cho thời gian ghi nhanh, nhưng điều đó cũng có nghĩa là nếu bạn lưu trữ một hình ảnh nhiều lần trong cùng một tệp LMDB, thì bạn sẽ sử dụng hết kích thước bản đồ. Nếu bạn chạy một chức năng lưu trữ, trước tiên hãy nhớ xóa mọi tệp LMDB có sẵn

Hãy nhớ rằng chúng tôi quan tâm đến thời gian chạy, được hiển thị ở đây tính bằng giây và cả mức sử dụng bộ nhớ

Phương pháp Lưu một ảnh + Đĩa MetaMemory1. 915 ms8 KLMDB1. 203 ms32 KHDF58. 243 ms8 K

Có hai điều rút ra ở đây

1. Tất cả các phương pháp đều nhanh chóng
2. Về mặt sử dụng đĩa, LMDB sử dụng nhiều hơn

Rõ ràng, mặc dù LMDB dẫn đầu về hiệu suất một chút, chúng tôi vẫn chưa thuyết phục được ai tại sao không chỉ lưu trữ hình ảnh trên đĩa. Xét cho cùng, đó là định dạng con người có thể đọc được và bạn có thể mở và xem chúng từ bất kỳ trình duyệt hệ thống tệp nào. Chà, đã đến lúc xem nhiều hình ảnh hơn…

Điều chỉnh mã cho nhiều hình ảnh

Lưu nhiều hình ảnh dưới dạng tệp

$ pip install lmdb

$ pip install lmdb

Bạn sẽ cần thay đổi mã một chút và tạo ba chức năng mới chấp nhận nhiều hình ảnh,

$ pip install lmdb

$ pip install lmdb

$ pip install lmdb

$ pip install lmdb

Vì vậy, bạn có thể lưu trữ nhiều tệp vào đĩa, phương thức tệp hình ảnh đã được thay đổi để lặp qua từng hình ảnh trong danh sách. Đối với LMDB, cũng cần có một vòng lặp vì chúng tôi đang tạo một đối tượng

$ pip install lmdb

Điều chỉnh nhỏ nhất là với phương pháp HDF5. Trên thực tế, hầu như không có sự điều chỉnh nào cả. Các tệp HFD5 không có giới hạn về kích thước tệp ngoài các giới hạn bên ngoài hoặc kích thước tập dữ liệu, vì vậy tất cả các hình ảnh được nhồi vào một tập dữ liệu duy nhất, giống như trước đây

Tiếp theo, bạn sẽ cần chuẩn bị tập dữ liệu cho các thử nghiệm bằng cách tăng kích thước của tập dữ liệu đó

Chuẩn bị bộ dữ liệu

Trước khi chạy lại thử nghiệm, trước tiên hãy nhân đôi kích thước tập dữ liệu của chúng tôi để chúng tôi có thể thử nghiệm với tối đa 100.000 hình ảnh

$ pip install lmdb

Bây giờ đã có đủ hình ảnh, đã đến lúc thử nghiệm

Thử nghiệm lưu trữ nhiều hình ảnh

Như bạn đã làm với việc đọc nhiều hình ảnh, bạn có thể tạo một từ điển xử lý tất cả các chức năng với

$ pip install lmdb

$ pip install lmdb

Nếu bạn đang theo dõi và tự chạy mã, bạn sẽ cần hồi hộp ngồi lại một lúc và đợi 111.110 hình ảnh được lưu trữ ba lần mỗi hình vào đĩa của bạn, ở ba định dạng khác nhau. Bạn cũng sẽ cần nói lời tạm biệt với khoảng 2 GB dung lượng ổ đĩa

Bây giờ là khoảnh khắc của sự thật. Tất cả việc lưu trữ đó mất bao lâu?

Biểu đồ đầu tiên hiển thị thời gian lưu trữ bình thường, chưa được điều chỉnh, làm nổi bật sự khác biệt lớn giữa lưu trữ vào tệp

$ pip install lmdb

Biểu đồ thứ hai hiển thị

$ pip install lmdb

Mặc dù kết quả chính xác có thể khác nhau tùy thuộc vào máy của bạn, đây là lý do tại sao LMDB và HDF5 đáng để suy nghĩ. Đây là mã đã tạo biểu đồ trên

$ pip install lmdb

Bây giờ chúng ta hãy tiếp tục đọc lại các hình ảnh

Đọc từ đĩa

Trong ba phương pháp, LMDB yêu cầu nhiều công việc nhất khi đọc các tệp hình ảnh ra khỏi bộ nhớ, do bước tuần tự hóa. Hãy xem qua các chức năng này để đọc một hình ảnh cho từng định dạng trong số ba định dạng lưu trữ

Đầu tiên, đọc một hình ảnh và meta của nó từ tệp

$ pip install lmdb

$ pip install lmdb

$ pip install lmdb

Đọc từ LMDB

Tiếp theo, đọc cùng một hình ảnh và meta từ LMDB bằng cách mở môi trường và bắt đầu giao dịch đọc

$ pip install lmdb

Dưới đây là một vài điểm không phải về đoạn mã trên

• Dòng 13. Cờ

  $ pip install lmdb
  

  10 chỉ định rằng không được phép ghi trên tệp LMDB cho đến khi giao dịch kết thúc. Trong biệt ngữ cơ sở dữ liệu, nó tương đương với việc khóa đọc
• Dòng 20. Để truy xuất đối tượng CIFAR_Image, bạn cần đảo ngược các bước mà chúng tôi đã thực hiện để chọn nó khi viết nó. Đây là nơi mà

  $ pip install lmdb
  

  11 của đối tượng hữu ích

Điều này kết thúc việc đọc lại hình ảnh từ LMDB. Cuối cùng, bạn sẽ muốn làm điều tương tự với HDF5

Đọc từ HDF5

Đọc từ HDF5 trông rất giống với quá trình viết. Đây là mã để mở và đọc tệp HDF5 và phân tích cú pháp cùng một hình ảnh và meta

$ pip install lmdb

Lưu ý rằng bạn truy cập vào các bộ dữ liệu khác nhau trong tệp bằng cách lập chỉ mục đối tượng

$ pip install lmdb

$ pip install lmdb

$ pip install lmdb

Với từ điển này đã được chuẩn bị, bạn đã sẵn sàng để chạy thử nghiệm

Thử nghiệm để đọc một hình ảnh

Bạn có thể mong đợi rằng thử nghiệm đọc một hình ảnh sẽ có kết quả hơi tầm thường, nhưng đây là mã thử nghiệm

$ pip install lmdb

Dưới đây là kết quả của thử nghiệm đọc một hình ảnh

MethodRead Single Image + MetaDisk1. 61970 msLMDB4. 52063 msHDF51. 98036 ms

Đọc các tệp

$ pip install lmdb

$ pip install lmdb

Điều chỉnh mã cho nhiều hình ảnh

Mở rộng các hàm trên, bạn có thể tạo các hàm với

$ pip install lmdb

$ pip install lmdb

Với các chức năng đọc được lưu trữ trong từ điển cũng như các chức năng viết, bạn đã sẵn sàng cho thử nghiệm

Thử nghiệm để đọc nhiều hình ảnh

Bây giờ bạn có thể chạy thử nghiệm để đọc nhiều hình ảnh

$ pip install lmdb

Như chúng tôi đã làm trước đây, bạn có thể vẽ biểu đồ kết quả thử nghiệm đã đọc

Biểu đồ trên cùng hiển thị thời gian đọc bình thường, chưa được điều chỉnh, cho thấy sự khác biệt lớn giữa việc đọc từ tệp

$ pip install lmdb

Ngược lại, biểu đồ ở phía dưới hiển thị

$ pip install lmdb

Viết thời gian đọcHiển thị/Ẩn

Sử dụng chức năng vẽ đồ thị tương tự như đối với thời gian ghi, chúng tôi có những điều sau đây

$ pip install lmdb

Trong thực tế, thời gian viết thường ít quan trọng hơn thời gian đọc. Hãy tưởng tượng rằng bạn đang đào tạo một mạng lưới thần kinh sâu về hình ảnh và chỉ một nửa toàn bộ tập dữ liệu hình ảnh của bạn phù hợp với RAM cùng một lúc. Mỗi kỷ nguyên đào tạo mạng yêu cầu toàn bộ tập dữ liệu và mô hình cần vài trăm kỷ nguyên để hội tụ. Về cơ bản, bạn sẽ đọc một nửa tập dữ liệu vào bộ nhớ mỗi kỷ nguyên

Có một số thủ thuật mà mọi người thực hiện, chẳng hạn như đào tạo các kỷ nguyên giả để làm cho điều này tốt hơn một chút, nhưng bạn hiểu ý

Bây giờ, hãy nhìn lại vào biểu đồ đã đọc ở trên. Sự khác biệt đột ngột giữa thời gian đọc 40 giây và 4 giây là sự khác biệt giữa việc đợi sáu giờ để mô hình của bạn đào tạo hoặc bốn mươi phút

Nếu chúng ta xem thời gian đọc và ghi trên cùng một biểu đồ, thì chúng ta có kết quả như sau

Viết thời gian đọc và ghiHiển thị/Ẩn

Bạn có thể vẽ tất cả thời gian đọc và ghi trên một biểu đồ bằng cách sử dụng cùng chức năng vẽ đồ thị

$ pip install lmdb

Khi bạn đang lưu trữ hình ảnh dưới dạng tệp

$ pip install lmdb

Bây giờ bạn đã thấy những lợi ích về hiệu suất của LMDB và HDF5, hãy xem xét một chỉ số quan trọng khác. sử dụng đĩa

Truy cập song song

Một so sánh quan trọng mà chúng tôi đã không kiểm tra trong các thử nghiệm ở trên là đọc và ghi đồng thời. Thông thường, với các tập dữ liệu lớn như vậy, bạn có thể muốn tăng tốc hoạt động của mình thông qua song song hóa

Trong phần lớn các trường hợp, bạn sẽ không muốn đọc các phần của cùng một hình ảnh cùng một lúc mà bạn sẽ muốn đọc nhiều hình ảnh cùng một lúc. Với định nghĩa về đồng thời này, việc lưu trữ vào đĩa dưới dạng tệp

$ pip install lmdb

Còn LMDB thì sao? . Bạn có thể đọc thêm về điều đó tại trang web công nghệ LMDB

Nhiều ứng dụng có thể truy cập cùng một cơ sở dữ liệu LMDB cùng một lúc và nhiều luồng từ cùng một quy trình cũng có thể đồng thời truy cập LMDB để đọc. Điều này cho phép thời gian đọc nhanh hơn. nếu bạn chia tất cả CIFAR thành mười bộ, thì bạn có thể thiết lập mười quy trình để mỗi lần đọc trong một bộ và nó sẽ chia thời gian tải cho mười

HDF5 cũng cung cấp I/O song song, cho phép đọc và ghi đồng thời. Tuy nhiên, khi triển khai, khóa ghi được giữ và quyền truy cập là tuần tự, trừ khi bạn có hệ thống tệp song song

Có hai tùy chọn chính nếu bạn đang làm việc trên một hệ thống như vậy, sẽ được thảo luận sâu hơn trong bài viết này của Nhóm HDF về IO song song. Nó có thể trở nên khá phức tạp và tùy chọn đơn giản nhất là chia tập dữ liệu của bạn thành nhiều tệp HDF5 một cách thông minh, sao cho mỗi quy trình có thể xử lý một tệp

$ pip install lmdb

Tài liệu

Nếu bạn Google

$ pip install lmdb

Trên thực tế, có một nguồn tài liệu chính về ràng buộc Python của LMDB, được lưu trữ trên Read the Docs LMDB. Trong khi gói Python thậm chí còn chưa đạt phiên bản > 0. 94, nó được sử dụng khá rộng rãi và được coi là ổn định

Đối với bản thân công nghệ LMDB, có nhiều tài liệu chi tiết hơn tại trang web công nghệ LMDB, bạn có thể cảm thấy hơi giống như học phép tính ở lớp hai, trừ khi bạn bắt đầu từ trang Bắt đầu của họ

Đối với HDF5, có tài liệu rất rõ ràng tại trang tài liệu h5py, cũng như một bài đăng trên blog hữu ích của Christopher Lovell, đây là một tổng quan tuyệt vời về cách sử dụng gói

$ pip install lmdb

Mặc dù không phải là tài liệu mà có lẽ người mới bắt đầu sẽ đánh giá cao, nhưng cả LMDB và HDF5 đều có cộng đồng người dùng lớn, do đó, tìm kiếm sâu hơn trên Google thường mang lại kết quả hữu ích

Một cái nhìn phê phán hơn về việc thực hiện

Không có điều không tưởng trong các hệ thống lưu trữ và cả LMDB và HDF5 đều có những cạm bẫy

Một điểm quan trọng cần hiểu về LMDB là dữ liệu mới được ghi mà không ghi đè hoặc di chuyển dữ liệu hiện có. Đây là một quyết định thiết kế cho phép đọc cực nhanh mà bạn đã chứng kiến ​​trong các thử nghiệm của chúng tôi, đồng thời đảm bảo tính toàn vẹn và độ tin cậy của dữ liệu mà không cần lưu giữ thêm nhật ký giao dịch

Tuy nhiên, hãy nhớ rằng bạn cần xác định tham số

$ pip install lmdb

Sau đó, ở cuối dòng, bạn nhớ rằng bạn cần thêm dữ liệu mới. Ngay cả với bộ đệm bạn đã chỉ định trên

$ pip install lmdb

$ pip install lmdb

$ pip install lmdb

Ngoài ra, một số hệ thống có các hạn chế về dung lượng bộ nhớ có thể được yêu cầu cùng một lúc. Theo kinh nghiệm của riêng tôi, khi làm việc với các hệ thống điện toán hiệu năng cao (HPC), điều này tỏ ra vô cùng khó chịu và thường khiến tôi thích HDF5 hơn LMDB

Với cả LMDB và HDF5, chỉ có mục được yêu cầu được đọc vào bộ nhớ cùng một lúc. Với LMDB, từng cặp khóa-đơn vị được đọc vào bộ nhớ, trong khi với HDF5, đối tượng

$ pip install lmdb

$ pip install lmdb

$ pip install lmdb

$ pip install lmdb

Do cách hệ thống được tối ưu hóa và tùy thuộc vào hệ điều hành của bạn, thứ tự bạn truy cập các mục có thể ảnh hưởng đến hiệu suất

Theo kinh nghiệm của tôi, nói chung đúng là đối với LMDB, bạn có thể có hiệu suất tốt hơn khi truy cập các mục tuần tự theo khóa (các cặp khóa-giá trị được lưu trong bộ nhớ được sắp xếp theo thứ tự chữ và số theo khóa) và đối với HDF5, truy cập phạm vi lớn sẽ hoạt động tốt hơn đọc

$ pip install lmdb

Nếu bạn đang cân nhắc lựa chọn định dạng lưu trữ tệp để viết phần mềm của mình, sẽ thật thiếu sót nếu không đề cập đến Di chuyển khỏi HDF5 của Cyrille Rossant về những cạm bẫy của HDF5 và phản hồi của Konrad Hinsen về HDF5 và tương lai của quản lý dữ liệu, trong đó . Lưu ý rằng tập dữ liệu tương đối nhỏ hơn vẫn có kích thước vài GB

Tích hợp với các thư viện khác

Nếu bạn đang xử lý các tập dữ liệu thực sự lớn, thì rất có khả năng bạn sẽ làm được điều gì đó quan trọng với chúng. Thật đáng để xem xét các thư viện học sâu và loại tích hợp nào với LMDB và HDF5

Trước hết, tất cả các thư viện đều hỗ trợ đọc hình ảnh từ đĩa dưới dạng tệp

$ pip install lmdb

Dưới đây là một số thư viện học sâu phổ biến nhất và sự tích hợp LMDB và HDF5 của chúng

• Caffe có tích hợp LMDB ổn định, được hỗ trợ tốt và nó xử lý bước đọc một cách rõ ràng. Lớp LMDB cũng có thể dễ dàng được thay thế bằng cơ sở dữ liệu HDF5

• Máy ảnh sử dụng định dạng HDF5 để lưu và khôi phục mô hình. Điều này ngụ ý rằng TensorFlow cũng có thể

• TensorFlow có lớp tích hợp sẵn

  $ pip install lmdb
  

  95 cung cấp giao diện để đọc dữ liệu đầu vào từ tệp LMDB và có thể tạo các trình vòng lặp và thang đo theo lô. TensorFlow không có lớp dựng sẵn cho HDF5, nhưng có thể viết một lớp kế thừa từ lớp

  $ pip install lmdb
  

  96. Cá nhân tôi sử dụng hoàn toàn một lớp tùy chỉnh được thiết kế để truy cập đọc tối ưu dựa trên cách tôi cấu trúc các tệp HDF5 của mình

• Theano vốn không hỗ trợ bất kỳ định dạng tệp hoặc cơ sở dữ liệu cụ thể nào, nhưng như đã nêu trước đây, có thể sử dụng bất kỳ thứ gì miễn là nó được đọc dưới dạng mảng N chiều

Mặc dù còn lâu mới toàn diện, nhưng điều này hy vọng mang đến cho bạn cảm nhận về sự tích hợp LMDB/HDF5 của một số thư viện deep learning chính