Hướng dẫn phân tán mongodb
Chào mọi người, hôm nay mình sẽ viết về mongodb cluster một chút. Show
Mình sẽ nói rõ hơn một chút về tính khả mở, khả năng nhân bản và cách mongo mở rộng hay nhân bản dữ liệu trước khi đi vào xây dựng 1 ví dụ với docker-compose Các thành phần chính của mongoDBDatabaseDatabase là một ô chứa dữ liệu ở mức vật lý, mỗi database bao gồm nhiều collection CollectionCollection là một nhóm các văn bản (tương ứng với các bảng trong cơ sở dữ liệu quan hệ), mỗi collection chỉ thuộc về một database duy nhất. Nhưng điểm khác biệt đó là các collection không có sự rằng buộc về cấu trúc của document, nó chỉ là 1 cách gom lại các document tựa tựa nhau tùy theo người quản trị hệ thống. Và các collection không có sự rằng buộc với nhau. DocumentLà có thể hiểu giống như các bản ghi dữ liệu, có cấu trúc tương tự Json. Mỗi document có 1 _id là định danh duy nhất. Và các document không có cấu trúc giống nhau. Ví dụ về một document
Cách mongo nhân bản và tổ trức lưu trữ nhân bảnKỹ thuật nhân bản của mongo đơn giản chỉ là sao một đối tượng dữ liệu ra nhiều máy chủ khác nhau. Trong nhóm máy chủ này có 1 máy chủ chính gọi là master còn các máy chủ khác là máy chủ thứ cấp (gọi là slaver). Máy chủ master đóng vai trò thực hiện các tác vụ đọc và ghi, trong khi các máy chủ slaver chỉ có vai trò backup dữ liệu và tác vụ đọc. Mongo có một cơ chế chuyển đổi dự phòng nếu máy master crash, một trong các máy slaver sẽ lên làm master thông qua thực hiện hàm bầu cử. (Chi tiết mình sẽ nói sau nếu có thời gian) Một cụm máy như này trong kiến trúc của mongo sẽ có 3 máy, gọi là 1 replicaset. Một replica set thông thường sẽ có 1 primary(master) và 2 secondary(slave). Hoặc 1 replica set sẽ có 1 primary, 1 secondary và 1 arbiter. Vai trò của arbiter và lí do vì sao xuất hiện thằng này, mình sẽ nói ở một bài viết khác nhé ^^. Cách mongo cắt nhỏ dữ liệu để lưu trữĐể chia nhỏ một khối dữ liệu lớn ra nhiều các máy trạm khác nhau, mongo có một cơ chế là sharding. Sharding là một kỹ thuật cho phép các bản ghi trong một cơ sở dữ liệu phân tán ra nhiều máy chủ khác nhau. Điều này giúp cho khả năng mở rộng, lưu trữ và xử lỹ của hệ thống. Một sharded cluster bao gồm các thành phần sau: Sharding strategyOK, giờ đến chiến lược sharding. Mongo có 2 chiến lược sharding, nhưng trước hết mọi người cần biết đến khái niệm shard-key đã. Shard keyShard key là gì, shard key là 1 trường trong văn bản, mà trường đó là unique, và quan trọng hơn hết, đó là chúng ta thích trường đó, chúng ta chọn trường đó làm key (đùa thôi, có hẳn 1 chiến lược để chọn shard key đó, nhưng viết trong bài này thì dài quá, vì mãi chưa đi đến đoạn xây dựng mongo cluster). Như đã nói ở trên, shard key là 1 trường unique, nhưng dùng để làm gì, đơn giản, dùng shard key để quyết định xem, document này sẽ nằm ở shard nào. Có 2 cách để chốt xem document nằm ở đâu với shard key Ranged sharding:Đây là cách đơn giản dễ làm dễ hiều, chỉ đơn giản là chia các shard ra thành các range liền nhau, kiểu như shardA chiến từ -10 đến 10. shardB chiếm từ 11 đến 31 chẳng hạn, shard-key của document rơi vào khoảng nào thì nằm vào shard đó. dễ hiểu đúng không Hashed Sharding:Cách này càng đơn giản, mỗi giá trị của shard key đưa qua 1 hàm bằm, sau đó lại lắm vào range như cách trên, nhưng cách này có gì hay hơn, cách này giúp đảm bảo document phân tán được triệt để hơn. (Như mình đã chạy thì 1 triệu bản ghi phân tán ra 10 shard, mỗi shard chứa từ 99899 đến 10100 bản ghi). Mình sẽ giải thích cái này 1 lần nữa ở bài viết khác =)) OK, đến đây mà mọi người đã hình dung ra lý thuyết cách mongo phân tán rồi đúng không. Ở bài viết tiếp mình sẽ hướng dẫn mọi người về docker vả dùng dockert-compose xây dựng 1 cụm mongo ngay trên máy tính cá nhân nhé. Hôm nay mệt lắm rồi. Một số định nghĩa trước khi đi sâu về MongoDB. Đây là một cross-platform, DB hướng documents với hiệu năng cao, có thể đáp ứng cho đa dạng các hệ thống và dễ dàng để scale. Tư tưởng của MongoDB là thông qua khái niệm collection và document. Vì không tìm được từ tiếng việt hay ho hơn nên tạm thời cho phép mình giữ nguyên các khái niệm tiếng anh của 2 thuật ngữ này. DatabaseDatabase là một container vật lý cho các collection. Mỗi DB được thiết lập cho riêng nó một danh sách các files hệ thống files. Một máy chủ MongoDB đơn thường có nhiều DB. CollectionCollection là một nhóm các documents của MongoDB. Nó tương đương với một table trong RDBMS. Một Collection tồn tại trong một cơ sở dữ liệu duy nhất. Các collection ko tạo nên một schema. Documents trong collection có thể có các fields khác nhau. Thông thường, tất cả các documents trong collections có mục đích khá giống nhau hoặc liên quan tới nhau DocumentMột document là một tập hợp các cặp key-value. Documents có schema động. Schema động có nghĩa là documents trong cùng một collection không cần phải có cùng một nhóm các fields hay cấu trúc giống nhau, và các fields phổ biến trong các documents của collection có thể chứa các loại dữ liệu khác nhau. Bảng dưới đây cho thấy mối quan hệ của các thuật ngữ RDBMS với MongoDB Một số cân nhắc khi thiết kế schema trong MongoDB
Ví dụ : Giả sử là một khách hàng cần một thiết kế DB cho blog của anh ta và cân nhắc sự khác biệt schema giữa RDMS và MongoDB. Web sẽ có những yêu cầu sau :
Trong thiết kế schema của RDBMS chúng ta sẽ có như sau về post và comments và tags. While in MongoDB schema design will have one collection post and has the following structure: Trong khi đó ở MongoDB schema, chúng ta sẽ có thiết kế một collection post và có cấu trúc như sau :
Để show 1 post RDBMS cần phải join 3 bảng trong khi MongoDB chỉ cần lấy ra từ một collections. Nói đến đây nhiều bạn chú ý đừng thần tượng MongoDB quá nhé. Tháng sau mình sẽ viết 1 bài về so sánh hiệu năng với hàng triệu bản ghi giữa MySQL và NoSQL. MongoDB - Create/Drop DatabaseMột số lệnh liên quan đến Database
Ví dụ
Check đang sử dụng DB nào
show danh sách các DB trong server.
DB của bạn vừa mới create ko có ở đây. bạn phải insert một documents về nó vào list.
Drop DB
MongoDB - Create/Drop CollectionDưới đây là syntax để tạo một Collection
và syntax để drop một collection
Ví dụ nhé :
Trong MongoDB thì bạn ko nhất thiết phải tạo collection. Bọn này sẽ tự động tạo collection cho bạn khi bạn insert một documents.
Đây là ví dụ drop
Kiểu dữ liệu
MongoDB - DocumentInsert một Document
Ví dụ
Nếu bạn muốn insert nhiều documents trong một lệnh, bạn cần cho array vào trong lệnh
Lệnh tìm kiếm
Để hiện thể kết quả đẹp hơn. Bạn có thể dùng thêm phương thức
Cách sử dụng find AND trong MongoDB
Cách sử dụng find OR trong MongoDB
Dưới đây là một ví dụ sử dụng cả AND và OR trong MongoDB
Tiếp đến là lệnh UPDATE
Giá sử dữ liệu ban đầu của bạn là như thế này
Sau khi chạy
Bạn sẽ nhận được kết quả như sau
Bạn có thể update nhiều documents bằng cach truyền một param 'multi' cho nó true
Lệnh SAVECú pháp của lệnh này như sau
Dưới đây là ví du
khi bạn chạy đoạn này phần dữ liệu của documents
có ID
Lệnh REMOVELệnh này khá đơn giản. Các bạn tự tìm hiểu thêm nhé. MongoDB - ProjectionTrong mongodb, projection có nghĩa là bạn chỉ cần chọn những dữ liệu cần hthieets thay vì select hết mọi dữ liệu của documents. Nó khác find trong find Collection ở chỗ là find thì tìm kiếm dữ liệu document trong collection. Còn khía niệm này sẽ tìm kiếm kết quả fields trong documents. ví dụ bạn cần hiển thị 3 fields kết quả trong 5 fields của một documents. syntax của lệnh tìm kiếm này sẽ là
Ví dụ dữ liệu hiện tại của bạn như sau :
Bạn chỉ cần muốn hiển thị mỗi title thôi. Hãy làm như sau
Rất đơn giản phải ko ! MongoDB - Limit RecordsĐể giới hạn số lượng records trong MongoDB, bạn sẽ dùng phương thức limit(). Limit() sẽ chấp nhận số lượng record giới hạn thông qua argument mà bạn truyền vào. Nó sẽ thể hiện số lượng documents bạn muốn hiển thị.
Sử dụng ví dụ ở Projection ở trên chúng ta có ví dụ sau
Ngoài ra có lệnh skip() cho phép bạn bỏ qua 1 giá trị document.
MongoDB - Sort RecordsĐể sort các document trong MongoDB, bạn cần phải sử dụng sort(). sort() cho pehsp một document trong chứa các fields theo thứ tự order. có 2 loại thứ tự, 1 sẽ tương đương với ascending và -1 sẽ tương đương với descending.
MongoDB - IndexingIndex hỗ trợ độ phân tích một cách hiệu quả các truy vấn. Nếu không có chỉ mục, MongoDB sẽ phải quét tất cả các documents của collection để chọn ra những document phù hợp với câu truy vấn. Quá trình quét này là không hiệu quả và yêu cầu MongoDB để xử lý một khối lượng lớn dữ liệu. Index là những cấu trúc dữ liệu đặc biệt, dùng để chứa một phần nhỏ của các tập dữ liệu một cách dễ dàng để quét. Chỉ số lưu trữ giá trị của một fields cụ thể hoặc thiết lập các fields, sắp xếp theo giá trị của các fields này.
Để có thể đánh số nhiều fields, bạn hãy dùng
Ở đây giá trị 1 và -1 là thể hiện thứ tự sắp xếp index. MongoDB - AggregationAggregation xử ly các record dữ liệu va trả về kết quả đã tính toán rồi. Aggregation sẽ group giá trị từ nhiều documents khác nhau và có thể tiến hành xử lý rất nhiều nhóm dư liệu để trả về một kết quả đơn lẻ. Xử lý này tương đương với count(*) trong SQL.
Ví dụ chúng ta có dữ liệu như thế này.
Nếu bạn muốn hiển thị có bao nhiêu tutorial được viết bởi mỗi user bạn sẽ sử dụng
Tương ứng với câu truy vấn trên trong SQL sẽ là Khái niệm về PIPELINETrong các lệnh shell UNIX, pipeline có ý nghĩa khả năng để thực hiện một xử lý trên một vài input và sử dụng các outpust như là input cho lệnh toeeps theo. MongoDB cũng hỗ trợ khái niệm tương tự trong framework aggregation. Sẽ có một tập hợp các stage có thể xảy ra và mỗi stage được đánh dấu bằng môt nhóm các documents như là input và tính toán ra kết quả của nhóm documents đó. Kết quả nà có thể sẽ được chuyển thành input sử dụng cho stage kế tiếp. Bài viết sau mình sẽ viết tiếp về những vấn đề nâng cao hơn của MongoDB. MongoDB - ReplicationReplication là khái niệm đồng bộ hóa dữ liệu trên nhiều server. REplication sẽ cung cấp rất nhiều và tăng tính sẵn sàng của data với nhiều bản copy dữ liệu trên nhiều server DB, replications bảo vê DB khỏi việc mất dữ liệu trên 1 server đơn lẻ. Relication cũng cho phép bạn có thể khôi phục dữ liệu từ các ổ cứng bị lỗi và việc service bị lỗi hay gặp vấn đề. Với rất nheieuf các copy dữ liệu, bạn có thể tinh chỉnh môt bản cho việc khôi phục, report hoặc backup. Tại sao lại cần REPLICATION
REPILCATION hoạt động như thế nào trong MongoDBMongoDB lưu trử replication bằng việc sử dụng tập hợp repica. Một tập hơp replica chính là một group các instance
MongoDB - ShardingSharding là quá trình xử lý lưu trử dữ liệu record trên nhiều máy và đây là cách tiếp cận của MongoDB để có thể thỏa mãn các yêu cầu về big data. Khi size của dữ liệu gia tăng, một máy tính đơn lẻ ko thể đủ để lưu dữ liệu cũng như cung cấp các xử lý read và write thông thường. Sharding giải quyết bài toán này bằng cách scale lên theo chiều ngang. VỚi sharding, bạn có thể sẽ add thêm machines để hỗ trợ lưu trữ dữ liệu cũng như các yêu cầu về đọc và viết. Tại sao lại cần Sharding
Sharding in MongoDBĐây là mô hình sharding trong MongoDB
Nguồn : http://www.tutorialspoint.com/ |