Hướng dẫn lệnh sao chép Amazon Redshift hiện có sẵn!
Có những lý do chính đáng cho sự cường điệu xung quanh Amazon Redshift. Redshift đang rực rỡ nhanh chóng và không đắt hơn nhiều so với MySQL hoặc PostgreSQL, trụ cột truyền thống của các kỹ sư dữ liệu. Nhưng liệu Amazon Redshift có thực sự trở nên chiếm ưu thế trong thế giới cơ sở dữ liệu phân tích, chiếm lấy anh chị em nhỏ hơn [như MySQL] như một phụ trợ phân tích?
Sẽ là GLIB khi không thừa nhận rằng MySQL được thiết kế để xử lý giao dịch trực tuyến [OLTP] và so sánh là táo với cam. Tuy nhiên, đối với những người đã ở trong các chiến hào, câu chuyện về việc khai thác thành công của tôi như một cơ sở dữ liệu phân tích phải nghe có vẻ quá quen thuộc: với sự kết hợp của thiết kế lược đồ thông minh và phân chia, nhiều nhóm kỹ thuật dữ liệu đã xây dựng không có nguyên nhân, Kho dữ liệu của người đàn ông nghèo trên đỉnh MySQL và PostgreSQL.
Mặc dù giải pháp này có giá một phần của một giải pháp tương tự bằng cách sử dụng Teradata hoặc Oracle, nhưng nó không còn miễn phí: rất tốn kém để duy trì và mở rộng bất kỳ cơ sở hạ tầng dữ liệu nào vì chi phí của những người quản lý nó. Nhập Redshift. Bằng cách trả một chút tiền cho Amazon, khách hàng Redshift có thể chạy các truy vấn tương tự nhanh hơn và bảo trì ít hơn nhiều. Do đó, Amazon Redshift có phải là người không có trí tuệ không?
Dữ liệu của chúng tôi vẽ một bức tranh sắc thái hơn, tuy nhiên. Bởi vì dịch vụ dữ liệu kho báu lấp đầy khoảng cách nhà máy dữ liệu/dữ liệu dữ liệu giữa dữ liệu sự kiện và kho dữ liệu, chúng tôi có thể theo dõi dữ liệu có cấu trúc lưu trữ dữ liệu của khách hàng đến: MYSQL, POSTGRESQL, REDSHIFT hoặc Tableau Server, để đặt tên cho một số. Trong Treasure Data Lingo Lingo, chúng tôi đang xem xét kết quả đầu ra.
Đầu ra kết quả phổ biến nhất không phải là dịch chuyển đỏ, như người ta có thể mong đợi. Nó Lừa MySQL, như được hiển thị trong biểu đồ dưới đây:
Biểu đồ cho thấy tần suất của đầu ra kết quả dữ liệu kho báu kể từ tháng 1 năm 2015 và MySQL rõ ràng tiếp tục thống trị bằng biện pháp này. Một lý thuyết cho kết quả này là nhiều tổ chức sử dụng MySQL làm dữ liệu Mart: một kho lưu trữ dữ liệu được tóm tắt dữ liệu để tra cứu nhanh như người dùng hoạt động hàng ngày, tỷ lệ thoát hàng tuần, doanh thu hàng tháng, v.v.
Nhận blog dữ liệu kho báu, tin tức, trường hợp sử dụng và khả năng nền tảng.
Dữ liệu kho báu tôn trọng quyền riêng tư của bạn.
Cảm ơn bạn đã đăng ký vào blog của chúng tôi!
Mặt khác, tải dữ liệu vào dịch chuyển đỏ đòi hỏi sự chăm sóc tuyệt vời. Bạn phải đảm bảo rằng Distkey được đặt đúng, lệnh sao chép được chạy đúng và các bảng của bạn được hút bụi một cách thận trọng để đảm bảo hiệu suất. Theo cách nói của cơ sở dữ liệu, RedShift được tối ưu hóa đọc trong khi MYSQL [tương đối] được tối ưu hóa. MySQL có thể tải một cách hiệu quả khối lượng dữ liệu nhỏ thường xuyên hơn. Ngược lại, Redshift hiệu quả hơn trong việc tải khối lượng dữ liệu lớn ít thường xuyên hơn.distkey is set properly, the COPY command is run properly, and your tables are vacuumed judiciously to ensure performance. In database parlance, Redshift is read-optimized while MySQL is [comparatively] write-optimized. MySQL can effectively load small volumes of data more frequently. In contrast, Redshift is more efficient at loading large volumes of data less frequently.
Do đó, có thể nhiều thông tin hơn khi xem xét tổng khối lượng dữ liệu đầu ra thay vì tần số. Thật vậy, việc vẽ tổng khối lượng dữ liệu đầu ra cho chúng ta một bức tranh rất khác, như được hiển thị bên dưới:
Như bạn có thể thấy, Redshift lùn ba người còn lại về khối lượng dữ liệu, khiến chúng tôi tin rằng Redshift được sử dụng ít hơn như một mart dữ liệu và nhiều hơn như một đối tác có cấu trúc để kho báu dữ liệu hồ dữ liệu. Việc so sánh với MySQL thực sự đáng kinh ngạc. Phóng to vào tháng 9 năm 2015, đầu ra kết quả cho Redshift lớn hơn 400 lần so với MySQL:
Điều này có nghĩa là tất cả chúng ta nên di chuyển từ MySQL sang Redshift để phân tích? Câu trả lời thực sự phụ thuộc vào nhu cầu của bạn. Ví dụ: nếu bạn cần cập nhật dữ liệu của mình thường xuyên mà không cần nhiều công việc kỹ thuật và bộ dữ liệu của bạn vẫn còn nhỏ, MySQL vẫn là một lựa chọn tốt như một phụ trợ phân tích, đặc biệt nếu bạn thiết kế lược đồ một cách chính xác. Tuy nhiên, nếu bạn có một bộ dữ liệu lớn mà bạn muốn cung cấp cho một đội ngũ phân tích dữ liệu cho các truy vấn phân tích phức tạp khác nhau, các kỹ sư của bạn có thể thích dịch chuyển đỏ hơn để duy trì cụm MySQL bị che giấu.
Nếu bạn quan tâm đến việc tìm hiểu thêm, hãy đăng ký hướng dẫn lệnh Redshift Copy của chúng tôi.Redshift COPY Command Guide.
Nghe có vẻ giống như một mối quan hệ máy chủ-khách hàng [cơ sở dữ liệu trung tâm] và trong khi sqlite có lẽ là đơn giản nhất, lưu ý rằng hiệu suất của nó có lẽ là tồi tệ nhất trong số 20 lựa chọn hàng đầu bạn có. Nó khác với Firebase và MySQL [và hầu hết các cơ sở dữ liệu khác] ở chỗ nó được nhúng trong sản phẩm, mặc dù nó có thể được nhúng vào chính máy chủ của bạn.
MySQL sẽ yêu cầu một máy chủ DB MySQL riêng biệt, có nghĩa là hai máy chủ [một cho MySQL và một máy chủ cung cấp dịch vụ cụ thể của bạn cho ứng dụng khách hàng của bạn] hoặc cả hai đang chạy trên một máy chủ. Có nhiều lựa chọn thay thế trong cùng loại với MySQL và lựa chọn cơ sở dữ liệu hoặc cơ sở dữ liệu tài liệu quan hệ [NoQuery]. Nhưng về mặt kiến trúc, chúng ở cùng danh mục với MySQL, một máy chủ DB riêng biệt mà máy chủ ứng dụng của bạn sẽ lấy dữ liệu của nó.
Firebase khác nhau một lần nữa, trong đó nó là một dịch vụ đã được lưu trữ bởi một công ty, cung cấp nhiều tính năng tích hợp như xác thực và lưu trữ thông tin tài khoản người dùng. Tuy nhiên, nó quan tâm đến nhiều mối quan tâm với việc chạy một máy chủ, chẳng hạn như hiệu suất, khả năng mở rộng và quản lý. Có một số tiêu cực mà bạn nên biết mặc dù: bất kỳ khoản đầu tư nào về thời gian và mã hóa với Firebase đều không thể thực hiện được, ở chỗ bạn bị mắc kẹt với Firebase trong tương lai. Nếu bạn cần chuyển sang một dịch vụ khác, đó không chỉ là một API khác, mà nó sẽ là một kiến trúc khác và phần lớn mã hóa của bạn sẽ cần phải bị loại bỏ. Thứ hai, nó được sở hữu và điều hành bởi Google ngay bây giờ, vì vậy bạn có một tập đoàn lớn ủng hộ nó, nhưng điều đó cũng có nghĩa là họ có thể quyết định ngừng nó mà không có bất kỳ ảnh hưởng thực sự nào trên dòng dưới của Google. Ngoài ra, một số người sẽ có mối quan tâm với việc lưu trữ dữ liệu trên các máy chủ của Google. Điều đó nói rằng, tôi nghĩ rằng nếu bạn biết trước những điều này, và đặc biệt nếu bạn là một học sinh trung học, thì Firebase là một người chiến thắng khá dễ dàng ở đây. Máy chủ đã được thiết lập cho bạn, tài liệu rất đầy đủ và phong phú, với rất nhiều ví dụ và Google sẽ không biến mất. Mối quan tâm chính sẽ là nếu nó thực sự rất lớn, có thể có một chi phí tăng cho dịch vụ. Tôi nghi ngờ rằng nó không lớn, ngay cả khi tất cả mọi người trong một trường học đã sử dụng nó. Số lượng các kết nối đồng thời sẽ không lớn [có thể thậm chí không vào hàng trăm, ngay cả khi có hàng ngàn người dùng].
Tôi sẽ đi với Firebase mặc dù bạn sẽ cần phải học API của họ, bởi vì bạn sẽ cần phải học theo cách này hay cách khác. SQLite là một cơ sở dữ liệu đồ chơi và MySQL là một cơ sở dữ liệu thực sự nhưng bạn [hoặc ai đó] sẽ cần quản lý máy chủ đó trên đầu cần phát triển ứng dụng máy chủ và ứng dụng khách. Với Firebase, phần lớn máy chủ đã tồn tại, bao gồm cả cơ sở dữ liệu được lưu trữ chuyên nghiệp. Có rất nhiều tính năng cấp cao được cung cấp và chi phí ban đầu là ở đâu đó từ rất thấp và không.
Một phần của điều này phụ thuộc vào ngôn ngữ bạn muốn viết này. Một ứng dụng máy tính để bàn, Apache Cordova cho thiết bị di động]. Máy chủ có thể là JavaScript với API REST dựa trên rõ ràng trên Node.js, nói chuyện với Firebase cho các dịch vụ.
Nếu bạn là một nhà phát triển Java, tất cả điều này sẽ đi ra ngoài cửa sổ và tôi muốn giới thiệu một máy chủ Java đơn giản với Javalin cho API REST và OBPENTDB được nhúng để lưu trữ cơ sở dữ liệu [kết hợp vào một máy chủ]. ObjectDB rất nhanh và có thể được tách ra thành một máy chủ có thể mở rộng nếu điều này trở nên thực sự lớn. Nhưng có lẽ bạn sẽ không bao giờ cần phải đi xa như vậy.
Tất cả những điều này là rất nhiều công việc. Tôi hy vọng đây không phải là một cái gì đó giống như một nhiệm vụ. Đó là theo thứ tự 6 tháng làm việc nếu bạn biết bạn đang làm gì, cả năm nếu bạn đang học khi bạn đi.