Hướng dẫn mysql import ignore duplicates - nhập mysql bỏ qua các bản sao
Có một vài cách để làm những gì bạn muốn: Cách tàn bạo:
Sau đó nhập, nhưng bạn có thể mất dữ liệu, vì vậy có lẽ tạo một bảng sao lưu. Tất cả những điều được xem xét, chỉ cần không làm điều này, hãy kiểm tra các lựa chọn thay thế được liệt kê dưới đây: Viết truy vấn 9 của riêng bạn, với mệnh đề 0:
Nhưng, vì bạn đang nhập một tệp, nên truy vấn, rất có thể là một 1. Như bạn có thể thấy trong hướng dẫn, bạn cũng có thể dễ dàng thêm 0 vào truy vấn đó:
Đó là nó. Đừng lo lắng nếu bạn không quá thoải mái khi viết các truy vấn của riêng mình như thế này, có những cách khác để làm những gì bạn muốn làm: CLI Way:
Ngoài ra CLI, tạo một tệp chứa truy vấn 3 ở trên, sau đó:
Điều này yêu cầu bạn có quyền truy cập vào dòng lệnh và chạy lệnh này đây là trang thủ công của MySQL Sử dụng phpmyadmin, khi nhập, bạn sẽ tìm thấy một hộp kiểm nói rằng "bỏ qua các bản sao", kiểm tra và nhập. Dưới đây là một trang có ảnh chụp màn hình bạn cũng có thể chọn kiểm tra "bỏ qua lỗi", nhưng đó là một cách tiếp cận vũ phu khác và tôi sẽ không đề xuất điều đó. 13.2.7 & nbsp; tải dữ liệu tải
Câu lệnh 3 đọc các hàng từ tệp văn bản vào một bảng ở tốc độ rất cao. Tệp có thể được đọc từ máy chủ máy chủ hoặc máy chủ khách, tùy thuộc vào việc sửa đổi 5 được đưa ra. 5 cũng ảnh hưởng đến việc giải thích dữ liệu và xử lý lỗi.
3 là bổ sung của 8. . Để đọc lại tệp vào bảng, hãy sử dụng 3. Cú pháp của các mệnh đề 1 và 2 là giống nhau cho cả hai câu lệnh.Tiện ích MySQLImport cung cấp một cách khác để tải các tệp dữ liệu; Nó hoạt động bằng cách gửi câu lệnh 3 đến máy chủ. Xem Phần & NBSP; 4.5.5, MySQLImport - một chương trình nhập dữ liệu.mysqlimport utility provides another way to load data files; it operates by sending a 3 statement to the server. See
Section 4.5.5, “mysqlimport — A Data Import Program”. Để biết thông tin về hiệu quả của 9 so với 3 và tăng tốc 3, xem Phần & NBSP; 8.2.5.1, Tối ưu hóa các câu lệnh chèn.
Bộ ký tự tệp đầu vàoVị trí tệp đầu vào Yêu cầu bảo mật“no conversion.” Khóa trùng lặp và xử lý lỗi Xử lý chỉ mụcmysqldump -T or by issuing a 4 statement in
mysql, be sure to use a 5 option to write output in the character set to be used when the file is loaded with
3. Xử lý trường và dòng Đặc tả danh sách cột Vị trí tệp đầu vàoYêu cầu bảo mật
Các quy tắc không phải là không có nghĩa là máy chủ đọc một tệp có tên là 7 liên quan đến thư mục dữ liệu của nó, trong khi nó đọc một tệp có tên là 8 từ thư mục cơ sở dữ liệu của cơ sở dữ liệu mặc định. Ví dụ: nếu câu lệnh 3 sau đây được thực thi trong khi 0 là cơ sở dữ liệu mặc định, máy chủ sẽ đọc tệp 1 từ thư mục cơ sở dữ liệu cho 0, mặc dù câu lệnh sẽ tải rõ tệp vào bảng trong cơ sở dữ liệu 3:
Ghi chú Máy chủ cũng sử dụng các quy tắc không phải -________ 35 để xác định các tệp 5 cho câu lệnh 6.Yêu cầu bảo mậtĐối với hoạt động không tải không, máy chủ đọc một tệp văn bản nằm trên máy chủ máy chủ, do đó các yêu cầu bảo mật này phải được thỏa mãn:
Đối với hoạt động tải 5, chương trình máy khách sẽ đọc một tệp văn bản nằm trên máy chủ khách. Bởi vì nội dung tệp được gửi qua kết nối bởi máy khách đến máy chủ, sử dụng 5 chậm hơn một chút so với khi máy chủ truy cập trực tiếp vào tệp. Mặt khác, bạn không cần đặc quyền 8 và tệp có thể được đặt trong bất kỳ thư mục nào mà chương trình máy khách có thể truy cập.Khóa trùng lặp và xử lý lỗiBộ điều chỉnh 3 và 0 Điều khiển xử lý các hàng mới (đầu vào) sao chép các hàng bảng hiện có trên các giá trị khóa duy nhất ( 5 hoặc 6 Các giá trị chỉ mục):
Công cụ sửa đổi 5 có tác dụng tương tự như 0. Điều này xảy ra vì máy chủ không có cách nào để dừng truyền tệp ở giữa hoạt động.Nếu không có 3, 0 hoặc 5 được chỉ định, xảy ra lỗi khi tìm thấy giá trị khóa trùng lặp và phần còn lại của tệp văn bản bị bỏ qua.Ngoài việc ảnh hưởng đến việc xử lý khóa trùng lặp như vừa mô tả, 0 và 5 còn ảnh hưởng đến việc xử lý lỗi:
Xử lý trường và dòngĐối với cả các câu lệnh 3 và 01, cú pháp của các mệnh đề 1 và 2 là như nhau. Cả hai mệnh đề đều là tùy chọn, nhưng 1 phải đi trước 2 nếu cả hai được chỉ định.Nếu bạn chỉ định một mệnh đề 1, mỗi phân nhóm của nó ( 07, 08 và 09) cũng là tùy chọn, ngoại trừ việc bạn phải chỉ định ít nhất một trong số chúng. Các đối số cho các mệnh đề này được phép chỉ chứa các ký tự ASCII.Nếu bạn chỉ định điều khoản không 1 hoặc 2, các mặc định giống như khi bạn đã viết điều này:
Backslash là ký tự thoát MySQL trong các chuỗi trong các câu lệnh SQL. Do đó, để chỉ định một dấu gạch chéo ngược theo nghĩa đen, bạn phải chỉ định hai dấu gạch chéo ngược cho giá trị được hiểu là một dấu gạch chéo ngược. Trình tự thoát 12 và 13 chỉ định các ký tự Tab và Newline tương ứng.Nói cách khác, mặc định khiến 1 hoạt động như sau khi đọc đầu vào:
Ngược lại, các mặc định khiến 01 hoạt động như sau khi viết đầu ra:
Ghi chú Đối với một tệp văn bản được tạo trên hệ thống Windows, việc đọc tệp thích hợp có thể yêu cầu 23 vì các chương trình Windows thường sử dụng hai ký tự làm bộ kết thúc dòng. Một số chương trình, chẳng hạn như WordPad, có thể sử dụng 24 làm người kết thúc dòng khi viết tệp. Để đọc các tệp như vậy, hãy sử dụng 25.WordPad, might use 24
as a line terminator when writing files. To read such files, use 25. Nếu tất cả các dòng đầu vào có một tiền tố chung mà bạn muốn bỏ qua, bạn có thể sử dụng 26 'để bỏ qua tiền tố và bất cứ điều gì trước đó. Nếu một dòng không bao gồm tiền tố, toàn bộ dòng bị bỏ qua. Giả sử rằng bạn đưa ra tuyên bố sau:and anything before it. If a line does not include the prefix, the entire line is skipped. Suppose that you issue the following statement:
Nếu tệp dữ liệu trông như thế này:
Các hàng kết quả là 27 và 28. Hàng thứ ba trong tệp bị bỏ qua vì nó không chứa tiền tố.Mệnh đề dòng 29 có thể được sử dụng để bỏ qua các dòng khi bắt đầu tệp. Ví dụ: bạn có thể sử dụng 30 để bỏ qua một dòng tiêu đề ban đầu chứa tên cột: 0Khi bạn sử dụng 4 song song với 3 để ghi dữ liệu từ cơ sở dữ liệu vào một tệp và sau đó đọc lại tệp vào cơ sở dữ liệu sau đó, các tùy chọn xử lý trường và dòng cho cả hai câu lệnh phải khớp. Mặt khác, 1 không diễn giải nội dung của tệp đúng cách. Giả sử rằng bạn sử dụng 01 để viết một tệp với các trường được phân tách bằng dấu phẩy: 1Để đọc tệp phân loại dấu phẩy, câu lệnh chính xác là: 2Nếu thay vào đó, bạn đã cố gắng đọc tệp với câu lệnh được hiển thị sau, nó sẽ không hoạt động vì nó hướng dẫn 3 để tìm các tab giữa các trường: 3Kết quả có thể là mỗi dòng đầu vào sẽ được hiểu là một trường duy nhất.
3 có thể được sử dụng để đọc các tệp thu được từ các nguồn bên ngoài. Ví dụ, nhiều chương trình có thể xuất dữ liệu theo định dạng giá trị phân tách dấu phẩy (CSV), sao cho các dòng có các trường được phân tách bằng dấu phẩy và được đặt trong các dấu ngoặc kép, với một dòng tên cột ban đầu. Nếu các dòng trong một tệp như vậy bị chấm dứt bởi các cặp return/newline vận chuyển, thì câu lệnh được hiển thị ở đây minh họa các tùy chọn xử lý trường và dòng bạn sẽ sử dụng để tải tệp: 4Nếu các giá trị đầu vào không nhất thiết được đặt trong các dấu ngoặc kép, hãy sử dụng 37 trước tùy chọn 38.Bất kỳ tùy chọn xử lý trường hoặc dòng nào cũng có thể chỉ định một chuỗi trống ( 39). Nếu không trống, các giá trị 40 và 41 phải là một ký tự duy nhất. Các giá trị 42, 43 và 44 có thể nhiều hơn một ký tự. Ví dụ: để ghi các dòng bị chấm dứt bởi các cặp trả về vận chuyển/linefeed hoặc để đọc một tệp chứa các dòng đó, chỉ định mệnh đề 45.Để đọc một tệp chứa những trò đùa được phân tách bằng các dòng bao gồm 46, bạn có thể làm điều này 5
40 Kiểm soát trích dẫn các trường. Đối với đầu ra ( 01), nếu bạn bỏ qua từ 37, tất cả các trường được đặt bởi ký tự 38. Một ví dụ về đầu ra đó (sử dụng dấu phẩy làm dấu phân cách trường) được hiển thị ở đây: 6Nếu bạn chỉ định 37, ký tự 38 chỉ được sử dụng để đặt các giá trị từ các cột có kiểu dữ liệu chuỗi (chẳng hạn như 53, 54, 55 hoặc 56): 7Sự xuất hiện của ký tự 38 trong một giá trị trường được thoát ra bằng tiền tố chúng với ký tự 09. Ngoài ra, nếu bạn chỉ định giá trị 09 trống, có thể vô tình tạo ra đầu ra không thể đọc đúng bởi 3. Ví dụ, đầu ra trước chỉ hiển thị sẽ xuất hiện như sau nếu ký tự thoát trống. Quan sát rằng trường thứ hai trong dòng thứ tư chứa dấu phẩy theo trích dẫn, (sai lầm) dường như chấm dứt trường: 8Đối với đầu vào, ký tự 38, nếu có, bị tước khỏi các đầu của các giá trị trường. .Nếu trường bắt đầu với ký tự 38, các phiên bản của ký tự đó được công nhận là kết thúc giá trị trường chỉ khi theo sau là chuỗi trường hoặc dòng 07. Để tránh sự mơ hồ, sự xuất hiện của ký tự 38 trong một giá trị trường có thể được nhân đôi và được hiểu là một trường hợp duy nhất của ký tự. Ví dụ: nếu 69 được chỉ định, dấu ngoặc kép được xử lý như thể hiện ở đây: 9
41 Kiểm soát cách đọc hoặc viết các ký tự đặc biệt:
Trong một số trường hợp nhất định, các tùy chọn xử lý trường và dòng tương tác:
Xử lý các giá trị 73 khác nhau tùy theo các tùy chọn 1 và 2 đang sử dụng:
Một nỗ lực để tải 73 vào cột 35 tạo ra cảnh báo hoặc lỗi theo các quy tắc được mô tả trong gán giá trị cột.Một số trường hợp không được hỗ trợ bởi 1:
Đặc tả danh sách cộtVí dụ sau tải tất cả các cột của bảng 49: 1Theo mặc định, khi không có danh sách cột nào được cung cấp ở cuối câu lệnh 3, các dòng đầu vào dự kiến sẽ chứa một trường cho mỗi cột bảng. Nếu bạn chỉ muốn tải một số cột của bảng, hãy chỉ định danh sách cột: 2Bạn cũng phải chỉ định danh sách cột nếu thứ tự của các trường trong tệp đầu vào khác với thứ tự của các cột trong bảng. Mặt khác, MySQL không thể cho biết cách khớp các trường đầu vào với các cột bảng. Tiền xử lý đầu vàoMỗi phiên bản của 51 trong cú pháp 3 là tên cột hoặc biến người dùng. Với các biến người dùng, mệnh đề 53 cho phép bạn thực hiện các biến đổi tiền xử lý trên các giá trị của chúng trước khi gán kết quả cho các cột.Các biến người dùng trong mệnh đề 53 có thể được sử dụng theo nhiều cách. Ví dụ sau sử dụng cột đầu vào đầu tiên trực tiếp cho giá trị của 55 và gán cột đầu vào thứ hai cho biến người dùng chịu hoạt động phân chia trước khi được sử dụng cho giá trị 56: 3Điều khoản 53 có thể được sử dụng để cung cấp các giá trị không có nguồn gốc từ tệp đầu vào. Câu lệnh sau đây đặt 58 cho ngày và giờ hiện tại: 4Bạn cũng có thể loại bỏ giá trị đầu vào bằng cách gán nó cho biến người dùng và không gán biến cho bất kỳ cột bảng nào: 5Việc sử dụng danh sách cột/biến và mệnh đề 53 phải tuân theo các hạn chế sau:
Gán giá trị cột
Để xử lý một dòng đầu vào, 1 chia nó thành các trường và sử dụng các giá trị theo danh sách cột/biến và mệnh đề 53, nếu chúng có mặt. Sau đó hàng kết quả được chèn vào bảng. Nếu có 66 hoặc 67 kích hoạt cho bảng, chúng sẽ được kích hoạt trước hoặc sau khi chèn hàng, tương ứng.Giải thích các giá trị trường và gán cho các cột bảng phụ thuộc vào các yếu tố sau:
Những yếu tố đó kết hợp để tạo ra sự giải thích dữ liệu hạn chế hoặc không hạn chế bằng cách 3:
Giải thích dữ liệu hạn chế sử dụng các quy tắc sau:
Ngược lại, giải thích dữ liệu không hạn chế sử dụng các quy tắc này:
Các cột 97 chỉ được đặt thành ngày và thời gian hiện tại nếu có giá trị 73 cho cột (nghĩa là 81) và cột không được khai báo để cho phép các giá trị 73 hoặc nếu cột mặc định của cột ____297 là thời gian hiện tại và nó được bỏ qua khỏi danh sách trường khi một danh sách trường được chỉ định.
3 coi tất cả các đầu vào là chuỗi, vì vậy bạn không thể sử dụng các giá trị số cho các cột 56 hoặc 53 theo cách bạn có thể với các câu lệnh 9. Tất cả các giá trị 56 và 53 phải được chỉ định là chuỗi.Các giá trị 08 không thể được tải trực tiếp bằng ký hiệu nhị phân (ví dụ: 09). Để làm việc xung quanh điều này, hãy sử dụng mệnh đề 53 để loại bỏ 11 hàng đầu và theo dõi 12 và thực hiện chuyển đổi cơ sở-2 sang cơ sở-10 để MySQL tải các giá trị vào cột 08 đúng cách: 6Đối với các giá trị 08 trong ký hiệu nhị phân 15 (ví dụ: 16), hãy sử dụng điều khoản 53 này để loại bỏ 15 hàng đầu: 7Hỗ trợ bảng phân vùng
3 Hỗ trợ lựa chọn phân vùng rõ ràng bằng mệnh đề 20 với danh sách một hoặc nhiều tên phân tách dấu phẩy của các phân vùng, phân vùng hoặc cả hai. Khi mệnh đề này được sử dụng, nếu bất kỳ hàng nào từ tệp không thể được chèn vào bất kỳ phân vùng hoặc phân vùng nào có tên trong danh sách, câu lệnh không thành công với lỗi tìm thấy một hàng không khớp với bộ phân vùng đã cho. Để biết thêm thông tin và ví dụ, xem Phần & NBSP; 24.5, Lựa chọn phân vùng.Found a row not matching the given partition set. For more information and examples, see Section 24.5, “Partition Selection”. Cân nhắc đồng thờiVới công cụ sửa đổi 21, việc thực thi câu lệnh 3 bị trì hoãn cho đến khi không có máy khách nào khác đọc từ bảng. Điều này chỉ ảnh hưởng đến các công cụ lưu trữ chỉ sử dụng khóa cấp bảng (chẳng hạn như 23, 24 và 25).Với công cụ sửa đổi 26 và bảng 23 thỏa mãn điều kiện để chèn đồng thời (nghĩa là, nó không chứa các khối miễn phí ở giữa), các luồng khác có thể lấy dữ liệu từ bảng trong khi 3 đang thực thi. Trình sửa đổi này ảnh hưởng đến hiệu suất của 1 một chút, ngay cả khi không có luồng nào khác sử dụng bảng cùng một lúc.Cân nhắc nhân rộng
3 được coi là không an toàn cho sao chép dựa trên tuyên bố. Nếu bạn sử dụng 3 với 32, mỗi bản sao mà các thay đổi sẽ được áp dụng sẽ tạo ra một tệp tạm thời chứa dữ liệu. Tệp tạm thời này không được mã hóa, ngay cả khi mã hóa nhật ký nhị phân hoạt động trên nguồn, nếu cần mã hóa, hãy sử dụng định dạng ghi nhị phân dựa trên hàng hoặc hỗn hợp thay thế, thay vào đó, các bản sao không tạo tệp tạm thời. Để biết thêm thông tin về sự tương tác giữa 3 và sao chép, xem Phần & NBSP; 17.5.1.19, Dữ liệu sao chép và tải dữ liệu.Chủ đề linh tinhTrên Unix, nếu bạn cần 3 để đọc từ đường ống, bạn có thể sử dụng kỹ thuật sau (ví dụ tải một danh sách thư mục 35 vào bảng 36): 8Tại đây, bạn phải chạy lệnh tạo dữ liệu sẽ được tải và các lệnh MySQL trên các thiết bị đầu cuối riêng biệt hoặc chạy quy trình tạo dữ liệu trong nền (như trong ví dụ trước).Nếu bạn không làm điều này, đường ống sẽ chặn cho đến khi dữ liệu được đọc bởi quy trình MySQL.mysql commands either on separate terminals, or run the data generation process in the background (as shown in the preceding example). If you do not do this, the pipe blocks until data is read by the mysql process. |