Hướng dẫn what is default encoding for python open? - mã hóa mặc định cho python mở là gì?

vẫn có thể tăng unicodedecodeerror nếu điểm đánh dấu mã hóa không chính xác

phải đảm bảo điểm đánh dấu được đặt chính xác khi viết các tệp đó

Ngay cả khi nó không phải là mã hóa mặc định, các tệp riêng lẻ vẫn có thể được đặt để sử dụng UTF-8 làm mã hóa để hỗ trợ mã hóa hầu hết tất cả các điểm mã Unicode

Nhận xét được cung cấp bởi

Python có mặc định cho UTF không

Điều này tương phản với cách tiếp cận Python 2 cho phép tham nhũng dữ liệu theo mặc định và kiểm tra chính xác nghiêm ngặt phải được yêu cầu một cách rõ ràng. Điều đó chắc chắn có thể thuận tiện khi dữ liệu được xử lý chủ yếu là văn bản ASCII, và một chút tham nhũng dữ liệu không có khả năng được phát hiện, chứ đừng nói đến việc gây ra vấn đề, nhưng nó hầu như không phải là nền tảng vững chắc để xây dựng các ứng dụng đa ngôn ngữ mạnh mẽ đã từng phải theo dõi một

---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
 in ()
      2 
      3 i=0
----> 4 for l in input:
      5     i+=1
      6 

C:\Users\Subbi Reddy\AppData\Local\Continuum\Anaconda3\lib\encodings\cp1252.py in decode(self, input, final)
     21 class IncrementalDecoder(codecs.IncrementalDecoder):
     22     def decode(self, input, final=False):
---> 23         return codecs.charmap_decode(input,self.errors,decoding_table)[0]
     24 
     25 class StreamWriter(Codec,codecs.StreamWriter):

UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 3979: character maps to 

Tuy nhiên, Python 3 không cung cấp một số cơ chế để thư giãn các kiểm tra nghiêm ngặt mặc định để xử lý các trường hợp sử dụng xử lý văn bản khác nhau (đặc biệt, các trường hợp sử dụng trong đó việc xử lý tốt nhất là có thể chấp nhận được và không cần phải có tính đúng đắn nghiêm ngặt). Bài viết này nhằm giải thích một số trong số họ bằng cách xem xét các trường hợp sẽ phù hợp để sử dụng chúng.

Lưu ý rằng nhiều tính năng tôi thảo luận dưới đây cũng có sẵn trong Python 2, nhưng bạn phải truy cập rõ ràng chúng thông qua loại

---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
 in ()
      2 
      3 i=0
----> 4 for l in input:
      5     i+=1
      6 

C:\Users\Subbi Reddy\AppData\Local\Continuum\Anaconda3\lib\encodings\cp1252.py in decode(self, input, final)
     21 class IncrementalDecoder(codecs.IncrementalDecoder):
     22     def decode(self, input, final=False):
---> 23         return codecs.charmap_decode(input,self.errors,decoding_table)[0]
     24 
     25 class StreamWriter(Codec,codecs.StreamWriter):

UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 3979: character maps to 

---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
 in ()
      2 
      3 i=0
----> 4 for l in input:
      5     i+=1
      6 

C:\Users\Subbi Reddy\AppData\Local\Continuum\Anaconda3\lib\encodings\cp1252.py in decode(self, input, final)
     21 class IncrementalDecoder(codecs.IncrementalDecoder):
     22     def decode(self, input, final=False):
---> 23         return codecs.charmap_decode(input,self.errors,decoding_table)[0]
     24 
     25 class StreamWriter(Codec,codecs.StreamWriter):

UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 3979: character maps to 

---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
 in ()
      2 
      3 i=0
----> 4 for l in input:
      5     i+=1
      6 

C:\Users\Subbi Reddy\AppData\Local\Continuum\Anaconda3\lib\encodings\cp1252.py in decode(self, input, final)
     21 class IncrementalDecoder(codecs.IncrementalDecoder):
     22     def decode(self, input, final=False):
---> 23         return codecs.charmap_decode(input,self.errors,decoding_table)[0]
     24 
     25 class StreamWriter(Codec,codecs.StreamWriter):

UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 3979: character maps to 

---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
 in ()
      2 
      3 i=0
----> 4 for l in input:
      5     i+=1
      6 

C:\Users\Subbi Reddy\AppData\Local\Continuum\Anaconda3\lib\encodings\cp1252.py in decode(self, input, final)
     21 class IncrementalDecoder(codecs.IncrementalDecoder):
     22     def decode(self, input, final=False):
---> 23         return codecs.charmap_decode(input,self.errors,decoding_table)[0]
     24 
     25 class StreamWriter(Codec,codecs.StreamWriter):

UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 3979: character maps to 

Unicode cơ bản

Để xử lý văn bản một cách hiệu quả trong Python 3, nó cần phải tìm hiểu ít nhất một lượng nhỏ về mã hóa Unicode và văn bản:

1. Python 3 luôn lưu trữ các chuỗi văn bản dưới dạng chuỗi các điểm mã Unicode. Đây là các giá trị trong phạm vi 0-0x10ffff. Họ không phải lúc nào cũng tương ứng trực tiếp với các nhân vật bạn đọc trên màn hình của bạn, nhưng sự khác biệt đó không quan trọng đối với hầu hết các nhiệm vụ thao tác văn bản.
2. Để lưu trữ văn bản dưới dạng dữ liệu nhị phân, bạn phải chỉ định mã hóa cho văn bản đó.
3. Quá trình chuyển đổi từ một chuỗi các byte (nghĩa là dữ liệu nhị phân) thành một chuỗi các điểm mã (nghĩa là dữ liệu văn bản) là giải mã, trong khi quá trình ngược lại đang mã hóa.
4. Vì lý do lịch sử, mã hóa được sử dụng rộng rãi nhất là

   ---------------------------------------------------------------------------
   UnicodeDecodeError                        Traceback (most recent call last)
    in ()
         2 
         3 i=0
   ----> 4 for l in input:
         5     i+=1
         6 
   
   C:\Users\Subbi Reddy\AppData\Local\Continuum\Anaconda3\lib\encodings\cp1252.py in decode(self, input, final)
        21 class IncrementalDecoder(codecs.IncrementalDecoder):
        22     def decode(self, input, final=False):
   ---> 23         return codecs.charmap_decode(input,self.errors,decoding_table)[0]
        24 
        25 class StreamWriter(Codec,codecs.StreamWriter):
   
   UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 3979: character maps to 
   

   6, chỉ có thể xử lý các điểm mã Unicode trong phạm vi 0-0x7F (nghĩa là ASCII là mã hóa 7 bit).
5. Có rất nhiều mã hóa tương thích ASCII, đảm bảo rằng mọi sự xuất hiện của giá trị ASCII hợp lệ trong dữ liệu nhị phân đều đề cập đến ký tự ASCII tương ứng.
6. Cấm UTF-8 đang trở thành mã hóa ưa thích cho nhiều ứng dụng, vì đây là mã hóa tương thích ASCII có thể mã hóa bất kỳ điểm mã Unicode hợp lệ nào.
7. Latin Latin-1 là một mã hóa tương thích ASCII quan trọng khác, vì nó ánh xạ các giá trị byte trực tiếp đến 256 điểm mã Unicode đầu tiên. .
8. Ngoài ra còn có nhiều mã hóa không tương thích ASCII trong việc sử dụng rộng rãi, đặc biệt là ở các nước châu Á (phải nghĩ ra các giải pháp của riêng họ trước sự gia tăng của Unicode) và trên các nền tảng như Windows, Java và .NET CLR, nơi nhiều API chấp nhận văn bản là UTF -16 dữ liệu được mã hóa.
9. Cuộc gọi

   ---------------------------------------------------------------------------
   UnicodeDecodeError                        Traceback (most recent call last)
    in ()
         2 
         3 i=0
   ----> 4 for l in input:
         5     i+=1
         6 
   
   C:\Users\Subbi Reddy\AppData\Local\Continuum\Anaconda3\lib\encodings\cp1252.py in decode(self, input, final)
        21 class IncrementalDecoder(codecs.IncrementalDecoder):
        22     def decode(self, input, final=False):
   ---> 23         return codecs.charmap_decode(input,self.errors,decoding_table)[0]
        24 
        25 class StreamWriter(Codec,codecs.StreamWriter):
   
   UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 3979: character maps to 
   

   7 báo cáo mã hóa mà Python sẽ sử dụng theo mặc định cho hầu hết các hoạt động yêu cầu mã hóa (ví dụ: đọc trong tệp văn bản mà không có mã hóa được chỉ định). Điều này được thiết kế để hỗ trợ khả năng tương tác giữa Python và hệ điều hành máy chủ, nhưng có thể gây ra các vấn đề về khả năng tương tác giữa các hệ thống (nếu các vấn đề mã hóa không được quản lý nhất quán).
10. Cuộc gọi

    ---------------------------------------------------------------------------
    UnicodeDecodeError                        Traceback (most recent call last)
     in ()
          2 
          3 i=0
    ----> 4 for l in input:
          5     i+=1
          6 
    
    C:\Users\Subbi Reddy\AppData\Local\Continuum\Anaconda3\lib\encodings\cp1252.py in decode(self, input, final)
         21 class IncrementalDecoder(codecs.IncrementalDecoder):
         22     def decode(self, input, final=False):
    ---> 23         return codecs.charmap_decode(input,self.errors,decoding_table)[0]
         24 
         25 class StreamWriter(Codec,codecs.StreamWriter):
    
    UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 3979: character maps to 
    

    8 báo cáo mã hóa mà Python sẽ sử dụng theo mặc định cho hầu hết các hoạt động mà cả hai đều yêu cầu mã hóa và liên quan đến siêu dữ liệu văn bản trong hệ thống tập tin (ví dụ: xác định kết quả của

    ---------------------------------------------------------------------------
    UnicodeDecodeError                        Traceback (most recent call last)
     in ()
          2 
          3 i=0
    ----> 4 for l in input:
          5     i+=1
          6 
    
    C:\Users\Subbi Reddy\AppData\Local\Continuum\Anaconda3\lib\encodings\cp1252.py in decode(self, input, final)
         21 class IncrementalDecoder(codecs.IncrementalDecoder):
         22     def decode(self, input, final=False):
    ---> 23         return codecs.charmap_decode(input,self.errors,decoding_table)[0]
         24 
         25 class StreamWriter(Codec,codecs.StreamWriter):
    
    UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 3979: character maps to 
    

    9)
11. Nếu bạn là một người nói tiếng Anh bản địa cư trú ở một quốc gia nói tiếng Anh (như tôi!) Nó rất hấp dẫn khi nghĩ rằng nhưng Python 2 hoạt động tốt, tại sao bạn lại làm phiền tôi với tất cả các malarkey Unicode này? Thật đáng để cố gắng nhớ rằng chúng ta thực sự là thiểu số trên hành tinh này và, đối với hầu hết mọi người trên trái đất, ASCII và

    input = open("json/world_bank.json",encoding="utf8")
    

    0 thậm chí không thể xử lý tên của họ, chứ đừng nói đến bất kỳ văn bản nào khác mà họ có thể muốn viết hoặc xử lý bằng ngôn ngữ mẹ đẻ của họ .

Người xử lý lỗi Unicode

Để giúp tiêu chuẩn hóa các kỹ thuật khác nhau để xử lý các lỗi mã hóa và giải mã unicode, Python bao gồm một khái niệm về trình xử lý lỗi Unicode được tự động gọi bất cứ khi nào gặp sự cố trong quá trình mã hóa hoặc giải mã văn bản.

Tôi sẽ không bao gồm tất cả chúng trong bài viết này, nhưng ba người có ý nghĩa đặc biệt:

• input = open("json/world_bank.json",encoding="utf8")
  

  1: Đây là trình xử lý lỗi mặc định chỉ tăng UnicodeDecodeError để giải mã các vấn đề và UnicodeEncodeError cho các vấn đề mã hóa.

• input = open("json/world_bank.json",encoding="utf8")
  

  4: Đây là trình xử lý lỗi mà Python sử dụng cho hầu hết các OS đối mặt với API để đối phó một cách duyên dáng với các vấn đề mã hóa trong dữ liệu do HĐH cung cấp. Nó xử lý các lỗi giải mã bằng cách đánh dấu dữ liệu trong một phần được sử dụng một chút của không gian điểm mã Unicode (đối với những người quan tâm chi tiết hơn, xem PEP 383). Khi mã hóa, nó dịch các giá trị ẩn đó trở lại thành chuỗi byte gốc chính xác mà không thể giải mã chính xác. Giống như điều này rất hữu ích cho API HĐH, nó có thể giúp xử lý các vấn đề mã hóa một cách duyên dáng trong các bối cảnh khác.

• input = open("json/world_bank.json",encoding="utf8")
  

  5: Đây là một trình xử lý lỗi mã hóa chuyển đổi các điểm mã có thể được biểu diễn trong mã hóa mục tiêu thành chuỗi thoát số chuỗi python tương đương. Thật dễ dàng để đảm bảo rằng UnicodeEncodeError sẽ không bao giờ bị ném, nhưng không mất nhiều thông tin trong khi mất (vì chúng tôi không muốn mã hóa các vấn đề ẩn đầu ra lỗi, trình xử lý lỗi này được bật trên

  input = open("json/world_bank.json",encoding="utf8")
  

  7 theo mặc định).

Tùy chọn nhị phân

Một thay thế luôn có sẵn là mở các tệp ở chế độ nhị phân và xử lý chúng dưới dạng byte chứ không phải là văn bản. Điều này có thể hoạt động trong nhiều trường hợp, đặc biệt là những trường hợp các điểm đánh dấu ASCII được nhúng trong dữ liệu nhị phân tùy ý thực sự.

Tuy nhiên, đối với cả dữ liệu văn bản của người Viking với dữ liệu văn bản không xác định và dữ liệu văn bản với mã hóa đã biết, nhưng có khả năng chứa các lỗi mã hóa, thường nên đưa chúng vào một dạng có thể được xử lý dưới dạng chuỗi văn bản. Cụ thể, một số API chấp nhận cả byte và văn bản có thể rất nghiêm ngặt về việc mã hóa các byte mà họ chấp nhận (ví dụ, mô-đun

input = open("json/world_bank.json",encoding="utf8")

Xử lý tệp văn bản

Phần này khám phá một số trường hợp sử dụng có thể phát sinh khi xử lý văn bản. Mã hóa văn bản là một chủ đề đủ phức tạp mà không có kích thước nào phù hợp với tất cả các câu trả lời - câu trả lời đúng cho một ứng dụng nhất định sẽ phụ thuộc vào các yếu tố như:

• Bạn có bao nhiêu quyền kiểm soát đối với các mã hóa văn bản được sử dụng
• Việc tránh thất bại chương trình có quan trọng hơn việc tránh tham nhũng dữ liệu hay ngược lại
• Lỗi mã hóa phổ biến như thế nào được dự kiến ​​là và liệu chúng cần được xử lý một cách duyên dáng hay đơn giản là có thể bị từ chối như là đầu vào không hợp lệ

Các tệp trong mã hóa tương thích ASCII, nỗ lực tốt nhất là chấp nhận được.

Trường hợp sử dụng: Các tệp được xử lý là trong mã hóa tương thích ASCII, nhưng bạn không biết chính xác cái nào. Tất cả các tệp phải được xử lý mà không kích hoạt bất kỳ ngoại lệ nào, nhưng một số rủi ro tham nhũng dữ liệu được coi là chấp nhận được (ví dụ: đối chiếu các tệp nhật ký từ nhiều nguồn trong đó một số lỗi dữ liệu được chấp nhận, miễn là các bản ghi vẫn còn nguyên vẹn). the files to be processed are in an ASCII compatible encoding, but you don’t know exactly which one. All files must be processed without triggering any exceptions, but some risk of data corruption is deemed acceptable (e.g. collating log files from multiple sources where some data errors are acceptable, so long as the logs remain largely intact).

Cách tiếp cận: Sử dụng mã hóa Latin-1-1 để ánh xạ các giá trị byte trực tiếp đến 256 điểm mã Unicode đầu tiên. Đây là Python 3 tương đương gần nhất cung cấp cho mô hình xử lý văn bản Python 2 cho phép. use the “latin-1” encoding to map byte values directly to the first 256 Unicode code points. This is the closest equivalent Python 3 offers to the permissive Python 2 text handling model.

Ví dụ:

input = open("json/world_bank.json",encoding="utf8")

input = open("json/world_bank.json",encoding="utf8")

Ghi chú

Mặc dù mã hóa Windows

from io import open
f = open("test", mode="r", encoding="utf-8")

input = open("json/world_bank.json",encoding="utf8")

input = open("json/world_bank.json",encoding="utf8")

Consequences:

• Dữ liệu sẽ không bị hỏng nếu nó được đọc đơn giản, được xử lý dưới dạng văn bản ASCII và được viết lại.
• sẽ không bao giờ tăng unicodedecodeerror khi đọc dữ liệu
• vẫn sẽ tăng UnicodeEncodeError nếu CodePoint trên 0xFF (ví dụ: trích dẫn thông minh được sao chép từ chương trình xử lý văn bản) được thêm vào chuỗi văn bản trước khi nó được mã hóa trở lại byte. Để ngăn chặn các lỗi như vậy, hãy sử dụng trình xử lý lỗi

  input = open("json/world_bank.json",encoding="utf8")
  

  5 (hoặc một trong các trình xử lý lỗi khác thay thế các điểm mã Unicode mà không có biểu diễn trong mã hóa mục tiêu với các chuỗi của các điểm mã ASCII).
• Tham nhũng dữ liệu có thể xảy ra nếu dữ liệu nguồn nằm trong mã hóa không tương thích ASCII (ví dụ: UTF-16)
• Tham nhũng có thể xảy ra nếu dữ liệu được ghi lại bằng cách sử dụng mã hóa khác với

  input = open("json/world_bank.json",encoding="utf8")
  

  0
• Tham nhũng có thể xảy ra nếu các phần tử không ASCII của chuỗi được sửa đổi trực tiếp (ví dụ: đối với mã hóa chiều rộng biến như UTF-8 đã được giải mã là

  input = open("json/world_bank.json",encoding="utf8")
  

  0 thay vào đó, việc cắt chuỗi tại một điểm tùy ý có thể chia ký tự đa byte thành hai miếng)

Các tệp trong mã hóa tương thích ASCII, giảm thiểu rủi ro tham nhũng dữ liệu

Trường hợp sử dụng: Các tệp được xử lý là trong mã hóa tương thích ASCII, nhưng bạn không biết chính xác cái nào. Tất cả các tệp phải được xử lý mà không kích hoạt bất kỳ ngoại lệ nào, nhưng một số lỗi liên quan đến Unicode đều được chấp nhận để giảm nguy cơ tham nhũng dữ liệu (ví dụ: đối chiếu các tệp nhật ký từ nhiều nguồn đối với các lỗi lập trình vi phạm giả định chỉ viết lại dữ liệu trong mã hóa ban đầu của nó) the files to be processed are in an ASCII compatible encoding, but you don’t know exactly which one. All files must be processed without triggering any exceptions, but some Unicode related errors are acceptable in order to reduce the risk of data corruption (e.g. collating log files from multiple sources, but wanting more explicit notification when the collated data is at risk of corruption due to programming errors that violate the assumption of writing the data back out only in its original encoding)

Cách tiếp cận: Sử dụng mã hóa

---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
 in ()
      2 
      3 i=0
----> 4 for l in input:
      5     i+=1
      6 

C:\Users\Subbi Reddy\AppData\Local\Continuum\Anaconda3\lib\encodings\cp1252.py in decode(self, input, final)
     21 class IncrementalDecoder(codecs.IncrementalDecoder):
     22     def decode(self, input, final=False):
---> 23         return codecs.charmap_decode(input,self.errors,decoding_table)[0]
     24 
     25 class StreamWriter(Codec,codecs.StreamWriter):

UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 3979: character maps to 

input = open("json/world_bank.json",encoding="utf8")

---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
 in ()
      2 
      3 i=0
----> 4 for l in input:
      5     i+=1
      6 

C:\Users\Subbi Reddy\AppData\Local\Continuum\Anaconda3\lib\encodings\cp1252.py in decode(self, input, final)
     21 class IncrementalDecoder(codecs.IncrementalDecoder):
     22     def decode(self, input, final=False):
---> 23         return codecs.charmap_decode(input,self.errors,decoding_table)[0]
     24 
     25 class StreamWriter(Codec,codecs.StreamWriter):

UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 3979: character maps to 

input = open("json/world_bank.json",encoding="utf8")

Ví dụ:

from io import open
f = open("test", mode="r", encoding="utf-8")

from io import open
f = open("test", mode="r", encoding="utf-8")

Consequences:

• Dữ liệu sẽ không bị hỏng nếu nó được đọc đơn giản, được xử lý dưới dạng văn bản ASCII và được viết lại.
• sẽ không bao giờ tăng unicodedecodeerror khi đọc dữ liệu
• vẫn sẽ tăng UnicodeEncodeError nếu CodePoint trên 0xFF (ví dụ: trích dẫn thông minh được sao chép từ chương trình xử lý văn bản) được thêm vào chuỗi văn bản trước khi nó được mã hóa trở lại byte. Để ngăn chặn các lỗi như vậy, hãy sử dụng trình xử lý lỗi

  input = open("json/world_bank.json",encoding="utf8")
  

  5 (hoặc một trong các trình xử lý lỗi khác thay thế các điểm mã Unicode mà không có biểu diễn trong mã hóa mục tiêu với các chuỗi của các điểm mã ASCII).
• cũng sẽ tăng unicodeEncodeError nếu một nỗ lực được thực hiện để mã hóa một chuỗi văn bản chứa các giá trị byte thoát ra mà không cho phép trình xử lý lỗi

  input = open("json/world_bank.json",encoding="utf8")
  

  4 (hoặc một trình xử lý thậm chí có thể chịu được hơn như

  input = open("json/world_bank.json",encoding="utf8")
  

  5).
• Một số thư viện xử lý unicode đảm bảo chuỗi điểm mã là văn bản hợp lệ có thể phàn nàn về cơ chế thoát được sử dụng (Tôi sẽ không giải thích ý nghĩa của nó ở đây, nhưng cụm từ của Lone Lone Surrogate là một gợi ý rằng một cái gì đó dọc theo các dòng đó có thể là xảy ra - thực tế là người thay thế của người Hồi giáo cũng xuất hiện trong tên của người xử lý lỗi không phải là một sự trùng hợp ngẫu nhiên).
• Tham nhũng dữ liệu vẫn có thể xảy ra nếu dữ liệu nguồn nằm trong mã hóa không tương thích ASCII (ví dụ: UTF-16)
• Tham nhũng dữ liệu vẫn còn có thể nếu các phần thoát của chuỗi được sửa đổi trực tiếp

Các tệp trong một mã hóa cụ thể nền tảng điển hình

Trường hợp sử dụng: Các tệp được xử lý trong một mã hóa nhất quán, mã hóa có thể được xác định từ các chi tiết hệ điều hành và cài đặt ngôn ngữ và có thể từ chối xử lý các tệp không được mã hóa đúng. the files to be processed are in a consistent encoding, the encoding can be determined from the OS details and locale settings and it is acceptable to refuse to process files that are not properly encoded.

Cách tiếp cận: Chỉ cần mở tệp trong chế độ văn bản. Trường hợp sử dụng này mô tả hành vi mặc định trong Python 3. simply open the file in text mode. This use case describes the default behaviour in Python 3.

Ví dụ:

import codecs # Python standard library
codecs.encode("A strange character","utf-8")
# this would give you the utf-8 encoded bytes

import codecs # Python standard library
codecs.encode("A strange character","utf-8")
# this would give you the utf-8 encoded bytes

Consequences:

• UnicodeDecodeError có thể bị ném khi đọc các tệp đó (nếu dữ liệu không thực sự trong mã hóa được trả về bởi

  ---------------------------------------------------------------------------
  UnicodeDecodeError                        Traceback (most recent call last)
   in ()
        2 
        3 i=0
  ----> 4 for l in input:
        5     i+=1
        6 
  
  C:\Users\Subbi Reddy\AppData\Local\Continuum\Anaconda3\lib\encodings\cp1252.py in decode(self, input, final)
       21 class IncrementalDecoder(codecs.IncrementalDecoder):
       22     def decode(self, input, final=False):
  ---> 23         return codecs.charmap_decode(input,self.errors,decoding_table)[0]
       24 
       25 class StreamWriter(Codec,codecs.StreamWriter):
  
  UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 3979: character maps to 
  

  7)
• UnicodeEncodeError có thể bị ném khi viết các tệp đó (nếu cố gắng ghi ra các điểm mã không có đại diện trong mã hóa mục tiêu).
• Trình xử lý lỗi ____24 có thể được sử dụng để có nhiều lỗi mã hóa hơn nếu cần phải nỗ lực tốt nhất để xử lý các tệp có chứa các lỗi đó thay vì từ chối chúng hoàn toàn như đầu vào không hợp lệ.

Các tệp trong một mã hóa nhất quán, được biết đến

Trường hợp sử dụng: Các tệp được xử lý trên danh nghĩa trong một mã hóa nhất quán, bạn biết mã hóa chính xác trước và có thể chấp nhận từ chối xử lý các tệp không được mã hóa đúng. Điều này ngày càng trở nên phổ biến hơn, đặc biệt là với nhiều định dạng tệp văn bản bắt đầu chuẩn hóa trên UTF-8 như mã hóa văn bản ưa thích. the files to be processed are nominally in a consistent encoding, you know the exact encoding in advance and it is acceptable to refuse to process files that are not properly encoded. This is becoming more and more common, especially with many text file formats beginning to standardise on UTF-8 as the preferred text encoding.

Cách tiếp cận: Mở tệp ở chế độ văn bản với mã hóa thích hợp open the file in text mode with the appropriate encoding

Ví dụ:

import codecs # Python standard library
codecs.encode("A strange character","utf-8")
# this would give you the utf-8 encoded bytes

import codecs # Python standard library
codecs.encode("A strange character","utf-8")
# this would give you the utf-8 encoded bytes

Consequences:

• UnicodeDecodeError có thể bị ném khi đọc các tệp đó (nếu dữ liệu không thực sự trong mã hóa được chỉ định)
• UnicodeEncodeError có thể bị ném khi viết các tệp đó (nếu cố gắng ghi ra các điểm mã không có đại diện trong mã hóa mục tiêu).
• Trình xử lý lỗi ____24 có thể được sử dụng để có nhiều lỗi mã hóa hơn nếu cần phải nỗ lực tốt nhất để xử lý các tệp có chứa các lỗi đó thay vì từ chối chúng hoàn toàn như đầu vào không hợp lệ.

Các tệp trong một mã hóa nhất quán, được biết đến

Trường hợp sử dụng: Các tệp được xử lý trên danh nghĩa trong một mã hóa nhất quán, bạn biết mã hóa chính xác trước và có thể chấp nhận từ chối xử lý các tệp không được mã hóa đúng. Điều này ngày càng trở nên phổ biến hơn, đặc biệt là với nhiều định dạng tệp văn bản bắt đầu chuẩn hóa trên UTF-8 như mã hóa văn bản ưa thích. the files to be processed include markers that specify the nominal encoding (with a default encoding assumed if no marker is present) and it is acceptable to refuse to process files that are not properly encoded.

Cách tiếp cận: Mở tệp ở chế độ văn bản với mã hóa thích hợp first open the file in binary mode to look for the encoding marker, then reopen in text mode with the identified encoding.

Ví dụ:

import codecs # Python standard library
codecs.encode("A strange character","utf-8")
# this would give you the utf-8 encoded bytes

# -*- coding: utf-8 -*-

Consequences:

• UnicodeDecodeError có thể bị ném khi đọc các tệp đó (nếu dữ liệu không thực sự trong mã hóa được chỉ định)
• Các tệp có điểm đánh dấu mã hóa đáng tin cậy
• Trường hợp sử dụng: Các tệp được xử lý bao gồm các điểm đánh dấu chỉ định mã hóa danh nghĩa (với mã hóa mặc định được giả định nếu không có điểm đánh dấu nào) và có thể chấp nhận từ chối xử lý các tệp không được mã hóa đúng.
• Cách tiếp cận: Trước tiên, hãy mở tệp ở chế độ nhị phân để tìm điểm đánh dấu mã hóa, sau đó mở lại ở chế độ văn bản với mã hóa được xác định.
• Trình xử lý lỗi ____24 có thể được sử dụng để có nhiều lỗi mã hóa hơn nếu cần phải nỗ lực tốt nhất để xử lý các tệp có chứa các lỗi đó thay vì từ chối chúng hoàn toàn như đầu vào không hợp lệ.

Các tệp trong một mã hóa nhất quán, được biết đến