Code xử lý ngôn ngữ tự nhiên

Hôm nay, trong hành trình Trí tuệ nhân tạo với Python , chúng ta sẽ thảo luận về Hướng dẫn NLP, chúng ta sẽ thảo luận về những điểm thô sơ của Xử lý ngôn ngữ tự nhiên. Chúng ta sẽ bắt đầu phần hướng dẫn NLP với định nghĩa NLP và phần giới thiệu ngắn gọn.

Các bài viết liên quan:

Sau đó, chúng ta sẽ hướng tới các thành phần, thư viện và lợi ích của ngôn ngữ xử lý tự nhiên. Ngoài ra, chúng ta sẽ thảo luận về các Ứng dụng Xử lý Ngôn ngữ Tự nhiên , các ví dụ NLP và các công cụ. 

Vì vậy, hãy bắt đầu Hướng dẫn NLP.

Giới thiệu về xử lý ngôn ngữ tự nhiên

Xử lý ngôn ngữ tự nhiên tình cờ được gọi là NLP. Đây là một lĩnh vực của AI liên quan đến cách máy tính và con người tương tác và cách lập trình máy tính để xử lý và phân tích một lượng lớn dữ liệu ngôn ngữ tự nhiên.

Điều này phải đối mặt với một số thách thức như nhận dạng giọng nói, hiểu ngôn ngữ tự nhiên và tạo ngôn ngữ tự nhiên.

NLP là tất cả về việc phát triển các ứng dụng và dịch vụ có thể hiểu được ngôn ngữ của con người.Hướng dẫn NLP – NLP là gì?

Theo thuật ngữ của người dân, NLP là một cách để máy tính phân tích ngôn ngữ của con người và rút ra ý nghĩa hữu ích từ nó. Nó cho phép bạn tổ chức và cấu trúc kiến ​​thức để cho phép bạn thực hiện các nhiệm vụ sau-

• Tóm tắt tự động
• Dịch
• Nhận dạng đối tượng được đặt tên
• Khai thác mối quan hệ
• Phân tích cảm xúc
• Nhận dạng giọng nói
• Phân đoạn chủ đề

NLP phân tích văn bản và cho phép máy móc hiểu cách chúng ta nói. Nó xem xét cấu trúc phân cấp của ngôn ngữ và thực hiện các nhiệm vụ như sửa ngữ pháp, chuyển lời nói thành văn bản và dịch giữa các ngôn ngữ. Trong khoa học máy tính, đó là một vấn đề khó.

“Các từ có nghĩa là gì, làm thế nào để chúng liên kết với nhau và ý nghĩa của chúng là gì?”

Thách thức lớn nhất đối với NLP là đánh giá chính xác ý định của từ ngữ khi lưu ý đến sự mơ hồ của ngôn ngữ.

NLP là gì?

NLP là viết tắt của Natural Language Processing, là một phần của Khoa học Máy tính, Ngôn ngữ Con người và Trí tuệ Nhân tạo. Nó là công nghệ được sử dụng bởi máy móc để hiểu, phân tích, thao tác và diễn giải ngôn ngữ của con người. Nó giúp các nhà phát triển tổ chức kiến ​​thức để thực hiện các tác vụ như dịch, tóm tắt tự động, Nhận dạng đối tượng được đặt tên [NER], nhận dạng giọng nói, trích xuất mối quan hệ và phân đoạn chủ đề.

Lịch sử của NLP

[1940-1960] – Tập trung vào Dịch máy [MT]

Xử lý ngôn ngữ tự nhiên bắt đầu vào năm 1940.

1948 – Vào năm 1948, ứng dụng NLP dễ nhận biết đầu tiên được giới thiệu tại Birkbeck College, London.

Những năm 1950 – Vào những năm 1950, có một quan điểm mâu thuẫn giữa ngôn ngữ học và khoa học máy tính. Giờ đây, Chomsky đã phát triển các cấu trúc cú pháp trong cuốn sách đầu tiên của mình và tuyên bố rằng ngôn ngữ có bản chất là sinh vật.

Năm 1957, Chomsky cũng đưa ra ý tưởng về Generative Grammar, đó là những mô tả dựa trên quy tắc của cấu trúc cú pháp.

[1960-1980] – Được trang bị trí tuệ nhân tạo [AI]

Trong những năm từ 1960 đến 1980, những phát triển chính là:

Mạng chuyển tiếp tăng cường [ATN]

Mạng chuyển tiếp tăng cường là một máy trạng thái hữu hạn có khả năng nhận dạng các ngôn ngữ thông thường.

Các bài viết khác:

Case Grammar

Case Grammar được phát triển bởi nhà ngôn ngữ học Charles J. Fillmore vào năm 1968. Ngữ pháp tình huống sử dụng các ngôn ngữ như tiếng Anh để diễn đạt mối quan hệ giữa danh từ và động từ bằng cách sử dụng giới từ.

Trong Ngữ pháp tình huống, các vai trò tình huống có thể được xác định để liên kết các loại động từ và đối tượng nhất định.

Ví dụ: “Neha đã làm vỡ gương bằng chiếc búa”. Trong ví dụ này, ngữ pháp xác định Neha như một tác nhân, gương như một chủ đề và búa như một công cụ.

Trong năm 1960-1980, các hệ thống chính là:

SHRDLU

SHRDLU là một chương trình được viết bởi Terry Winograd vào năm 1968-70. Nó giúp người dùng giao tiếp với máy tính và các đối tượng chuyển động. Nó có thể xử lý các hướng dẫn như “nhặt quả bông xanh” và cũng trả lời các câu hỏi như “Cái gì bên trong hộp đen.” Tầm quan trọng chính của SHRDLU là nó chỉ ra những cú pháp, ngữ nghĩa và lý luận về thế giới có thể được kết hợp để tạo ra một hệ thống hiểu ngôn ngữ tự nhiên.

LUNAR

LUNAR là ví dụ cổ điển về hệ thống giao diện cơ sở dữ liệu Ngôn ngữ Tự nhiên được sử dụng ATN và Ngữ nghĩa thủ tục của Woods. Nó có khả năng dịch các biểu thức ngôn ngữ tự nhiên phức tạp thành các truy vấn cơ sở dữ liệu và xử lý 78% yêu cầu mà không có lỗi.

1980 – Hiện tại

Cho đến năm 1980, các hệ thống xử lý ngôn ngữ tự nhiên dựa trên các bộ quy tắc viết tay phức tạp. Sau năm 1980, NLP giới thiệu các thuật toán học máy để xử lý ngôn ngữ.

Vào đầu những năm 1990, NLP bắt đầu phát triển nhanh hơn và đạt được độ chính xác của quy trình tốt, đặc biệt là trong Ngữ pháp tiếng Anh. Cũng vào năm 1990, một văn bản điện tử được giới thiệu, cung cấp một nguồn tốt cho việc đào tạo và kiểm tra các chương trình ngôn ngữ tự nhiên. Các yếu tố khác có thể bao gồm sự sẵn có của máy tính có CPU nhanh và nhiều bộ nhớ hơn. Yếu tố chính đằng sau sự tiến bộ của xử lý ngôn ngữ tự nhiên là Internet.

Giờ đây, NLP hiện đại bao gồm nhiều ứng dụng khác nhau, như nhận dạng giọng nói, dịch máy và đọc văn bản máy. Khi chúng ta kết hợp tất cả các ứng dụng này thì nó sẽ cho phép trí tuệ nhân tạo thu được kiến ​​thức về thế giới. Hãy xem xét ví dụ về AMAZON ALEXA, sử dụng robot này, bạn có thể đặt câu hỏi cho Alexa và nó sẽ trả lời bạn.

Ưu điểm của NLP

• NLP giúp người dùng đặt câu hỏi về bất kỳ chủ đề nào và nhận được phản hồi trực tiếp trong vòng vài giây.
• NLP đưa ra câu trả lời chính xác cho câu hỏi có nghĩa là nó không cung cấp thông tin không cần thiết và không mong muốn.
• NLP giúp máy tính giao tiếp với con người bằng ngôn ngữ của họ.
• Nó rất hiệu quả về thời gian.
• Hầu hết các công ty sử dụng NLP để nâng cao hiệu quả của các quy trình tài liệu, độ chính xác của tài liệu và xác định thông tin từ cơ sở dữ liệu lớn.

Nhược điểm của NLP

Dưới đây là danh sách các nhược điểm của NLP:

• NLP có thể không hiển thị ngữ cảnh.
• NLP là không thể đoán trước
• NLP có thể yêu cầu nhiều lần gõ phím hơn.
• NLP không thể thích ứng với miền mới và nó có một chức năng hạn chế, đó là lý do tại sao NLP chỉ được xây dựng cho một nhiệm vụ cụ thể và duy nhất.

Hướng dẫn NLP – Các thành phần của NLP

Trong khi nói về NLP trong Hướng dẫn NLP, chúng ta bắt gặp hai Thành phần chính của NLP-

Hiểu ngôn ngữ tự nhiên [NLU]

Hiểu Ngôn ngữ Tự nhiên xoay quanh việc đọc hiểu máy móc. Đây là một bài toán khó về AI. Một hệ thống NLU cần có các thành phần sau:

• Quy tắc Lexicon, Parser và Grammar.
• Lý thuyết ngữ nghĩa- để hướng dẫn hiểu.

Tạo ngôn ngữ tự nhiên [NLG]

NLG quan tâm đến việc tạo ra ngôn ngữ tự nhiên. Nó sử dụng một hệ thống biểu diễn máy móc như một cơ sở tri thức hoặc một dạng logic. Bạn có thể coi nó như một trình dịch giữa dữ liệu và biểu diễn ngôn ngữ tự nhiên; điều này ngược lại hoặc NLU. Điều này liên quan đến ba nhiệm vụ-

• Lập kế hoạch Văn bản – Để trích xuất nội dung có liên quan từ cơ sở kiến ​​thức.
• Lập kế hoạch câu- Để chọn các từ thích hợp, tạo thành các cụm từ có nghĩa và đặt giọng điệu cho câu.
• Text Realization- Để ánh xạ kế hoạch câu thành cấu trúc câu.

Sự khác biệt giữa NLU và NLG

• NLU là quá trình đọc và giải thích ngôn ngữ. NLG là quá trình viết hoặc tạo ra ngôn ngữ.
• Nó tạo ra các đầu ra phi ngôn ngữ từ các đầu vào ngôn ngữ tự nhiên. Nó tạo ra các đầu ra ngôn ngữ tự nhiên mang tính xây dựng từ các đầu vào không phải ngôn ngữ.
• Các ứng dụng của NLP

Lợi ích của NLP

Trong số vô số lợi ích của NLP, ở đây, chúng tôi liệt kê một số-

• Để nâng cao hiệu quả của quy trình lập tài liệu.
• NLP được sử dụng để cải thiện độ chính xác của quy trình tài liệu.
• Để xác định thông tin thích hợp từ cơ sở dữ liệu lớn.

Cùng với Học máy , chúng ta không cần phải viết tay các bộ quy tắc lớn.

Thư viện cho NLP

Nhiều thư viện mã nguồn mở cho phép chúng tôi làm việc với Lập trình ngôn ngữ tự nhiên. Một số trong số đó là-

• Natural Language ToolKit [NLTK] – Được viết bằng Python; cho phép các mô-đun xử lý văn bản, phân loại, mã hóa, tạo gốc, phân tích cú pháp, gắn thẻ và hơn thế nữa.
• Apache OpenNLP- Bộ công cụ học máy; cho phép mã hóa, phân đoạn câu, gắn thẻ một phần giọng nói, phân đoạn, phân tích cú pháp, trích xuất thực thể được đặt tên và hơn thế nữa.
• Stanford NLP Suite- Các công cụ để gắn thẻ từng phần của bài phát biểu, trình nhận dạng thực thể được đặt tên, phân tích ý kiến, hệ thống giải quyết hội nghị, v.v.
• Cổng Thư viện NLP.
• MALLET- Gói Java để phân bổ dirichlet tiềm ẩn, phân cụm, mô hình hóa chủ đề, trích xuất thông tin, phân loại tài liệu, v.v.

Thuật ngữ trong NLP

Nói về NLP, chúng ta nói:

Phonology

học Nghiên cứu tổ chức âm thanh một cách hệ thống.

Morphology

Nghiên cứu cấu tạo từ những đơn vị có nghĩa nguyên thủy.

Morpheme

Đơn vị nguyên thủy của nghĩa trong một ngôn ngữ.

Syntax

Sắp xếp các từ để tạo thành câu; xác định vai trò cấu tạo của từ trong câu, cụm từ.

Semantics

Nghiên cứu nghĩa của các từ và kết hợp chúng để tạo thành các cụm từ và câu có nghĩa.

Pragmatics

dụng Sử dụng và hiểu các câu trong các tình huống khác nhau; xác định điều này ảnh hưởng như thế nào đến việc giải thích câu.

Discourse

Hiểu cách một câu có thể ảnh hưởng đến câu tiếp theo.

World Knowledge

Kiến thức về thế giới.

Hướng dẫn NLP – Nhiệm vụ trong NLP

Với Xử lý ngôn ngữ tự nhiên, chúng tôi thực hiện năm nhiệm vụ khác nhau-

Phân tích từ vựng

Phân tích từ vựng liên quan đến việc xác định và phân tích cấu trúc từ. Chúng tôi chia toàn bộ đoạn văn bản thành các đoạn văn, câu và từ.

Phân tích cú pháp

Còn được gọi là phân tích cú pháp, nó liên quan đến việc phân tích các từ trong câu để tìm ngữ pháp và sắp xếp lại chúng để xác định cách chúng liên quan với nhau. Nó từ chối những câu như “Quả táo ăn thịt cô gái”.

Phân tích ngữ nghĩa

Điều này liên quan đến việc trích xuất các nghĩa từ điển từ văn bản. Nó cũng ánh xạ các cấu trúc cú pháp và các đối tượng trong miền tác vụ để kiểm tra tính có nghĩa. Nó từ chối những tuyên bố như “cao lùn”.

Tích hợp bài giảng

Nó phân tích câu trước để đoán nghĩa của câu hiện tại và câu sau nó.

Phân tích thực dụng

Điều này diễn giải lại câu lệnh để đảm bảo nó xác định chính xác ý nghĩa của câu lệnh. Nó cố gắng truy xuất các khía cạnh của ngôn ngữ yêu cầu kiến ​​thức về thế giới thực.

Hướng dẫn NLP – Ứng dụng NLP

Với NLP, chúng ta có thể làm như sau-

• Tổng hợp các khối văn bản.
• Tạo chatbot.
• Dịch máy.
• Chống thư rác.
• Trích xuất thông tin.
• Tự động tạo thẻ từ khóa.
• Xác định các loại thực thể được trích xuất.
• Xác định tình cảm của một chuỗi bằng phân tích tình cảm.
• Giảm các từ về gốc rễ của chúng.
• Tổng kết.
• Câu hỏi-trả lời.
• Dịch vụ khách hàng.
• Phân tích thị trường.

Vì vậy, đây là tất cả trong Hướng dẫn NLP. Hy vọng bạn thích giải thích của chúng tôi về Ngôn ngữ xử lý tự nhiên.

Cách xây dựng NLP pipeline

Có các bước sau để xây dựng đườngNLP:

Bước 1: Phân đoạn câu

Phân đoạn câu là bước đầu tiên để xây dựng đường ống NLP. Nó chia đoạn văn thành các câu riêng biệt.

Ví dụ: Hãy xem xét đoạn văn sau –

Ngày lễ Độc lập là một trong những lễ hội quan trọng đối với mỗi người dân Ấn Độ. Nó được tổ chức vào ngày 15 tháng 8 hàng năm kể từ khi Ấn Độ giành được độc lập từ sự cai trị của Anh. Ngày kỷ niệm độc lập theo đúng nghĩa.

Phân đoạn câu cho kết quả sau:

“Ngày Độc lập là một trong những lễ hội quan trọng đối với mỗi người dân Ấn Độ”.

“Nó được tổ chức vào ngày 15 tháng 8 hàng năm kể từ khi Ấn Độ giành được độc lập từ sự cai trị của Anh.”

“Ngày này kỷ niệm độc lập theo đúng nghĩa.”

Bước 2: Mã hóa Word

Word Tokenizer được sử dụng để ngắt câu thành các từ hoặc mã thông báo riêng biệt.

Ví dụ:

JavaTpoint cung cấp Đào tạo Doanh nghiệp, Đào tạo Mùa hè, Đào tạo Trực tuyến và Đào tạo Mùa đông.

Word Tokenizer tạo ra kết quả sau:

“JavaTpoint”, “ưu đãi”, “Công ty”, “Đào tạo”, “Mùa hè”, “Đào tạo”, “Trực tuyến”, “Đào tạo”, “và”, “Mùa đông”, “Đào tạo”, “.”

Bước 3: Lập trình

Stemming được sử dụng để chuẩn hóa các từ thành dạng cơ sở hoặc dạng gốc của nó. Ví dụ: ăn mừng, ăn mừng và ăn mừng, tất cả những từ này đều bắt nguồn từ một từ gốc duy nhất là “ăn mừng”. Vấn đề lớn với việc tạo gốc là đôi khi nó tạo ra từ gốc có thể không có bất kỳ nghĩa nào.

Ví dụ, thông minh, thông minh, và thông minh, tất cả những từ này được bắt nguồn bằng một từ gốc duy nhất “thông minh”. Trong tiếng Anh, từ “thông minh” không có bất kỳ nghĩa nào.

Bước 4: Bổ đề hóa

Lemmatization khá giống với Stamming. Nó được sử dụng để nhóm các dạng suy luận khác nhau của từ, được gọi là Bổ đề. Sự khác biệt chính giữa Stemming và lemmatization là nó tạo ra từ gốc, có nghĩa.

Ví dụ: Trong bổ ngữ, các từ thông minh, thông minh, thông minh có một từ gốc là thông minh, là một nghĩa.

Bước 5: Xác định các từ dừng

Trong tiếng Anh, có rất nhiều từ xuất hiện rất thường xuyên

ví dụ như “is”, “và”, “the” và “a”. Đường ống NLP sẽ gắn cờ những từ này là từ dừng. Các từ dừng có thể được lọc ra trước khi thực hiện bất kỳ phân tích thống kê nào.

Ví dụ: Anh ấy là một cậu bé tốt.

Lưu ý: Khi bạn đang xây dựng một công cụ tìm kiếm ban nhạc rock, thì bạn đừng bỏ qua từ “The.”

Bước 6: Phân tích cú pháp phụ thuộc

Phân tích cú pháp phụ thuộc được sử dụng để thấy rằng tất cả các từ trong câu có liên quan với nhau như thế nào.

Bước 7: Thẻ POS

POS là viết tắt của các phần của bài phát biểu, bao gồm Danh từ, động từ, trạng từ và Tính từ. Nó chỉ ra rằng một từ hoạt động như thế nào với ý nghĩa của nó cũng như về mặt ngữ pháp trong các câu. Một từ có một hoặc nhiều phần của lời nói dựa trên ngữ cảnh mà nó được sử dụng.

Ví dụ: “Google” một cái gì đó trên Internet.

Trong ví dụ trên, Google được sử dụng như một động từ, mặc dù nó là một danh từ riêng.

Bước 8: Nhận dạng đối tượng được đặt tên [NER]

Nhận dạng thực thể được đặt tên [NER] là quá trình phát hiện thực thể được đặt tên như tên người, tên phim, tên tổ chức hoặc vị trí.

Ví dụ: Steve Jobs giới thiệu iPhone tại Hội nghị Macworld ở San Francisco, California.

Bước 9: Chunking

Chunking được sử dụng để thu thập từng mẩu thông tin và nhóm chúng thành những mẩu câu lớn hơn.

Các giai đoạn của NLP

Có năm giai đoạn sau của NLP:

1. Phân tích từ vựng và hình thái học

Giai đoạn đầu tiên của NLP là Phân tích Lexical. Giai đoạn này quét mã nguồn dưới dạng một luồng ký tự và chuyển nó thành các từ vựng có ý nghĩa. Nó chia toàn bộ văn bản thành các đoạn văn, câu và từ.

2. Phân tích cú pháp [Phân tích cú pháp]

Phân tích cú pháp được sử dụng để kiểm tra ngữ pháp, cách sắp xếp từ và chỉ ra mối quan hệ giữa các từ.

Ví dụ: Agra đến Poonam

Trong thế giới thực, Agra đi Poonam, không có ý nghĩa gì, vì vậy câu này bị bác bỏ bởi bộ phân tích cú pháp.

3. Phân tích ngữ nghĩa

Phân tích ngữ nghĩa quan tâm đến việc biểu diễn ý nghĩa. Nó chủ yếu tập trung vào nghĩa đen của các từ, cụm từ và câu.

4. Tích hợp bài giảng

Sự tích hợp của bài học phụ thuộc vào các câu tiếp theo nó và cũng gợi ý nghĩa của các câu tiếp theo nó.

5. Phân tích thực dụng

Thực dụng là giai đoạn thứ năm và cuối cùng của NLP. Nó giúp bạn phát hiện ra hiệu quả dự kiến ​​bằng cách áp dụng một bộ quy tắc đặc trưng cho các cuộc đối thoại hợp tác.

Ví dụ: “Mở cửa” được hiểu là một yêu cầu thay vì một mệnh lệnh.

Tại sao NLP lại khó?

NLP rất khó vì ngôn ngữ này tồn tại sự mơ hồ và không chắc chắn.

1. Mơ hồ

Có ba điều không rõ ràng sau đây:

• Sự mơ hồ về ngôn ngữ
• Sự mơ hồ từ vựng tồn tại khi có hai hoặc nhiều nghĩa có thể có của câu trong một từ duy nhất.

Ví dụ:

Manya đang tìm kiếm một trận đấu.

Trong ví dụ trên, từ khớp đề cập đến việc Manya đang tìm kiếm bạn tình hoặc Manya đang tìm kiếm một đối tác. [Cricket hoặc trận đấu khác]

1. Sự mơ hồ về cú pháp

Sự mơ hồ về cú pháp tồn tại ở sự hiện diện của hai hoặc nhiều ý nghĩa có thể có trong câu.

Ví dụ:

Tôi đã nhìn thấy cô gái bằng ống nhòm.

Trong ví dụ trên, tôi đã có ống nhòm chưa? Hay cô gái có cái ống nhòm?

1. Sự mơ hồ tham chiếu

Sự mơ hồ về tham chiếu tồn tại khi bạn đang đề cập đến điều gì đó bằng cách sử dụng đại từ.

Ví dụ: Kiran đã đến Sunita. Cô ấy nói, “Tôi đói.”

Trong câu trên, bạn không biết ai đang đói, dù là Kiran hay Sunita.

1. API NLP

Các API xử lý ngôn ngữ tự nhiên cho phép các nhà phát triển tích hợp giao tiếp giữa người với máy và hoàn thành một số tác vụ hữu ích như nhận dạng giọng nói, chatbot, sửa lỗi chính tả, phân tích cảm xúc, v.v.

Dưới đây là danh sách các API NLP:

API Watson của IBM

IBM Watson API kết hợp các kỹ thuật học máy phức tạp khác nhau để cho phép các nhà phát triển phân loại văn bản thành các danh mục tùy chỉnh khác nhau. Nó hỗ trợ nhiều ngôn ngữ, chẳng hạn như tiếng Anh, tiếng Pháp, tiếng Tây Ban Nha, tiếng Đức, tiếng Trung, v.v. Với sự trợ giúp của API IBM Watson, bạn có thể trích xuất thông tin chi tiết từ các văn bản, thêm tự động hóa trong quy trình làm việc, tăng cường tìm kiếm và hiểu được cảm xúc. Ưu điểm chính của API này là nó rất dễ sử dụng.

Giá cả: Thứ nhất, nó cung cấp tài khoản đám mây IBM dùng thử miễn phí trong 30 ngày. Bạn cũng có thể chọn các gói trả phí của nó.

API Chatbot

API Chatbot cho phép bạn tạo các chatbot thông minh cho bất kỳ dịch vụ nào. Nó hỗ trợ các ký tự Unicode, phân loại văn bản, nhiều ngôn ngữ, v.v. Nó rất dễ sử dụng. Nó giúp bạn tạo một chatbot cho các ứng dụng web của mình.

Định giá: API Chatbot miễn phí cho 150 yêu cầu mỗi tháng. Bạn cũng có thể chọn phiên bản trả phí của nó, bắt đầu từ $ 100 đến $ 5.000 mỗi tháng.

API giọng nói thành văn bản

API Speech to text được sử dụng để chuyển lời nói thành văn bản

Định giá: API chuyển giọng nói thành văn bản miễn phí để chuyển đổi 60 phút mỗi tháng. Phiên bản trả phí của nó bắt đầu từ $ 500 đến $ 1.500 mỗi tháng.

API phân tích tình cảm

API phân tích cảm xúc còn được gọi là ‘khai thác ý kiến’ được sử dụng để xác định giọng điệu của người dùng [tích cực, tiêu cực hoặc trung tính]

Định giá: Phân tích tình cảm

API sis miễn phí cho ít hơn 500 yêu cầu mỗi tháng. Phiên bản trả phí của nó bắt đầu từ $ 19 đến $ 99 mỗi tháng.

Translation API by SYSTRAN

Translation API by SYSTRAN được sử dụng để dịch văn bản từ ngôn ngữ nguồn sang ngôn ngữ đích. Bạn có thể sử dụng các API NLP của nó để phát hiện ngôn ngữ, phân đoạn văn bản, nhận dạng thực thể được đặt tên, mã hóa và nhiều tác vụ khác.

Định giá: API này có sẵn miễn phí. Nhưng đối với người dùng thương mại, bạn cần sử dụng phiên bản trả phí của nó.

API phân tích văn bản của AYLIEN

API phân tích văn bản của AYLIEN được sử dụng để tìm ra ý nghĩa và hiểu biết sâu sắc từ nội dung văn bản. Nó có sẵn cho cả miễn phí và trả phí từ $ 119 mỗi tháng. Nó rất dễ dàng để sử dụng.

Định giá: API này có sẵn miễn phí cho 1.000 lượt truy cập mỗi ngày. Bạn cũng có thể sử dụng phiên bản trả phí của nó, bắt đầu từ $ 199 đến S1, 399 mỗi tháng.

API Cloud NLP

API Cloud NLP được sử dụng để cải thiện khả năng của ứng dụng bằng công nghệ xử lý ngôn ngữ tự nhiên. Nó cho phép bạn thực hiện các chức năng xử lý ngôn ngữ tự nhiên khác nhau như phân tích tình cảm và phát hiện ngôn ngữ. Nó rất dễ dàng để sử dụng.

Định giá: API Cloud NLP được cung cấp miễn phí.

Google Cloud Natural Language API

API ngôn ngữ tự nhiên của Google Cloud cho phép bạn trích xuất thông tin chi tiết hữu ích từ văn bản không có cấu trúc. API này cho phép bạn thực hiện nhận dạng thực thể, phân tích tình cảm, phân loại nội dung và phân tích cú pháp trong hơn 700 danh mục được xác định trước. Nó cũng cho phép bạn thực hiện phân tích văn bản bằng nhiều ngôn ngữ như tiếng Anh, tiếng Pháp, tiếng Trung và tiếng Đức.

Định giá: Sau khi thực hiện phân tích thực thể cho 5.000 đến 10.000.000 đơn vị, bạn cần phải trả $ 1,00 cho 1000 đơn vị mỗi tháng.

Thư viện NLP

Scikit-learning: Nó cung cấp một loạt các thuật toán để xây dựng các mô hình học máy bằng Python.

Bộ công cụ ngôn ngữ tự nhiên [NLTK]: NLTK là một bộ công cụ hoàn chỉnh cho tất cả các kỹ thuật NLP.

Mô hình: Nó là một mô-đun khai thác web cho NLP và học máy.

TextBlob: Nó cung cấp một giao diện dễ dàng để học các tác vụ NLP cơ bản như phân tích tình cảm, trích xuất cụm danh từ hoặc gắn thẻ pos.

Quepy: Quepy được sử dụng để chuyển đổi các câu hỏi ngôn ngữ tự nhiên thành các truy vấn bằng ngôn ngữ truy vấn cơ sở dữ liệu.

SpaCy: SpaCy là một thư viện NLP mã nguồn mở được sử dụng để trích xuất dữ liệu, phân tích dữ liệu, phân tích cảm xúc và tóm tắt văn bản.

Gensim: Gensim làm việc với các tập dữ liệu lớn và xử lý các luồng dữ liệu.

Sự khác biệt giữa ngôn ngữ tự nhiên và ngôn ngữ máy tính

Ngôn ngữ tự nhiên Ngôn ngữ máy tính

Ngôn ngữ tự nhiên có vốn từ vựng rất lớn. Ngôn ngữ máy tính có vốn từ vựng rất hạn chế.

Con người dễ dàng hiểu được ngôn ngữ tự nhiên. Máy tính dễ hiểu ngôn ngữ máy tính.

Ngôn ngữ tự nhiên có bản chất là mơ hồ. Ngôn ngữ máy tính không rõ ràng.

Điều kiện tiên quyết

Trước khi học NLP, bạn phải có kiến ​​thức cơ bản về Python.

Sự kết luận

Và với điều này, chúng tôi kết thúc phần giới thiệu về Xử lý ngôn ngữ tự nhiên với Python. Trong Hướng dẫn xử lý ngôn ngữ tự nhiên này, chúng ta đã thảo luận về Định nghĩa NLP, xử lý ngôn ngữ tự nhiên AI và ví dụ về NLP.

Hơn nữa, chúng tôi đã nói về các nguyên tắc cơ bản, các thành phần, lợi ích, thư viện, thuật ngữ, nhiệm vụ và ứng dụng của nó. Tiếp theo, chúng tôi sẽ chứng minh việc sử dụng NLTK để triển khai NLP với Python. Tuy nhiên, nếu có bất kỳ nghi ngờ nào về Hướng dẫn NLP, hãy hỏi trong tab bình luận.