Bộ công cụ xử lý tiengs việt

Chào các bạn,

Hiện mình đang thực hiện một dự án mã mở, là tạo ra bộ công cụ xử lý ngôn ngữ tự nhiên dành cho tiếng Việt. Mục đích của toolkit này là hỗ trợ, giúp ta có thể tạo ra các sản phẩm có liên quan đến xử lý ngôn ngữ tự nhiên bằng Nodejs. Đặc biệt là tiếng Việt.

Trước mắt là đi cóp nhặt các sản phẩm mã mở từ các bài báo đã công bố trong và ngoài nước để tích hợp vào công cụ này. Để giúp cho các dự án khác mà mình đang thực hiện, cũng như giúp các bạn khác (có thể là bạn?) cũng đang nghiên cứu trong lĩnh vực này, viết trên nền nodejs.

Chắc chắn toolkit này còn rất nhiều lỗi. Vậy mong các bạn trong diễn đàn, cộng đồng Node.js mình có thể hỗ trợ cùng mình làm cho sản phẩm này ngày càng hoàn thiện hơn, tối ưu hơn. Xin cảm ơn các bạn!

Một số kết quả

Cài đặt

1. Install Node.js
2. Run: $ npm install -g vntk

Xử lý input là một chuỗi

$ vntk ws "Chào mừng bạn đến với đất nước Việt Nam"
$ Chào mừng bạn đến với đất_nước Việt_Nam

Xử lý input là một tệp tin

$ vntk ws demo.txt another.txt -f
$ Result: demo.txt.seg, another.txt.seg

Đóng góp cho dự án

Các bạn có thể contribute cho dự án trên github tại link: https://github.com/vunb/vntk
Mong nhận được phản hồi từ các bạn

Sau hơn 1 năm thì mình cũng đã đưa vntk lên phiên bản 1.0.0. Chậm quá! :))

Một số tính năng mới được thêm vào trong đợt release này:

• Bộ phân tách đơn vị từ Tokenizer
• Bộ phân đoạn từ Word Segmentation
• Bộ dán nhãn từ loại POS Tagging
• Bộ phân tách cụm từ Chunking
• Bộ nhận dạng thực thể có tên Named Entity Recognition
• Một vài tiện ích và cập nhật khác

Các bạn thấy thú vị có thể fork dự án tại repo tại: https://github.com/vunb/vntk
Rất mong các bạn sử dụng và trải nghiệm, nếu có lỗi thì báo cho mình biết nhé!

Xin cảm ơn!

Mình đang làm một dự án về AI, cái tookit của bác khá hay.
Nhưng nếu nó biết đâu là động từ, đâu là danh tư. Câu này thuộc cấu trúc ngữ pháp gì thì tuyệt hơn nữa.

Mà mình hới tham thì phải, làm được vậy thành luis.ai rồi ! Nhưng cứ làm, biết đâu

@Quang-Vu-Quang Có rồi mà bạn ơi. Nó thuộc task vntk#chunking, có điều output mình đang để là raw dạng IOB. Mình đang cải tiến để thêm vào các tiện ích, bạn theo dõi thêm issue này vntk/issues/23.

Mà mình hới tham thì phải, làm được vậy thành luis.ai rồi ! Nhưng cứ làm, biết đâu

!

Vậy mới gọi là tham vọng chứ =)) Mình cũng đang làm 1 service giống như luis.ai đây. Hi vọng bạn cùng contribute cho VNTK

Công cụ hay. Chúc chủ thớt phát triển tốt project. many thanks

@Mrdao-Tự-Động-Hóa Cảm ơn bạn! Mình đang convert sang TypeScript để có hướng mở hơn. Tương lai Vntk có thể tích hợp và sử dụng Tensorflow.js bên trong lõi.

@Vũ Anh có cần người convert qua TypeScript ko =))

@Nguyen-Hien Anh đang follow theo style này và đang áp dụng cho Kites.js.

• https://github.com/vunb/kites-engine/tree/typescript
• https://github.com/vunb/kites-engine/blob/typescript/DEVTOOL.md
• https://github.com/vunb/kites-engine/pull/3

Nếu em hỗ trợ được thì tốt quá! Còn gì bằng =))

Dự kiến cuối năm Kites.js cũng sẽ được viết lại bằng TypeScript hoàn toàn. Sử dụng Decorator để tạo Api BaseController, BaseService và BaseMode.

@Vũ Ok anh. Chắc phải research thêm cái viết decorator cho Ts. Dạo này đẩy qua viết Python nên cũng ko update. =)). Để đọc xem TS với module TS style viết sao.

@Datdp Tạm thời anh mới pre-build cho Node 4, 6, 8 và 9. Nếu em đang dùng Node 10 hoặc 11 thì thêm vào tham số:

npm install crfsuire --build-from-source

Tương lai thì anh sẽ chuyển sang N-API từ phiên bản Node 10 sẽ chỉ có 1 bản build duy nhất và xuyên suốt

@Vũ EM đã thử chạy npm install crfsuire --build-from-source trên nodejs 10 nhưng ko được. Em cài lại nodejs 8 và vntk thì dùng tốt

Thấy hay hay, nhưng mô tả vậy hơi mơ hồ đối với người mới như mình.
^.^

@Manh-vu-thanh bạn có chỗ nào thấy không hiểu thì cứ trao đổi nhé. NLP/AI viết bằng JavaScript, NodeJS khá thú vị