Cross-entropy loss là gì?
Mặc dùhinge loss khá phổ biến, nhưng chúng ta có nhiều khả năng sử dụng hàm mất mátcross-entropyvà phân loại Softmax trong bối cảnh họcsâu và mạng lưới thần kinh tích chập.Trình phân loại Softmax cung cấp cho chúng ta xác suất cho mỗi nhãn lớp trong khi mất bản lề cung cấp cho chúng ta.
Chúng ta dễ dàng hơn nhiều khi con người giải thích xác suất thay vì điểm số lề. Hơn nữa, đối với các bộ dữ liệu như ImageNet, chúng ta thường nhìn vào độ chính xác rank-5 của mạng lưới thần kinh tích chập [nơi chúng tôi kiểm tra xem liệu nhãn thật có nằm trong top 5 nhãn được dự đoán không được trả về bởi một mạng cho một hình ảnh đầu vào nhất định]. Xem nếu [1] nhãn lớp thực sự tồn tại trong top 5 dự đoán và [2] xác suất liên quan đến mỗi nhãn là một thuộc tính đẹp.
Trình phân loại Softmax là một khái quát của dạng nhị phân của hồi quy logistic. Giống như trong hinge loss hoặc squared hinge loss, chức năng ánh xạ f của chúng ta được xác định sao cho nó có một bộ đầu vào là dữ liệu x_i và ánh xạ chúng đến nhãn lớp đầu ra thông qua sản phẩm chấm của ma trận dữ liệu và ma trận trọng số W
[bỏ qua thuật ngữ thiên vị cho ngắn gọn]:f [x_i;W] = W x_i
Tuy nhiên, không giống như hinge loss, chúng ta có thể hiểu các điểm số này là xác suất nhật ký không chuẩn hóa cho mỗi nhãn lớp, có nghĩa là hoán đổi chức năng mất bản lề với mất entropy chéo.Hãy lưu ý rằng logarit của chúng ta ở đây thực sự là cơ sở e [logarit tự nhiên] vì chúng ta đang lấy nghịch đảo của lũy thừa so với e trước đó. Số mũ thực tế và chuẩn hóa thông qua tổng số mũ là hàm Softmax của chúng ta. Log âm mang lại tổn thất entropy chéo thực tế của chúng ta.
Cũng giống như hinge loss và squared hinge loss, tính toán mất mát cross-entropytrên toàn bộ bộ dữ liệu được thực hiện bằng cách lấy trung bình.Một lần nữa, chún ta lại cố tình bỏ qua thuật ngữ regaularizationtừ hàm mất mát của chúng ta. Chúng ta sẽ quay trở lại regaularization, giải thích nó là gì, sử dụng nó như thế nào và tại sao nó lại quan trọng đối với các mạng lưới thần kinh và sâu sắc học ở các bài kế. Nếu các phương trình trên có vẻ đáng sợ, đừng lo lắng - chúng ta sẽ làm việc thông qua các ví dụ bằng số trong phần tiếp theo để đảm bảo chúng ta hiểu cách thức hoạt động của hàm mất mát cross-entropy.
Để chứng minh hàm mất mát cross-entropy trong hành động, hãy xem xét những table trên. Mục tiêu của chúng ta là phân loại xem hình ảnh trên có một con chó, mèo hoặc gấu trúc. Rõ ràng, chúng ta có thể thấy rằng hình ảnh là một chú gấu trúc con - nhưng phân loại Softmax của chúng tôi nghĩ gì? Để tìm hiểu, chúng ta sẽ cần phải làm việc qua bốn tabletrong hình.
Bảng đầu tiên bao gồm đầu ra của hàm tính điểm f của chúng tacho mỗi trong ba lớp, tương ứng. Các giá trị này là xác suấtkhông chuẩn hóa của chúng ta cho ba lớp. Hãy
lũy thừa đầu ra của hàm tính điểm [e_s, trong đó s là giá trị hàm điểm của chúng tôi], mang lại xác suất không chuẩn hóa của chúng ta [bảng thứ hai].
Bước tiếp theo là lấy mẫu số của phương trình, tính tổng số mũ và chia cho tổng, do đó mang lại xác suất thực tế liên quan đến mỗi nhãn lớp [bảng thứ ba]. Lưu ý cách xác suất tổng hợp thành một.
Cuối cùng, chúng ta có thể lấy logarit tự nhiên âm, ln [p], trong đó p là proba bình thường hóa, sing ra giá trí mất mát cuối cùng của chúng ta [bảng thứ tư và cuối cùng].
Trong trường hợp này, trình phân loại Softmax của chúng tôi sẽ báo cáo chính xác hình ảnh là gấu trúc với 93,93% sự tự tin. Sau đó, chúng ta có thể lặp lại quy trình này cho tất cả các hình ảnh trong tập huấn luyện của chúng tôi, lấy mức trung bình và có được tổn thất entropy chéo tổng thể cho tập huấn luyện. Quá trình này cho phép chúng ta định lượng như thế nào tốt hay xấu một tập hợp các tham số đang thực hiện trên tập huấn luyện của chúng ta.
Kết luận
Trong bối cảnh phân loại hình ảnh, dữ liệu đầu vào của chúng ta là tập dữ liệu hình ảnh của chúng ta. Việc ghi hàm tạo dự đoán cho một hình ảnh đầu vào nhất định. Hàm mất sau đó định lượng mức độ tốt hoặc xấu một tập hợp các dự đoán là trên tập dữ liệu. Cuối cùng, ma trận trọng số và vectơ sai lệch cho phép chúng ta thực sự học tìm hiểu từ dữ liệu đầu vào - các tham số này sẽ được điều chỉnh và điều chỉnh thông qua phương pháp tối ưu hóa trong một nỗ lực để có được độ chính xác phân loại cao hơn.
Sau đó chúng tôi đã xem xét hai chức năng mất phổ biến: mất bản lề và mất entropy chéo. Trong khi margin lossđược sử dụng trong nhiều ứng dụng học máy [như SVM], chúng ta gần như có thể đảm bảo với hoàn toàn chắc chắn rằng chún ta sẽ thấy hàm mất mát cross-entropy chéo với tần suất nhiều hơn chủ yếu là do
thực tế là phân loại Softmax xác suất đầu ra thay vì lề. Xác suất dễ dàng hơn nhiều đối với chúng ta là con người để giải thích, vì vậy thực tế này là một chất lượng đặc biệt tốt đẹp của mất mát entropy chéo.
Trong các bài tiếp theo, chúng tôi sẽ xem xét các phương pháp tối ưu hóa được sử dụng để điều chỉnh ma trận trọng số của chúng ta và vectơ sai lệch. Phương pháp tối ưu hóa cho phép các thuật toán của chúng tathực sự học hỏi từ dữ liệu đầu vào của chúng ta bằng cách cập nhật ma trận trọng số và vectơ sai lệch dựa trên đầu ra của các hàm tính điểm và mất của chúng ta.
Sử dụng các kỹ thuật này, chúng ta có thể thực hiện các bước tăng dần đối với các giá trị tham số có giá trị thấp hơn mất và độ chính xác cao hơn. Phương pháp tối ưu hóa là nền tảng của mạng lưới thần kinh hiện đại và học sâu, và không có chúng, chúng ta sẽ không thể học các mẫu từ dữ liệu đầu vào của mình, vì vậy hãy chắc chắn chú ý đến chương sắp tới.
Mời bạn có thể tham gia cộng đồng robotic để đặt câu hỏi cũng như tìm hiểu về robot.
Chúc bạn thành đạt trong công việc và hạnh phúc trong cuộc sống !
Hotline / Zalo: 089 6688 629
Website: //uniduc.com/vi
-------------////--------------------------------------------////------------
GIỚI THIỆU ĐẾN BẠN SẢN PHẨM KHẨU TRANG Y TẾ WAKAMONO KHÁNG VI RÚT LÊN ĐẾN 99% BẠN CÓ THỂ MUA SẢN PHẨM Ở DƯỚI ĐÂY:
-------------////--------------------------------------------////------------
HUMANOID ROBOT CỦA CÔNG TY UNIDUC SẢN XUẤT PHÁT TRIỂN.