Entropi Là Gì

phần lớn người vẫn dùng thuật toán thù cross-entropy vào machine learning mà lại thiếu hiểu biết nhiều được entropy là gì, bài viết sau đây để giúp đỡ các bạn đọc hơn về nó.

Bạn đang xem: Entropi là gì

Entropy nghĩa là gì?

Ý tưởng về Entropy thuở đầu hơi nặng nề đọc, có nhiều trường đoản cú được dùng để làm bộc lộ nó: đó là sự lếu láo loạn, ko cứng cáp chắc hẳn, độ bất định, độ bất thần, lượng báo cáo xuất xắc những từ bỏ giống như cố. Nếu cho đến tiếng bạn vẫn không rõ về nó, thì các bạn tới đúng vị trí rồi đó. Tôi để giúp đỡ chúng ta hiểu rõ về Entropy.

Ai nghĩ về ra Entropy và bởi lý do gì ?

Năm 1948, Claude Shannon thứ nhất nhắc đến quan niệm information entropy vào nội dung bài viết "“A Mathematical Theory of Communication” (information entropy: entropy lên tiếng, độ biến động đọc tin - tuy nhiên mình nghĩ cần sử dụng từ cội đang xuất sắc hơn).

*

Q1mlq4p.png774×166 10.5 KB

Cách nghỉ ngơi trên bao gồm giỏi ko ? Giả sử cả người gửi cùng dấn phần đông biết rằng nội dung message mọi nói tới khí hậu của Tokyo. Vậy bọn họ sẽ không nhất thiết phải gửi đông đảo tự nhỏng “Thời tiết”, “Tokyo”, “của” … Họ đơn giản dễ dàng chỉ cần nói “Fine”, “Not fine”, điều đó là đủ.

Xem thêm: 10:00 Eastern Daylight Time ( Edt Time Là Gì, Múi Giờ Miền Đông (Bắc Mỹ)


*

QPJpoCh.png810×493 51.5 KB

vì thế phương pháp mã hóa này sẽ bảo đảm ko làm mất đi non thông tin

*

Kết phù hợp với bí quyết tính kích tầm trung bình bình vẫn biết ở chỗ trước, ta được kích thước mã hóa mức độ vừa phải nhỏ dại tốt nhất - trên đây chính là entropy:

*

Trong số đó P(i) là xác xuất của một số loại lời nhắn máy i. Hãy ngồi và suy ngẫm về bí quyết này, chả tất cả gì nặng nề gọi giỏi magic ở đây cả, phương pháp này đơn giản dễ dàng là việc phối hợp giữa tính form size mã hóa trung bình cùng kích thước mã hóa nhỏ tuyệt nhất của từng các loại tin. Thử 1 vài ba ví dụ:


vivspeb.png903×474 54.2 KB

Vậy, entropy là: (0.5 x 1 bit)+(0.25 x 2 bits)+(0.125 x 3 bits)+(0.125 x 3 bits)=1.75 bits

Tính chất của Entropy

Entropy cao đồng nghĩa tương quan với vấn đề có tương đối nhiều nhiều loại lên tiếng với phần trăm từng nhiều loại nhỏ tuổi. Mỗi 1 message new xuất hiện, kỹ năng cao rằng message đó có ngôn từ khác cùng với văn bản của message trước kia. Ta có thể hotline đó là sự việc biến động. Lúc một loại đọc tin với Tỷ Lệ rẻ bỗng nhiên xuất hiện, nó đã tạo ra bất ngờ rộng so với các một số loại lên tiếng có tỷ lệ cao không giống. VD: cùng với câu hỏi bạn chọn liều 1 trong những 5 câu trả lời, phần trăm lộ diện là 80% sai, 20% đúng, bài toán bạn chọn đúng vẫn khiến bạn bất ngờ rộng nhiều đối với câu hỏi lựa chọn sai. Hay nói những không giống, đọc tin gồm xác suất càng tốt càng có những thông tin quý giá.

Hoặc 1 ví dụ không giống, ví như phân păn năn là 90% mưa, 10% nắng nóng thì ban bố dự báo thời tiết về 1 trận mưa sẽ không còn cung ứng các thông báo (bởi ta xác định sẵn tinh thần là ttránh vẫn mưa). Trong khí đó ví như phân phối hận là một nửa mưa, một nửa nắng thì ban bố về vấn đề trời ngày hôm đó mưa tốt nắng nóng lại cực kỳ quý hiếm (chứa được nhiều lên tiếng hơn).

Túm lại ta rất có thể gọi entropy với các ý nghĩa sau:

entropy là lượng bit vừa đủ buổi tối thiểu nhằm mã hóa công bố khi ta biết phân bổ những một số loại thông báo trong số ấy.entropy biểu hiện cho sự láo lếu độn, độ cô động, độ phức tạp của đọc tin.Thông tin càng tinh vi càng entropy càng cao (giỏi sức lực mã hóa lớn).Entropy là gốc rễ vào câu hỏi công thức cross-entropy tính toán không nên khác thân những phân bố Tỷ Lệ.Entropy nhạy bén với đổi khác phần trăm bé dại, lúc 2 phân bố càng tương tự nhau thì entropy càng tương đương nhau với ngược lạiEntropy rẻ đồng nghĩa tương quan cùng với vấn đề hầu hết các lần nhấn thông tin, ta rất có thể dự đoán dễ rộng, không nhiều bất ngờ hơn, không nhiều không ổn định hơn và ít thông tin hơn.

Bài viết được dịch và mình bao gồm bổ sung từ bỏ bài: Demystifying Entropy của tác giả: Naoki Shibuya

Cảm ơn phần nhiều fan sẽ đọc. Trong thời hạn tới bản thân sẽ nỗ lực dịch về Cross-entropy và Demystifying KL Divergence.