資訊熵怎麼理解

資訊熵是計算機概念中的一種。可以理解成某種特定資訊的出現概率（離散隨機事件的出現概率）。一個系統越是有序，資訊熵就越低；反之，一個系統越是混亂，資訊熵就越高。

資訊熵也可以說是系統有序化程度的一個度量。資訊的基本作用就是消除人們對事物瞭解的不確定性。美國資訊理論創始人夏農發現任何資訊都存在冗餘，冗餘的大小與資訊的每一個符號出現的概率和理想的形態有關，多數粒子組合之後，在它似像非像的形態上押上有價值的數碼，那一定是給一個博弈研究者長期迷惑的問題提供了一個負熵論據，這種單相思佔優的形態以及資訊