Entropi belirsizliğin ölçüsüdür.

Belirli bir sembol kümesinden oluşan bir kaynak düşünüldüğünde, o kaynaktan gelen bir mesaj ne kadar beklenmedik (yani olasılığı düşük) olursa, o kadar fazla bilgi taşır. Bu durumun tersini düşünürsek saf entropi, yani tam rastlantısallık veya düzenin tamamen yokluğu söz konusu olur ki bu da aslında hiçbir bilgi iletmez.

Eğer bir mesajın içeriği çok tahmin edilebilirse (örneğin her zaman "A" mesajını yollayan bir kaynak), bu mesaj alıcısına yani size yeni bir şey söylemez, yani bilgi içermez. Gelen her mesaj zaten biliniyordur. Entropi burada düşüktür.

Öte yandan, mesajın içeriği az rastlanan veya beklenmeyen sembollerle doluysa, bu durum sizin için yeni bilgi anlamına gelir. Bu mesaj, yüksek bilgi değeri taşır çünkü beklenmiyordur. Ancak, bu sadece tekil bir olay olduğu sürece, sistemin genel entropisi artmaz. Bu sadece bir anlık bilgi artışıdır, entropi artışı değil.

Ancak, mesaj tamamen rastgele ve kuralsız bir semboller dizisi olursa (örneğin anlamı olmayan harf yığınları), bu da işe yarar bir bilgi taşımaz. Çünkü bu rastgelelik içinde anlamlı bir yapı ya da örüntü yoktur. İşte bu durumda entropi maksimum seviyededir, ama anlamlı bilgi yoktur. Ama aşırı yüksek entropi, yani tamamen rastgele ve anlamdan yoksun bir mesaj akışı (örneğin “xy!@#q”) da bilgi değil, gürültü (noise) üretir.........

© 12punto