信息，指音訊、消息、通訊系統傳輸和處理的對象，泛指人類社會傳播的一切內容。人通過獲得、識別自然界和社會的不同信息來區別不同事物，得以認識和改造世界。在一切通訊和控制系統中，信息是一種普遍聯系的形式。1948年，數學家香農在題為“通訊的數學理論”的論文中指出：“信息是用來消除隨機不定性的東西”。創建一切宇宙萬物的最基本單位是信息。

信息的特點是什么?別擔心，信息雖然是不確定的，但還是有辦法將它們進行量化的。人們根據信息的概念，可以歸納出信息是有以下的幾個特點的：

1. 消息發生的概率P(x)越大，信息量越小;反之，發生的概率越小，信息量就越大。可見，信息量(我們用I來表示)和消息發生的概率是相反的關系。

2. 當概率為1時，百分百發生的事，地球人都知道，所以信息量為0。

3. 當一個消息是由多個獨立的小消息組成時，那么這個消息所含信息量應等于各小消息所含信息量的和。

根據這幾個特點，如果用數學上對數函數來表示，就正好可以表示信息量和消息發生的概率之間的關系式：I=-loga(P(x))。這樣，信息不就可以被量化了嗎?既然信息可以被量化，那么總得給它一個單位吧?人的體重是以公斤來計量的，人的身高是以米來計量的，那么信息量該以什么單位來計量呢?通常是以比特(bit)為單位來計量信息量的，這樣比較方便，因為一個二進制波形的信息量恰好等于1bit。