香農創立了信息論

      克勞德·香農(Claude Elwood Shannon,1916-2001)于1916年4月30日出生在美國密西根州的伽婁德(Gaylord)小鎮,當時鎮里只有三千居民。香農的父親是該鎮的法官,母親是鎮里的中學校長。他生長在一個有良好教育的環境,不過父母給他的科學影響好像還不如祖父的影響大。香農的祖父是一位農場主兼發明家,發明過洗衣機和許多農業機械,這對香農的影響比較直接。此外,香農的家庭與大發明家愛迪生(Thomas Alva Edison,1847-1931)還有遠親關系。

        

      香農的兩大貢獻:一是信息理論、信息熵的概念;另一是符號邏輯和開關理論。香農的信息論為明確什么是信息量概念作出決定性的貢獻。

      1936年香農在密西根大學獲得數學與電氣工程學士學位,然后進入MIT念研究生。1938年香農在MIT獲得電氣工程碩士學位,碩士論文題目是《繼電器與開關電路的符號分析》。當時他已經注意到電話交換電路與布爾代數之間的類似性,即把布爾代數的“真”與“假”和電路系統的“開”與“關”對應起來,并用1和0表示。于是他用布爾代數分析并優化開關電路,這就奠定了數字電路的理論基礎。哈佛大學的
      Howard Gardner教授說,“這可能是本世紀最重要、最著名的一篇碩士論文。

      1940年香農在MIT獲得數學博士學位,而他的博士論文卻是關于人類遺傳學的,題目是《理論遺傳學的代數學》。說明香農的興趣十分廣泛,后來他在不同的學科方面發表過許多有影響的文章。在讀學位的同時,他還用部分時間跟溫尼法·布什教授進行微分分析器的研究。這種分析器是早期的機械模擬計算機,用于獲得常微分方程的數值解。1941年香農發表了《微分分析器的數學理論》,他寫道:“大多數結果通過證明的定理形式給出。最重要的是處理了一些條件,有些條件可以生成一個或多個變量的函數,有些條件可使常微分方程得到解。還給出了一些注意事項,給出求函數的近似值、求調整率的近似值以及自動控制速率的方法。”

      1941年香農以數學研究員的身份進入新澤西州的AT&T貝爾電話公司,并在貝爾實驗室工作到1972年,從24歲到55歲,整整31年。香農與John Riordan一起工作,1942年發表了一篇關于串并聯網絡的雙終端數的論文。這篇論文擴展了麥克馬洪1892年在Electrician上發表的論文理論。1948年香農在發表了《通訊的數學理論 》,創立了信息論。

      在二次世界大戰時,香農博士也是一位著名的密碼破譯者(這使人聯想到比他大4歲的圖靈博士)。他在貝爾的破譯團隊主要是追蹤德國飛機和火箭,尤其是在德國火箭對英國進行閃電戰時起了很大作用。1949年香農發表了另外一篇重要論文《保密系統的通信理論》,正是基于這種工作實踐,它的意義是使保密通信由藝術變成科學。
        
        熵的概念
        香農理論的重要特征是熵(entropy)的概念,他證明熵與信息內容的不確定程度有等價關系。熵曾經是波爾茲曼在熱力學第二定律引入的概念,我們可以把它理解為分子運動的混亂度。信息熵也有類似意義,例如在中文信息處理時,漢字的靜態平均信息熵比較大,中文是9.65比特,英文是4.03比特。這表明中文的復雜程度高于英文,反映了中文詞義豐富、行文簡練,但處理難度也大。信息熵大,意味著不確定性也大。因此我們應該深入研究,以尋求中文信息處理的深層突破。不能盲目認為漢字是世界上最優美的文字,從而引申出漢字最容易處理的錯誤結論。

      眾所周知,質量、能量和信息量是三個非常重要的量。人們很早就知道用秤或者天平計量物質的質量,而熱量和功的關系則是到了19世紀中葉,隨著熱功當量的明確和能量守恒定律的建立才逐漸清楚。能量一詞就是它們的總稱,而能量的計量則通過“卡、焦耳”等新單位的出現而得到解決。然而,關于文字、數字、圖畫、聲音的知識已有幾千年歷史了。但是它們的總稱是什么,它們如何統一地計量,直到19世紀末還沒有被正確地提出來,更談不上如何去解決了。

      20世紀初期,隨著電報、電話、照片、電視、無線電、雷達等的發展,如何計量信號中信息量的問題被隱約地提上日程。1928年哈特利(R.V. H. Harley)考慮到從D個彼此不同的符號中取出N個符號并且組成一個“詞”的問題。如果各個符號出現的概率相同,而且是完全隨機選取的,就可以得到DN個不同的詞。從這些詞里取了特定的一個就對應一個信息量I。哈特利建議用N log D這個量表示信息量,即I=N log D 。這里的log表示以10為底的對數。后來,1949年控制論的創始人維納也研究了度量信息的問題,還把它引向熱力學第二定律。但是就信息傳輸給出基本數學模型的核心人物是香農。1948年香農長達數十頁的論文《通信的數學理論》成了信息論正式誕生的里程碑。在他的通信數學模型中,清楚地提出信息的度量問題,他把哈特利的公式擴大到概率pi不同的情況,得到了著名的計算信息熵H的公式:
        H=∑-pi log pi
        如果計算中的對數log是以2為底的,那么計算出來的信息熵就以比特(bit)為單位。今天在計算機和通信中廣泛使用的字節(Byte)、KB、MB、GB等詞都是從比特演化而來。“比特”的出現標志著人類知道了如何計量信息量。

      香農最初的動機是把電話中的噪音除掉,他給出通信速率的上限,這個結論首先用在電話上,后來用到光纖,現在又用在無線通信上。我們今天能夠清晰地打越洋電話或衛星電話,都與通信信道質量的改善密切相關。

      香農的大部分時間是在貝爾實驗室和MIT(麻省理工學院)度過的。人們描述香農的生活,白天他總是關起門來工作,晚上則騎著他的獨輪車來到貝爾實驗室。他的同事D. Slepian說:“我們大家都帶著午飯來上班,飯后在黑板上玩玩數學游戲,但克勞德很少過來。他總是關起門來工作。但是,如果你要找他,他會非常耐心地幫助你。他能立刻抓住問題的本質。他真是一位天才,在我認識的人中,我只對他一人使用這個詞。” 

      克勞德·香農在公眾中并不特別知名,但他是使我們的世界能進行即時通信的少數科學家之一。他是美國科學院院士、美國工程院院士、英國皇家學會會員、美國哲學學會會員。他獲得過許多榮譽和獎勵。例如1949年Morris獎、1955年Ballantine獎、1962年Kelly獎、1966年的國家科學獎章、IEEE的榮譽獎章、1978年Jaquard獎、1983年Fritz獎、1985年基礎科學京都獎。他獲得的榮譽學位不勝枚舉。 

      貝爾實驗室和MIT都尊崇香農為信息論及數字通信時代的奠基人。是他將布爾代數的“真”與“假” 電路的“開”與“關”對應起來,并用1和0表示。這是從理論轉換到實際產品設計的一個重要的環節。

       

       
      91精品视频网站| 欧美成人精品一区二三区在线观看 | 日韩麻豆国产精品欧美| 中文字幕亚洲精品资源网| 欧美精品人人做人人爱视频| 中文无码久久精品| 精品国产欧美另类一区 | 久久久久久亚洲精品不卡| 亚洲精品乱码久久久久久按摩| 国产成人亚洲合集青青草原精品| 国产精品区AV一区二区| 欧美成人免费全部观看天天性色 | 国内精品久久久久久久久电影网| 亚洲第一天堂无码专区| 97久久久精品综合88久久| 国产精品自在在线午夜福利| 黄色资源在线观看| 久久青草国产精品一区| 亚洲韩精品欧美一区二区三区| 精品国产福利一区二区| 国产成人无码精品久久久免费| 2020日本不卡一区二区视频| 亚洲精品综合一二三区在线| 先锋影音在线视频| 久久亚洲精品中文字幕三区| 夜夜精品无码一区二区三区| 99re热这里只有精品视频中文字幕| 久久精品不卡| 国产精品毛片VA一区二区三区| 精品欧美小视频在线观看| 久久精品国产亚洲av水果派| 国产日韩久久久精品影院首页 | 日韩欧美精品不卡| 日本高清在线精品一区二区三区| 国内精品免费视频精选在线观看| 影音先锋男人在线看片资源网| 久久国产精品一区二区| 亚洲国产精品日韩在线观看| 精品国产污污免费网站| 日本免费新一区视频| 国产精品福利片免费看|