基本信息論1信源不確定性.ppt

第2章基本信息論,本章學(xué)習(xí)內(nèi)容,信源不確定度和信息度量，離散信源的熵及其性質(zhì)，加權(quán)熵平均互信息量的定義、計(jì)算方法、物理意義和性質(zhì)二元聯(lián)合信源的共熵、條件熵及兩者之間的關(guān)系，平穩(wěn)信源的信源熵和極限熵馬爾可夫信源的概念及其信源熵的計(jì)算信源冗余度的定義連續(xù)信源的相對(duì)熵，三種連續(xù)信源的最大熵，熵功率,信息速率和信道容量的概念，離散有噪信道的熵速率，可疑度的物理解釋，連續(xù)有噪信道的信道容量三種多用戶信道模型及其信道容量信源編碼原理，等長(zhǎng)編碼和變長(zhǎng)編碼常用的信源編碼：山農(nóng)費(fèi)諾編碼、哈夫曼編碼和L-D編碼,本章作業(yè),P113：1-9，11，15，17，20，21,2.1信源及信源的不確定性,實(shí)際有用的信源應(yīng)具有不確定性信源的不確定性：信宿對(duì)信源某時(shí)刻發(fā)送哪個(gè)消息不能確定。,例1某二元信源發(fā)送1的概率為0.99，而發(fā)送0的概率為0.01。猜錯(cuò)率：1%，信源的不確定性很小。例2二元信源發(fā)1和發(fā)0的概率相等，均為0.5。猜錯(cuò)率：50%，信源發(fā)什么消息相當(dāng)不確定。例3如果信源具有更多的消息，例如發(fā)10個(gè)阿拉伯?dāng)?shù)字0，19，而且假定這10個(gè)消息是等概率分布的，均為十分之一。猜錯(cuò)率更大，信源發(fā)什么消息更不確定了。例4若信源只發(fā)送一種消息，即永遠(yuǎn)只發(fā)送1或者永遠(yuǎn)只發(fā)送0。猜錯(cuò)率：0，信源的不確定性為零。,一、不確定性的概念,對(duì)于信源X，其概率空間為：,信源不確定度：0=例4<例1<例2<例3<,信源的不確定程度與其概率空間的消息數(shù)及其概率分布有關(guān)信源的消息為等概率分布時(shí)，不確定度最大信源的消息為等概率分布且其數(shù)目越多，其不確定度也越大只發(fā)送一個(gè)確定的消息的信源，其不確定度為零,二、信源不確定度的定義,Hartley定義了信源不確定度：概率空間的概率的倒數(shù)的對(duì)數(shù)。,等概率分布時(shí)，信源的平均不確定度：,不等概率分布時(shí)，信源的非平均不確定度：,表示事件發(fā)生前，某事件發(fā)生的不確定性。,某事件必然發(fā)生，不確定性為零,某事件幾乎不發(fā)生，不確定性趨向無窮大,發(fā)生概率小的事件不確定性大，發(fā)生概率大的事件不確定性小,4）兩個(gè)獨(dú)立事件的聯(lián)合信息量應(yīng)等于它們分別信息量之和,三、信息度量,也表示通信發(fā)生前，信源發(fā)送消息的不確定度。即信源的非平均不確定度,表示信源發(fā)出一個(gè)消息所含有（或所提供）的非平均自信息量,信源消息的自信息量：,條件自信息量,信宿接收到消息后，對(duì)信源發(fā)送消息尚存的不確定度。,從信宿端看，信息量的定義：I（信息量）=不肯定程度的減少量即信宿收到消息后獲得的信息量=收到消息前后對(duì)信源不肯定程度的減少量,交互信息量,信宿收到消息yj后所獲得的關(guān)于xi的信息量,=收到消息yj后關(guān)于xi的不確定性減少的程度,=關(guān)于xi的先驗(yàn)不確定度收到消息yj后對(duì)xi尚存的不確定度,信息量的單位量綱,取2為底：比特（bit）取e為底：奈特（nat）取10為底：哈特萊（Hartley）,四、離散信源的熵,離散信源：僅輸出有限個(gè)消息的信源離散信源的熵：,物理意義：,-概率空間中每個(gè)事件（消息）所含有的自信息量的數(shù)學(xué)期望,-信源的平均不確定度（輸出消息前）,信源輸出一個(gè)消息所提供的平均信息量（輸出消息后）,若信源的N個(gè)消息等概率分布：p=1/N，則信源熵：,條件熵,-聯(lián)合概率空間XY上的條件自信息量的數(shù)學(xué)期望,-信宿收到消息集Y后對(duì)信源X尚存的平均不確定度,例一個(gè)口袋內(nèi)有100個(gè)球，其中90個(gè)紅球，10個(gè)黃球，每次摸出一個(gè)球然后放回，求：1）摸到一個(gè)紅球獲得的信息量；2）摸到一個(gè)黃球獲得的信息量；3）摸一次球獲得的平均信息量。,解：信源的概率空間：,1）摸到一個(gè)紅球獲得的信息量：,2）摸到一個(gè)黃球獲得的信息量：,3）摸一個(gè)球獲得的平均信息量：,例計(jì)算分析某二元數(shù)字通信系統(tǒng)中輸出1，0兩個(gè)消息的信源的信源熵。,解：1）如果信源消息等概率p(0)=p(1)=0.5，則：,2）如果p(0)=1，p(1)=0，則：,3）如果p(0)=0，p(1)=1，則：,例計(jì)算能輸出26個(gè)英文字母的信源的信源熵。假設(shè)各字母等概率分布，且互相獨(dú)立。,解：,五、熵函數(shù)H(X)的性質(zhì),1、非負(fù)性,2、確定性,3、熵函數(shù)H(X)是p(x)的連續(xù)函數(shù),只要有一個(gè)消息出現(xiàn)的概率為1，則信源的不確定度為0，信源熵為0。,4、熵函數(shù)H(X)具有極值性最大離散熵定理,證明：自然對(duì)數(shù)具有性質(zhì)：,當(dāng)且僅當(dāng)x=1時(shí)，上式取等號(hào),5、當(dāng)p(x)為等概率，且p(x)=1/n，則熵函數(shù)H(X)為n的單調(diào)增函數(shù),6、條件熵小于等于無條件熵,證明：,7、對(duì)稱性,8、擴(kuò)展性,9、可加性,統(tǒng)計(jì)獨(dú)立的兩信源聯(lián)合熵：,相互關(guān)聯(lián)的兩信源聯(lián)合熵：,10、上凸性：,熵函數(shù)存在極大值,六、加權(quán)熵的概念,相應(yīng)地再構(gòu)建一個(gè)信源的權(quán)重空間,對(duì)于信源X，其概率空間為：,信源X的加權(quán)熵：,