第2章习题.ppt
- 文档编号:18750422
- 上传时间:2023-10-28
- 格式:PPT
- 页数:17
- 大小:628.50KB
第2章习题.ppt
《第2章习题.ppt》由会员分享,可在线阅读,更多相关《第2章习题.ppt(17页珍藏版)》请在冰点文库上搜索。
2023/10/28,1,习题1,同时掷两个正常的骰子,即各面呈现的概率都是1/6。
求:
“3和5同时出现”这一事件的自信息量。
“两个1同时出现”这一事件的自信息量。
两个点数的各种组合(无序对)的熵。
两个点数之和(即2,3,12构成的子集)的熵。
两个点数中至少有一个是1的自信息。
两个点数是3的信息量。
两个点数是7的信息量。
2023/10/28,2,习题1,2023/10/28,3,习题2,黑白传真机的消息元只有黑色和白色两种,即X黑,白。
一般气象图上,黑色出现的概率为p(黑)0.3,白色出现的概率为p(白)0.7。
求:
假设黑白消息视为前后无关,求信源熵H(X),并画出该信源的香农线图。
实际上各元素之间有关联,其转移概率为:
p(白/白)0.9143p(黑/黑)0.8求:
这个一阶马尔可夫信源的信源熵,并画出该信源的香农线图。
2023/10/28,4,习题3,有6行、8列的棋型方格,若有两个质点A和B分别以等概率落入任一方格内,但A、B不能落入同一方格内。
求:
若仅有质点A,求A落入任一个格的平均信息量若已知A已落入,求B落入的平均信息量若A、B是可分辨的,求A、B都落入的平均信息量,2023/10/28,5,习题4,从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%,如果你问一位男士:
“你是否色盲?
”他的回答可能是“是”,可能是“否”,问这两个回答中各含有多少信息量,平均每个回答中含有多少信息量?
如果问一位女士,则答案中含有的平均自信息量是多少?
2023/10/28,6,习题5,在一个袋中放有5个黑球,10个白球,以摸一个球为一个实验,摸出的球不再放进去。
求:
一次实验包含的不确定度。
第一次实验X摸出的是黑球,第二次实验Y给出的不确定度。
第一次实验X找出的是白球,第二次实验Y给出的不确定度。
第二次实验Y包含的不确定度。
2023/10/28,7,习题6,有一个可旋转的圆盘,盘面上被均匀地分成38份,用1,2,38数字标示,其中有2份涂绿色,18份涂黑色,18份涂红色。
圆盘停转后,盘面上指针指向某一数字和颜色。
求:
若仅对颜色感兴趣,计算平均不确定度。
若对颜色和数字都感兴趣,计算平均不确定度。
如果颜色已知时,计算条件熵。
2023/10/28,8,习题7,有两个二元随机变量X和Y,它们的联合概率如右表所示,并定义另一随机变量ZXY(一般乘积)。
试计算:
H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y),2023/10/28,9,习题7,2023/10/28,10,习题8、9,某无记忆信源的符号集为0,1,已知p0=1/4,p1=3/4。
求:
求符号的平均熵。
由100个符号构成的序列,求某特定序列(m个“0”和100-m个“1”)的自信息量的表达式。
计算中序列的熵。
设有一个二进制一阶马尔可夫信源,其信源符号为X(0,1),条件概率为p(0/0)=0.25p(0/1)=p(1/1)=0.5p(1/0)=0.75画出状态图并求出各符号稳态概率。
2023/10/28,11,习题10,设有一信源,它在开始时以p(a)=0.6,p(b)=0.3,p(c)=0.1的概率发出X1。
如果X1为a时则X2为a、b、c的概率为1/3;如果X1为b时则X2为a、b、c的概率为1/3;如果X1为c时则X2为a、b的概率为1/2,而为c的概率是0。
而且后面发出Xi的概率只与Xi1有关。
又p(Xi/Xi-1)=p(X2/X1),i3。
试利用马尔可夫信源的图示法画出状态转移图,并求出转移概率矩阵和信源熵H。
2023/10/28,12,习题11,一个马尔可夫过程的基本符号0,1,2,这三个符号以等概率出现,具有相同的转移概率,并且没有固定约束。
画出一阶马尔可夫过程的状态图,并求稳定状态下的马尔可夫信源熵H1。
画出二阶马尔可夫过程的状态图,并求稳定状态下二阶马尔可夫信源熵H2。
2023/10/28,13,习题12,有一个一阶马尔可夫链X1,X2,Xr,各Xr取值于集A=a1,a2,a3。
已知起始概率p(ai)为:
p1=1/2,p2=p3=1/4,转移概率如下表所示。
求:
X1X2X3的联合熵和平均符号熵。
这个链的极限平均符号熵。
H0,H1,H2和它们所对应的冗余度。
2023/10/28,14,习题12,p1=1/2,p2=p3=1/4,p(X21)=7/12p(X22)=5/24p(X23)=5/24,2023/10/28,15,习题13,一阶马尔可夫信源的状态图如图所示,信源X的符号集为0,1,2。
求信源平稳后的概率分布p(0),p
(1)和p
(2)。
求此信源的熵。
近似认为此信源为无记忆时,符号的概率分布等于平稳分布。
求近似信源的熵H(X)并与H进行比较。
对一阶马尔可夫信源,p取何值时H取最大值,又当p=0或p=1时结果如何?
2023/10/28,16,习题13,2023/10/28,17,习题14,一阶马尔可夫信源的状态图如图所示。
信源X的符号集为0,1,2。
平稳后的信源的概率分布。
信源熵H当p=0或p=1时信源的熵,并说明其理由。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 习题
![提示](https://static.bingdoc.com/images/bang_tan.gif)