信息论与编码

一、课程心得体会

​我是大三上学期（19-20秋冬）修的这门课，《信息论与编码》课程的主要内容相当于是一个信息论的入门和一些编码方式的介绍。虽然当时还是选修课，只有二十多人在上，但相关的知识在通信原理、计算机网络等课程中都有应用。个人觉得如果是想从事通信相关领域的同学，那么这门课还是有必要多下一些功夫来多做了解的，这可能也是现在要改成必修课的原因。

​这门课的上课形式还是比较传统的，主要介绍概念、理论、分析方法，除了上课之外会有一些讨论以及习题点评。评价方式上，平时占比30%，有一定次数的作业和一次小组展示。考试占比70%，在电气学院课程中算是期末占比较高的课程，且期末是闭卷，重点考概念和计算。

​在平时上课方面，就个人的经历而言，我觉得这门课的节奏是比较慢的，因为课程还是比较偏数学，可能会有一些枯燥无聊。不过还是建议大家第一遍学的时候注重好概念的理解，比如对着课件把书过一遍这种，因为在考试时我觉得相比计算题，一些概念题反而更难。平时的作业一般会涉及计算，编码和少许证明。考试的计算题难度是和作业差不多的，所以平时作业认真做，对一对答案的话，考试的计算题应该心里有底。

​在课程大作业方面，这门课的project是比较自由的，可以选择任何信息论与编码相关的内容做研究。大作业按学号连着的分组，一组4人左右，我们组当时做的是JPEG图像压缩编码与解码。班上的同学也是做的五花八门的，从信号处理到机器学习都有。需要注意的一点是大三上学期的期末可能会有些忙，所以最好在分完组选完题之后早点把大作业做完，以免最后忙不过来。

​最后关于期末，最后一次课会有总结PPT，考试范围在PPT列出的提纲之内。期末题型有选择、填空、判断、简答加四道计算题。选择、判断主要考概念，填空、简答、计算主要考计算，基本不考证明。概念题中，大家除了过书上的概念之外，可以到网上搜一些信息论与编码的题库，一般是其它学校的考试题。我当时因为觉得自己概念掌握不牢，搜了些网上的选择填空题来做，后来也确实在考试中碰到了原题。计算题的方式与作业类似，四道计算题中有一道是编码，其它的也多为平时强调过的计算类型，会有一道综合题。对于难度不大的题大家也要注意细心，单位这种细节也要注意。计算题回忆也可参考热心同学的98分享 。

​ 最后，整体而言，相比其它大三课程来说，这门课不算很难，希望大家保持自信，都能取得一个优秀的成绩。

一、课程心得体会

​信息论与编码这门课程是借助概率论的手段来量化探究信息传递这一过程的内部具体表现。

​信息的传输过程中所涉及到的部分有信源、信道以及编码方式。信源指的是发出信息的源头，信道指信息传输的通道，编码方式指将信源发出的信息转换为可在信道介质中传输的信号。对此可以类比为将具体事件用二进制编码方式一一对应，在以电信号的形式在电路线缆中传输。

​其探究借助的工具是概率论与数理统计中所学到的简单知识，比如条件概率、两种变量之间的相关性探究。但既是作为工具，并不会像概率论一样涉及较为复杂的问题。

二、学习方法与建议

​学习这门课需要对课程内部所提到的各类定义有十分清晰的了解，比如区分前向概率、后向概率、先验概率以及后验概率，区分信源、信道与编码的定义等。在明晰各类定义的概念之后，所涉及的计算都是比较简单的。（在使用计算器的前提下）

​课程的教授在一开始先介绍了信源及信源信息熵，探讨了信源所含信息量的数学定义，不同类型信源之间的区别，而后介绍了信道的数学模型与分类，探讨了信息在信道中传输时可能会因为外界物理干扰而造成的一定损失误码（信号疑义度）以及在无外界干扰时一个信道最多能够传输的信息量（信道容量），在最后又依据信源与信道分别介绍了不同的编码方式：为了提升效率而使用信源编码，为了提升可靠性而使用信道编码。而在关于不同编码方式的定义方面是比较复杂而又容易混淆的，这还是需要仔细区分。

​在这门课程中，学习新的概念时会涉及到一些比较复杂的证明过程（例如香农第一二三定理），但这些过程都是为了帮助理解定理的，实际上课程的考察不会要求证明。（实际上我自己也是看了一遍就忘了）考察过程以应用为主，如果将平常作业做好并切实理解做法，这门课还是比较简单的。