信息论

概述

参考：

• B 站，信道容量、香农极限、极化码
• Wiki, Information Theory(信息论)
• Wiki, Polar Code(极化码)
• capacity-achieving
• 硬科普 | 熵与信息（一）：一个石破惊天的副产品
• 熵与信息（四）：如何用1 bit信息改变世界？

信息熵 # 一个答案的最少提问次数

信道容量 # 单位时间内能传输的信息量

$log_2(\frac{1}{2})=-3$

数据通信 的应用建立在信息论基础之上。