通信笔记1
信息
信息定义：消息中蕴含的内容，原来未知而待知的内容。
通信目标：利用电信号传输消息中包含的信息，收端获得信息后，不确定性被消除。
一般通信系统模型：
信源->发送设备->信道->接收设备->信宿
噪声源->信道
数字通信系统模型：
信源-> 信源编码 -> 加密 -> 信道编码 -> 数字调制-> 信道-> 数字解调-> 信道译码-> 解密-> 信源译码-> 信宿
噪声源->信道
信源编码：A/D转换，通过数据压缩去冗余，提高通信系统有效性。
信道编码：提高系统抗干扰能力。
信息量
对接收者来说，只有消息中不确定的内容才构成信息。信息量的多少与接收者收到消息时感到的惊讶程度有关。
消息所表达的事件越不可能发生、越不可预测，信息量越大。
设\(P(x)\)表示消息发生的概率，\(I\)表示消息中所含的信息量 \[ I = I[P(x)] \]
\(I\)的两个特性：
- \(P(x)\)减小，\(I\)增大。\(P(x)=1,~~~I=0; ~~~~~~P(x)=0,~~~I=\infty\)
- \(I[P(x_1)P(x_2)P(x_3)...] = I[P(x_1)] + I[P(x_2)] + I[P(x_3)] + ...\)
\(I\)的表达式：\(I = \log_a \frac{1}{P(x)} = - \log_a P(x)\)
信息量的单位和式中对数的底\(a\)有关。若\(a=2\)，则信息量的单位为比特（\(bit\)）简记为\(b\)。若\(a=e\)，则信息量的单位为奈特（\(nat\)）。
等概率离散消息度量
有一离散信源，以相等概率发送二进制数字“0”，“1”，则每个数字信息量为 \[ I(0) = I(1) = \log_2 \frac{1}{1/2} = 1 ~ (b) \] 一个二进制码元称为1b。
同理，传送等概率四进制波形之一（\(P=1/4\)）的信息量为\(2b\)， 传送等概率八进制波形之一（\(P=1/8\)）的信息量为\(3b\)， 传送等概率\(M\)进制波形之一（\(P=1/M\)）的信息量为\(\log_2 M ~~ (b)\)。
考虑非等概率情况：\(x_i~(i = 1,2,3...M)\)对应\(P(x_i)~(i = 1,2,3...M)\)。且\(\sum_{i=1}^M P(x_i) = 1\)。 \[ I(x_i) = -\log_2 P(x_i) \]
每个符号所含信息量的统计平均值，即平均信息量为： \[ H(x) = -\sum_{i=1}^M P(x_i)\log_2 P(x_i) ~~~~ (b/符号) \] 由于\(H\)同热力学中的熵的形式相似，故常称他为信息源的熵，单位为“\(b/符号\)”
显然，\(P(x_i)=\frac{1}{M}\)时，熵有最大值。
一般用平均信息量（熵）乘某条消息的符号总数计算该条消息的信息量。
连续消息的平均信息量为： \[ H(x) = -\int_{-\infty}^{\infty} f(x) \log_a f(x) dx \] \(f(x)\)为连续消息出现的概率密度。
通信系统的性能指标
| 有效性 | 可靠性 | |
|---|---|---|
| 模拟通信 | 传输带宽 | 输出信噪比 |
| 数字通信 | 码元速率\(R_B\) | 差错概率（误码率） |
| 信息速率\(R_b\) | 差错概率（误信率） | |
| 频带利用率\(\eta\) |
频带利用率： \(\eta = R_B/B ~~ (Baud/Hz)\)，或者，\(\eta_b = R_b/B ~~ (b/(s\cdot Hz))\)
\(R_B\)是码元传输速率（传码率），单位时间传输码元数目，单位（\(Baud\)）。 \(R_b\)是信息传输速率（传信率），单位时间传输平均信息量，单位（\(b/s\)）。
\(M\)进制码元携带\(\log_2 M\)比特的信息量： \[ \begin{aligned} R_b &= R_B \log_2 M ~~(b/s) \\ R_B &= R_b / \log_2 M ~~(Baud) \end{aligned} \]
可靠性：
- 模拟：接收端输出信号与噪声功率比（\(S/N\)）
- 数字：用差错概率衡量（误码率、误信率）
误码率： \[ P_e = \frac{错误码元数量}{传输总码元数量} \]
误信率： \[ P_b = \frac{错误比特数量}{传输总比特数量} \]
当使用二进制编码时，\(P_e = P_b\)
使用八进制编码时，码元有三位，假设收到\(9bit\)，错\(1bit\)，即收到三个符号，错一个符号。这种情况下，\(P_e=1/3, ~~ P_b = 1/9, ~~ P_e > P_b\)