- 深度学习500问:AI工程师面试宝典
- 谈继勇
- 604字
- 2025-02-18 02:42:57
1.6 期望、方差、协方差、相关系数
1.6.1 期望
在概率论和统计学中,数学期望(简称期望或均值)等于试验中每次可能结果的概率乘以其结果的总和,用E表示。它反映随机变量平均取值的大小。
• 线性运算:

• 推广形式:

• 函数期望:设f(x)为x的函数,则f(x)的期望为
• 离散函数:

• 连续函数:

关于期望,请注意以下几点。
(1)函数的期望大于等于期望的函数(Jensen不等式),即。
(2)一般情况下,乘积的期望不等于期望的乘积。
(3)如果x和y相互独立,则。
1.6.2 方差
在概率论中,方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。方差是一种特殊的期望,用Var表示,离散型随机变量x的方差定义为:

也可表示为:

方差的性质如下:
• 常数的方差为0。
• 方差不满足线性性质。
• 如果x和y相互独立,则

1.6.3 协方差
协方差是衡量两个变量线性相关性程度及变量尺度,用Cov表示,两个随机变量x和y的协方差定义为:

方差是一种特殊的协方差。当x=y时,。
协方差的性质如下。
(1)独立变量的协方差为0。
(2)协方差的计算公式为:

(3)特殊情况下,利用方差及协方差的性质可证得:

1.6.4 相关系数
相关系数是研究变量之间线性相关程度的量,用Corr表示。两个随机变量x和y的相关系数定义为:

相关系数的性质如下。
(1)有界性。相关系数的取值范围是[-1,1],可以看成无量纲的协方差。
(2)相关系数的值越接近1,说明两个变量正相关性(线性)越强;越接近-1,说明负相关性越强;当值为0时,表示两个变量没有相关性。