vault backup: 2025-02-15 01:17:09

Other/数学分类/学校学科分类.md

@@ -37,7 +37,7 @@
         - [[---假设检验---]]
         - [[方差分析及回归]]
         - [[bootstrap方法]]
-        - [[---随机过程及统计描述---]]
+        - [[---随机过程---]]
         - [[---马尔可夫链---]]
         - [[平稳随机过程]]
 - [[-高等数学进阶-]]

Other/说明/仓库文件结构.md

@@ -55,7 +55,7 @@ dlink: [[不定积分]]
 
 ### 3. 标题与结构
 
-复杂概念建议包含以下部分（可根据内容调整）
+复杂概念建议一级标题留空或使用, 使用以下二级标题表示不同部分（可根据内容选择）: 
 - **简介**：引用相关词条，或直接使用文档名作为一级标题。
 - **定义**：明确概念和公式, 可引用相关词条。
 - **推导**：展示逻辑推导过程

README.md

@@ -42,7 +42,7 @@
 		8. [假设检验](概率论/假设检验/---假设检验---.md)
 		9. [方差分析及回](概率论/方差分析及回归)
 		10. [bootstrap方法](概率论/bootstrap方法.md)
-		11. [随机过程及统计描述](概率论/---随机过程及统计描述---.md)
+		11. [随机过程及统计描述](---随机过程---.md)
 		12. [马尔可夫链](概率论/---马尔可夫链---.md)
 		13. [平稳随机过程](概率论/平稳随机过程.md)
 - [高等数学进阶](Other/-高等数学进阶-.md) (本库的补充)

概率论/--概率论--.md

@@ -18,7 +18,7 @@ author:
 8. [[---假设检验---]]
 9. [[方差分析及回归]]
 10. [[bootstrap方法]]
-11. [[---随机过程及统计描述---]]
+11. [[---随机过程---]]
 12. [[---马尔可夫链---]]
 13. [[平稳随机过程]]
 # 目录-dataview

概率论/平稳随机过程/---平稳随机过程---.md

@@ -0,0 +1,14 @@
+---
+tags:
+  - 数学
+dlink:
+  - "[[--概率论--]]"
+author:
+  - Cyletix
+finished: false
+chapter: 13
+---
+- [[平稳随机过程的概念]]
+- [[各态历经性]]
+- [[相关函数]]
+- [[平稳随机过程的功率谱密度]]

概率论/平稳随机过程/平稳随机过程的功率谱密度.md

@@ -0,0 +1,67 @@
+---
+tags:
+  - 数学
+dlink:
+  - "[[--概率论--]]"
+author:
+  - PaulSun
+---
+考虑宽平稳随机过程 $X\left(t\right)$ 的 Fourier 展开
+$$X\left(t\right)=\dfrac1{2\pi}\sum^{+\infty}_{k=-\infty}\left(\int^{T/2}_{-T/2}X\left(s\right)\exp\left\{-j\omega_ks\right\}\,\mathrm ds\right)\exp\left\{j\omega_kt\right\}\cdot\dfrac{2\pi}{T}
+$$
+其中根据 Fourier 展开的要求，$T\to\infty$，但问题出现：
+$$\int^{+\infty}_{-\infty}\left|X\left(t\right)\right|\,\mathrm dt<\infty$$
+未必成立，即 Fourier 展开不一定存在。这宣告用 Fourier 展开对宽平稳随机过程进行谱分析的思路失败（这不意味着非宽平稳随机过程也不可以）。
+
+# 功率谱密度函数的获得
+
+为了避开如上所述的问题， Wiener 和 Khinchine 把将问题改为计算
+$$S_X\left(\omega\right)=\lim_{T\to\infty}\dfrac1T\,\mathrm E\,\left|\int^{T/2}_{-T/2}X\left(t\right)\exp\left\{-j\omega t\right\}\,\mathrm dt\right|^2$$
+计算过程如下
+$$\begin{aligned}&\;\dfrac1T\,\mathrm E\left(\int^{T/2}_{-T/2}X\left(t\right)\exp\left\{-j\omega t\right\}\,\mathrm dt\right)\overline{\left(\int^{T/2}_{-T/2}X\left(s\right)\exp\left\{-j\omega s\right\}\,\mathrm ds\right)}
+\\\\ = & \;\dfrac1T\int^{T/2}_{-T/2}\int^{T/2}_{-T/2}\mathrm E\left(X\left(t\right)\,\overline{X\left(s\right)}\right)\exp\left\{-j\omega\left(t-s\right)\right\}\,\mathrm dt\mathrm ds
+\\\\ = & \;\dfrac1T\iint R_X\left(u\right)\exp\left\{-j\omega u\right\}\,\dfrac12\,\mathrm du\mathrm dv
+\\\\ = & \;\dfrac1T\left(\int^0_{-T}\int^{u+T}_{-u-T}+\int^T_0\int^{-u+T}_{u-T}\right)\,R_X\left(u\right)\exp\left\{-j\omega u\right\}\,\dfrac12\,\mathrm dv\mathrm du
+\\\\ = & \;\dfrac1T\int^T_{-T}\int^{-\left|u\right|+T}_{\left|u\right|-T}R_X\left(u\right)\exp\left\{-j\omega u\right\}\,\dfrac12\mathrm dv\mathrm du
+\\\\ = & \;\dfrac1T\int^T_{-T}\left(T-\left|u\right|\right)\,R_X\left(u\right)\exp\left\{-j\omega u\right\}\,\mathrm du
+\\\\ = & \;\int^T_{-T}\left(1-\dfrac{\left|u\right|}T\right)\,R_X\left(u\right)\exp\left\{-j\omega u\right\}\,\mathrm du
+\\\\ = & \;\int^{+\infty}_{-\infty} R_X\left(u\right)\exp\left\{-j\omega u\right\}\,\mathrm du \ \ \left(T\to\infty\right)
+\end{aligned}$$
+
+虽然我们不能找到随机过程的 Fourier 变换，但最后结果暗示找到了随机过程的相关函数的 Fourier 变换，即前文定义的新函数 $S_X\left(\omega\right)$
+$$\begin{aligned}
+& S_X\left(\omega\right)=\int^{+\infty}_{-\infty} R_X\left(\tau\right)\exp\left\{-j\omega \tau\right\}\,\mathrm d\tau
+\\\\ & R_X\left(\tau\right)=\dfrac1{2\pi}\int^{+\infty}_{-\infty} S_X\left(\omega\right)\exp\left\{-j\omega \tau\right\}\,\mathrm d\omega
+\end{aligned}\tag1$$
+称 $S_X\left(\omega\right)$ 为功率谱密度。Bochner 定理是指：一个函数是正定函数，当且仅当它的 Fourier 变换对子恒为正数。从功率谱密度函数不难看出其恒正，那么相关函数是正定函数。
+
+> [!theorem] Wiener-Khinchine 定理
+> 任意一个宽平稳随机过程的功率谱密度是其相关函数的 Fourier 变换。
+
+
+## 性质
+
+### 性质 1
+
+从 (1) 可知
+$$\int^{+\infty}_{-\infty} S_X\left(\omega\right)\,\mathrm d\omega =2\pi R_X\left(0\right)=2\pi\mathrm E\left(X^2\left(t\right)\right)$$
+
+### 性质 2
+
+考察功率谱密度函数是否具有线性性。假设假设 $\alpha\in\mathbb R$
+$$\begin{aligned}
+S_{\alpha X}\left(\omega\right) & = \int^{+\infty}_{-\infty} R_{\alpha X}\left(\tau\right)\exp\left\{-j\omega \tau\right\}\,\mathrm d\tau
+\\\\ & = \int^{+\infty}_{-\infty} R_{\alpha X}\left(\alpha X\left(t\right),\alpha X\left(s\right)\right)\exp\left\{-j\omega \tau\right\}\,\mathrm d\tau
+\\\\ & = \int^{+\infty}_{-\infty} \mathrm E\left(\alpha X\left(t\right),\alpha X\left(s\right)\right)\exp\left\{-j\omega \tau\right\}\,\mathrm d\tau
+\\\\ & = \int^{+\infty}_{-\infty} \left|\alpha\right|^2\,\mathrm E\left(X\left(t\right),X\left(s\right)\right)\exp\left\{-j\omega \tau\right\}\,\mathrm d\tau
+\\\\ & = \int^{+\infty}_{-\infty} \left|\alpha\right|^2\,R_{X}\left(\tau\right)\exp\left\{-j\omega \tau\right\}\,\mathrm d\tau
+\\\\ & = \left|\alpha\right|^2\,S_X\left(\omega\right)
+\end{aligned}$$
+结果不满足 $S_{\alpha X}\left(\omega\right)=\alpha S_X\left(\omega\right)$，所以功率谱密度没有线性性。
+
+### 性质 3
+
+对功率谱密度的 Fourier 变换表达式使用欧拉公式
+$$\begin{aligned}S_X\left(\omega\right) & =\int^{+\infty}_{-\infty}R_X\left(\tau\right)\,\cos\left(-\omega \tau\right)\,\mathrm d\tau+j\int^{+\infty}_{-\infty}R_X\left(\tau\right)\,\sin\left(-\omega \tau\right)\,\mathrm d\tau\\\\&=\int^{+\infty}_{-\infty}R_X\left(\tau\right)\,\cos\left(\omega \tau\right)\,\mathrm d\tau+0=S_X\left(-\omega\right)\end{aligned}$$
+可见功率谱密度函数是偶函数。并且在该推导基础上，相关函数的 Fourier 变换表达式简化为
+$$R_X\left(\tau\right)=\dfrac1{2\pi}\int^{+\infty}_{-\infty}S_X\left(\omega\right)\,\cos\left(\omega\tau\right)\,\mathrm d\omega$$

概率论/平稳随机过程/平稳随机过程的概念.md

@@ -0,0 +1,65 @@
+---
+tags:
+  - 数学
+dlink:
+  - "[[--概率论--]]"
+author:
+  - PaulSun
+---
+如果随机过程的某一种性质不随下角标（时间）变化而变化，则称随机过程具有该性质的平稳性。
+
+众多平稳性是根据相关函数来建立的，所以有必要先介绍相关函数的定义。
+
+### 相关函数
+
+相关函数是两个时刻的函数，其为两时刻随机变量的相关性，写作
+$$R\left(t,s\right)=\mathrm E\left[X\left(t\right),X\left(s\right)\right]$$
+务必注意相关函数不是由协方差来定义的，上式与协方差的表达式不同。
+
+还有许多根据相关性定义出的相关函数，例如相关系数、互相关函数。我们这里研究的是 “自相关函数”，即随机过程自身在不同时刻的相关性。
+
+###  宽平稳
+
+> [!definition] 定义 - 宽平稳
+> 随机过程  $X\left(t\right)$ 是宽平稳的，如果对于任意时刻 $t$ 和 $s$，以及任意时长 $T$，有
+> $$R\left(t+T,s+T\right)=R\left(t,s\right)$$
+
+宽平稳是相关函数具有稳定性的平稳，它是随机过程中最重要的平稳性，是研究出发的基石。根据宽平稳的定义，其暗示我们：随机过程中两个时刻随机变量的相关性只依赖于时刻的相对位置，从此衍生第二种定义
+$$R\left(t,s\right)=R\left(t-s\right)=:R\left(\tau\right)$$
+通常在证明一个随机过程具有宽平稳性质时，目标就是得到第二种定义的表达式。以下用 “相位调频” 为例，说明在证明中如何得到 $R\left(t-s\right)$。
+
+假设随机过程 $X\left(t\right)=\cos\left(2\pi f_0t+\theta\right)$，其中 $\theta\sim U\left(0,2\pi\right)$。计算一阶矩
+$$\mathrm E\left(X\left(t\right)\right)=\dfrac1{2\pi}\displaystyle\int^{2\pi}_0\cos\left(2\pi f_0t+\theta\right)\,\mathrm d\theta=0$$
+计算相关函数
+$$\begin{aligned}R\left(t,s\right)&=\mathrm E\left(X\left(t\right)\,X\left(s\right)\right)=\dfrac1{2\pi}\displaystyle\int^{2\pi}_0\cos\left(2\pi\,f_0t+\theta\right)\,\cos\left(2\pi f_0s+\theta\right)\,\mathrm d\theta
+\\\\ & =\dfrac1{4\pi}\displaystyle\int^{2\pi}_0\cos\left(2\pi f_0\left(t+s\right)+2\theta\right)+\cos\left(2\pi f_0\left(t-s\right)\right)\,\mathrm d\theta
+\\\\ & = \dfrac12\cos\left(2\pi f_0\left(t-s\right)\right)=R\left(t-s\right)
+\end{aligned}
+$$
+
+### 严平稳
+
+> [!definition] 定义 - 严平稳
+> 随机过程  $X\left(t\right)$ 是严平稳的，如果对于任意时刻 $t_1,t_2,\dots,t_n$ 及所有时间长 $T$，以下两个随机向量服从相同联合分布
+> $$\begin{array}c\left[X\left(t_1\right),X\left(t_2\right),\dots,X\left(t_n\right)\right]^T\\\\\left[X\left(t_1+T\right),X\left(t_2+T\right),\dots,X\left(t_n+T\right)\right]^T\end{array}$$
+
+显然，独立同分布的随机过程是宽平稳的。因为这个性质太严格，所以在研究中较少用到。
+
+### 循环平稳
+
+> [!definition] 定义 - 循环平稳
+> 随机过程  $X\left(t\right)$ 是循环平稳的，如果对于任意时刻 $t$ 和 $s$，存在时长 $T$，有
+> $$R\left(t+T,s+T\right)=R\left(t,s\right)$$
+
+如果说宽平稳的相关函数像一条平稳的线，那么循环平稳的相关函数则像正弦函数上下波动。考虑有没有什么办法让正弦函数被压成一条线呢？从技术上是有的，可以加入一个与之对冲的随机变量，把循环平稳随机过程处理成宽平稳随机过程，这是常见的手法。
+
+### 增量平稳
+
+> [!definition] 定义 - 增量平稳
+> 随机过程  $X\left(t\right)$ 是增量平稳的，如果增量服从时间差的分布函数，即
+> $$X\left(t\right)-X\left(s\right)\sim F\left(t-s\right)$$
+
+常见的增量平稳过程有布朗运动
+$$B\left(t\right)-B\left(s\right)\sim \mathrm{N}\left(t-s\right)$$
+和泊松过程
+$$N\left(t\right)-N\left(s\right)\sim\mathrm{Poisson}\left(t-s\right)$$

概率论/平稳随机过程/相关函数.md

@@ -0,0 +1,79 @@
+---
+tags:
+  - 数学
+dlink:
+  - "[[---平稳随机过程---]]"
+author:
+  - PaulSun
+---
+相关函数我们主要研究的是宽平稳随机过程的相关函数，即能被记作 $R\left(t-s\right)$ 或 $R\left(\tau\right)$ 的相关函数，这样的相关函数具有五条基本性质和正定性。
+
+# 基本性质
+
+> [!property] 相关函数的五条基本性质
+> 1. $R\left(0\right)\ge0$，即 $R\left(t,t\right)\ge0$
+> 2. $R\left(\tau\right)=R\left(-\tau\right)$，即 $R\left(t,s\right)=R\left(s,t\right)$
+> 3. $\left|R\left(\tau\right)\right|\le R\left(0\right)$
+> 4. 存在 $\tau$，使得 $R\left(\tau\right)=R\left(0\right)$，那么对于任意 $t$，$R\left(t+\tau\right)=R\left(t\right)$
+> 5. 如果 $R\left(\tau\right)$ 在 $\tau=0$ 连续，那么 $R\left(\tau\right)$ 在定义域内连续
+
+前两条性质是符合直觉的基础性质。性质 3 说明 $\tau=0$ 处相关函数取得全局最大值，在邻域 $B\left(0,\delta\right)$ 内，相关函数先增后减。但相关函数在定义域内并非一定先增后减，例如 $\left(\delta,+\infty\right)$ 内可以为非单调函数。如果在 $\left(\delta,+\infty\right)$ 的子区间内相关函数递增，且函数值达到 $R\left(0\right)$，那么相关函数一定是周期函数，这由性质 4 保证。
+
+### 证明 - 性质 3
+
+根据 Cauchy-Schwarz 不等式有
+$$\left| R\left( \tau \right) \right|=\left| \mathrm{E}\left( X\left( t \right) \,X\left( t+\tau \right) \right) \right|\le \left( \mathrm{E}X^2\left( t \right) \,\mathrm{E}X^2\left( t+\tau \right) \right) ^{1/2}
+$$
+其中
+$$\begin{aligned}&\mathrm EX^2\left(t\right)=\mathrm E\left(X\left(t\right)\,X\left(t\right)\right)=R\left(t,t\right)=R\left(0\right)\\\\&\mathrm EX^2\left(t+\tau\right)=\mathrm E\left(X\left(t+\tau\right)\,X\left(t+\tau\right)\right)=R\left(0\right)\end{aligned}
+$$
+因此
+$$
+\left| R\left( \tau \right) \right|\le \left( \mathrm{E}X^2\left( t \right) \,\mathrm{E}X^2\left( t+\tau \right) \right) ^{1/2}=\left(R^2\left(0\right)\right)^{1/2}=R\left(0\right)
+$$
+
+### 证明 - 性质 4
+
+考虑一个新式子
+$$\begin{aligned}
+\mathrm E\,\left|X\left(t\right)-X\left(t+\tau\right)\right|^2
+& = \mathrm E\left(X^2\left(t\right)+X^2\left(t+\tau\right)-2X\left(t\right)\,X\left(t+\tau\right)\right)
+\\\\ & = R\left(0\right)+R\left(0\right)-2R\left(\tau\right)=0
+\end{aligned}$$
+其中使用了 $R\left(\tau\right)=R\left(0\right)$ 的条件
+$$\begin{aligned}
+	\left| R\left( t \right) -R\left( t+\tau \right) \right|&=\left| \mathrm{E}\left( X\left( 0 \right) \,X\left( t \right) \right) -\mathrm{E}\left( X\left( 0 \right) \,X\left( t+\tau \right) \right) \right|\\\\
+	&=\left| \mathrm{E}\left( X\left( 0 \right) \left( X\left( t \right) -X\left( t+\tau \right) \right) \right) \right|\\\\
+	&\le \left( \mathrm{E}\left( X^2\left( 0 \right) \right) \,{\mathrm{E}\left( X\left( t \right) -X\left( t+\tau \right) \right) }^2 \right) ^{1/2}
+\end{aligned}
+$$
+因此 $0\le\left| R\left( t \right) -R\left( t+\tau \right) \right|\le0$，$R\left(t\right)=R\left(t+\tau\right)$ 得证。
+
+### 证明 - 性质 5
+
+当 $\tau\to0$ 时
+$$
+\mathrm E\,\left|X\left(t\right)-X\left(t+\tau\right)\right|^2= R\left(0\right)+R\left(0\right)-2R\left(\tau\right)\to0
+$$
+后续证明同性质 (4) 的证明，此处省略。
+
+# 正定性
+
+一个函数是正定函数，如果如下形式的矩阵是正定函数
+$$
+A=\left(f\left(t_i-t_j\right)\right)_{ij}=\left[ \begin{matrix}
+	f\left( 0 \right)&		\cdots&		f\left( t_1-t_j \right)&		\cdots&		f\left( t_1-t_n \right)\\\\
+	\vdots&		&		\vdots&		&		\vdots\\\\
+	f\left( t_i-t_1 \right)&		\cdots&		f\left( t_i-t_j \right)&		\cdots&		f\left( t_i-t_n \right)\\\\
+	\vdots&		&		\vdots&		&		\vdots\\\\
+	f\left( t_n-t_1 \right)&		\cdots&		f\left( t_n-t_j \right)&		\cdots&		f\left( 0 \right)\\
+\end{matrix} \right] _{n\times n}
+$$
+
+考察宽平稳随机过程的相关函数的正定性，引入向量记号 $X=\left(X\left(t_1\right),\dots,X\left(t_n\right)\right)^T$，那么
+$$\left(R\left(t_i-t_j\right)\right)_{ij}=\left(\mathrm EX\left(t_i\right)\,\mathrm EX\left(t_j\right)\right)_{ij}=\mathrm E\left(XX^T\right)=R
+$$
+对于 $\forall\,\alpha\in\mathbb R^n$，有
+$$\alpha^TR\,\alpha=\alpha^T\,\mathrm E\left(XX^T\right)\,\alpha=\mathrm E\left(\alpha^TX\cdot\left(\alpha ^TX\right)^T\right)=\big\|\alpha^TX\big\|^2\ge0
+$$
+宽平稳随机过程的相关函数通过了正定性的验证。

概率论/随机过程的概念.md

@@ -2,7 +2,7 @@
 tags:
   - 数学
 dlink:
-  - "[[---随机过程及统计描述---]]"
+  - "[[---随机过程---]]"
 aliases:
   - Stochastic Process
 ---