马尔可夫过程内容完善

概率论/---马尔可夫链---.md

@@ -9,5 +9,5 @@ finished: false
 chapter: 12
 ---
 - [[马尔可夫过程]]
-- 多步转移概率的确定
+- [[多步转移概率的确定]]
 - 遍历性

概率论/多步转移概率的确定.md

@@ -0,0 +1,76 @@
+---
+tags:
+  - 数学
+dlink:
+  - "[[--概率论--]]"
+---
+## 多步转移概率的确定
+
+### 引言
+在马尔可夫过程和其他随机过程的研究中，转移概率是一个重要的概念。多步转移概率（multi-step transition probability）描述了系统从一个状态转移到另一个状态所需的多个步骤的概率。在实际应用中，这种概率常用于系统建模、预测和决策分析等领域。
+
+### 定义
+设有马尔可夫链 $(X_n)$，其状态空间为 $S$，转移概率由 $P_{ij}$ 表示，即从状态 $i$ 转移到状态 $j$ 的概率。多步转移概率 $P^{(n)}_{ij}$ 定义为在 $n$ 步内，从状态 $i$ 到状态 $j$ 的转移概率：
+
+$$
+P^{(n)}_{ij} = P(X_n = j | X_0 = i)
+$$
+
+### 计算方法
+多步转移概率可以通过单步转移概率的矩阵乘法来计算。设转移矩阵为 $P = [P_{ij}]$，则：
+
+$$
+P^{(1)} = P
+$$
+$$
+P^{(2)} = P \cdot P
+$$
+$$
+P^{(n)} = P^{(n-1)} \cdot P
+$$
+
+通过重复上述过程，可以得到任意步数的多步转移概率。
+
+### 示例
+假设有一个简单的马尔可夫链，其状态空间为 $\{A, B, C\}$，对应的单步转移矩阵为：
+
+$$
+P = \begin{pmatrix}
+0.5 & 0.3 & 0.2 \\
+0.4 & 0.4 & 0.2 \\
+0.1 & 0.6 & 0.3 
+\end{pmatrix}
+$$
+
+要计算从状态 $A$ 到状态 $C$ 的两步转移概率 $P^{(2)}_{AC}$，我们首先计算矩阵平方：
+
+1. **计算 $P^2 = P \cdot P$**
+
+   $$
+P^2 = \begin{pmatrix}
+0.5 & 0.3 & 0.2 \\
+0.4 & 0.4 & 0.2 \\
+0.1 & 0.6 & 0.3 
+\end{pmatrix} \cdot \begin{pmatrix}
+0.5 & 0.3 & 0.2 \\
+0.4 & 0.4 & 0.2 \\
+0.1 & 0.6 & 0.3 
+\end{pmatrix}
+$$
+
+我们逐行计算矩阵乘法的结果：
+
+- 第一行：
+    - 第一个元素：$(0.5 \times 0.5) + (0.3 \times 0.4) + (0.2 \times 0.1) = 0.25 + 0.12 + 0.02 = 0.39$
+    - 第二个元素：$(0.5 \times 0.3) + (0.3 \times 0.4) + (0.2 \times 0.6) = 0.15 + 0.12 + 0.12 = 0.39$
+    - 第三个元素：$(0.5 \times ० .2) + (० .3 × .२ )+ (० .2 × .३ )=０ .１+０ .０６+０ .０６=０ .１２$
+
+- 第二行：
+    - 第一个元素：$(۰ .۴ ×۰ .۵)+(۰ .４ ×۰ .۴)+(۰ .２ ×۰ .１)=０ .２０+۰ .۱۶+۰ .０２=０．３８$
+    - 第二个元素：$(۰．４×۰．３)+(０．４×۰．４)+(۰．２×०．६)=०．１２+०．１６+०．１２=०．४○$
+    - 第三个元素：$（٠٫٤×٠٫٢）+(٠٫٤×٠٫２)+(٠٫٢×٠٫٣）=٠٫٠８+٠٫٠٨+٠٫٠６=〇。〇₂$
+
+- 第三行：
+    - 第一个元素：。。。
+
+

概率论/马尔可夫过程.md

@@ -3,137 +3,66 @@ tags:
   - 数学
 dlink:
   - "[[---马尔可夫链---]]"
+finished: false
 ---
 在一个时间演变过程中，由时间$t_0$系统或过程所处的状态，可以决定系统或过程在时刻$t>t_0$所处的状态，而无需借助于$t_0$前的历史信息。未来的状态仅依赖于当前状态，而不依赖于过去状态。
-## 概率分布
-
-
-## GPT-4o
-### 马尔可夫过程的描述
-**马尔可夫过程（Markov Process）** 是一种随机过程，其特征在于未来状态只依赖于当前状态，与过去的状态无关。这种特性称为 **马尔可夫性质**。数学上，它的定义可以表示为：
 $$P(X_{t+1} = x_{t+1} | X_t = x_t, X_{t-1} = x_{t-1}, \dots, X_0 = x_0) = P(X_{t+1} = x_{t+1} | X_t = x_t)$$
 其中：
 - $X_t$ 是随机变量，表示时间 $t$ 时的状态。
+- $x$ 表示随机变量 $X$ 可能取的某个具体的值
 - $P(\cdot)$ 是条件概率。
-- 马尔可夫性质说明，给定当前状态 $X_t$，未来状态 $X_{t+1}$ 的概率分布与过去状态无关。
-马尔可夫过程可以是离散时间或连续时间的，并且状态空间可以是离散的或连续的。
-### 马尔可夫过程的组成要素
-1. **状态空间（State Space）**：可能的状态的集合，记为 $\mathcal{S}$。
-    - 离散状态空间：例如 $\mathcal{S} = {1, 2, 3}$。
-    - 连续状态空间：例如 $\mathcal{S} = \mathbb{R}$。
-2. **转移概率（Transition Probability）**：
-    - 离散状态下的转移概率矩阵 $P$：$P(X_{t+1} = j | X_t = i), \quad i, j \in \mathcal{S}$ 
-    $P_{ij}$ 表示从状态 $i$ 转移到状态 $j$ 的概率。
-	 连续状态下的转移概率密度 $p(x'|x)$： p(x′∣x)=P(Xt+1∈dx′∣Xt=x)p(x'|x) = P(X_{t+1} \in dx' | X_t = x)
-3. **初始分布（Initial Distribution）**： 在时间 $t=0$ 时，随机变量 $X_0$ 的概率分布：
-
-    P(X0=x)=π(x),x∈SP(X_0 = x) = \pi(x), \quad x \in \mathcal{S}
-
-    $\pi(x)$ 是初始状态的概率。
-
+
+马尔可夫性质说明，给定当前状态 $X_t$，未来状态 $X_{t+1}$ 的概率分布与过去状态无关。
+
 ### 概率分布
-在马尔可夫过程中，**概率分布** 通常指的是随机变量 $X_t$ 在任意时刻 $t$ 的分布，以及它在转移过程中遵循的规律。
-1. **状态分布**： 在时间 $t$ 时，状态的概率分布为：   $$P(X_t = x), \quad x \in \mathcal{S}$$    记作 $\mathbf{p}_t$，它是一个状态空间上的概率向量。
-
-2. **转移概率分布**：
-
-    - 离散状态的转移概率矩阵 $P$ 用来描述从状态 $i$ 到状态 $j$ 的概率。它满足以下性质： ∑j∈SPij=1,∀i∈S\sum_{j \in \mathcal{S}} P_{ij} = 1, \quad \forall i \in \mathcal{S}
-    - 连续状态下，转移概率由条件概率密度 $p(x'|x)$ 描述。
-3. **稳态分布（Stationary Distribution）**： 如果存在一个分布 $\pi$，满足：
-
-    πP=π\pi P = \pi
-
-    那么 $\pi$ 就是稳态分布，表示系统长期运行后达到的状态分布。
-
-### 马尔可夫过程的特性
-1. **一步转移概率**：
-
-    P(Xt+1=j∣Xt=i)=PijP(X_{t+1} = j | X_t = i) = P_{ij}
-2. **多步转移概率**： 经过 $n$ 步从状态 $i$ 转移到状态 $j$ 的概率为：
-
-    Pij(n)=P(Xt+n=j∣Xt=i)P^{(n)}_{ij} = P(X_{t+n} = j | X_t = i)
-
-    多步转移概率可以通过转移概率矩阵的幂计算：
-
-    P(n)=PnP^{(n)} = P^n
-3. **时间平稳性**（如果适用）： 如果马尔可夫过程是时间齐次的（Homogeneous Markov Process），则转移概率与具体时间 $t$ 无关：
-
-    P(Xt+1=j∣Xt=i)=P(X1=j∣X0=i)P(X_{t+1} = j | X_t = i) = P(X_1 = j | X_0 = i)
-### 应用场景
-- **离散马尔可夫链**：用于建模序列数据，如天气状态（晴、雨）、排队系统等。
-- **连续马尔可夫过程**：用于描述物理系统，如布朗运动、随机游走。
-- **隐马尔可夫模型（HMM）**：广泛应用于语音识别、自然语言处理等领域。
-总结来说，马尔可夫过程通过其转移概率分布和初始状态描述随机现象的动态演变过程，是分析时间相关的随机行为的重要工具。
+现在用分布函数来表述马尔可夫性。设随机过程$\{X(t),t\in T\}$的状态空间为S，如果对时间t但任意n个数值$t_1<t_2<\cdots<t_n$, $n\geq3$. $t_i\in T$，在条件$X(t_i)=x_i$, $x_i\in S$, $i=1,2,\cdots,n-1$下，$X(t_n)$的条件分布函数恰等于在条件$X(t_{n-1})＝x_{n-1}$下的条件分布函数，即
+$$P\{X(t_n)\leq x_n|X(t_1)=x_1,X(t_2)=x_2,\cdots,X(t_{n-1})=x_{n-1}\}=P\{X(t_n)\leq x_n|X(t_{n-1})=x_{n-1}\}$$
+, $x_n\in R$。或写成$$F_{t_n|t_1,\cdots t_{n-1}}(x_n,t_n|x_1,x_2,\cdots,x_{n-1};t_1,t_2,\cdots,t_{n-1})=F_{t_n|t_{n-1}(x_n,t_n|x_{n-1},t_{n-1})}$$
+则过程$\{X(t),t\in T\}$具有马尔可夫性或无后效性，并称此过程为马尔可夫过程。
+由于时间t与状态x都是离散的，且可以一一对应，上式可以简写为：
+$$F_{t_n | t_1, \dots, t_{n-1}}(x_n | x_1, \dots, x_{n-1}) = F_{t_n | t_{n-1}}(x_n | x_{n-1})$$
 
+> [!NOTE]  
+> 上面的公式看起来复杂，实际上核心性质就是一条：
+> $n-1$之前的时间$t_i$下的状态$x_i$对当前时间的状态$x_n$没有影响，去掉也无所谓。
 
----
-### 马尔可夫过程的定义和描述
-**马尔可夫过程（Markov Process）** 是一种随机过程，其基本特征是未来状态仅依赖于当前状态，与过去状态无关。这种特性被称为 **马尔可夫性质**。
-$$
-P(X_{t+1} = x_{t+1} \mid X_t = x_t, X_{t-1} = x_{t-1}, \dots, X_0 = x_0) = P(X_{t+1} = x_{t+1} \mid X_t = x_t)
+马尔可夫过程可以是离散时间或连续时间的，并且状态空间可以是离散的或连续的。
+[[泊松过程]]: 时间连续，状态离散的马尔可夫过程
+[[维纳过程]]: 时间和状态都连续的马尔可夫过程
+[[马尔可夫链]]: 状态和时间都离散的马尔可夫过程都是马尔可夫链
+
+### 转移概率
+对于齐次马尔可夫链，转移概率定义为：
+$$P(X_{t+1} = x_{t+1} | X_t = x_t) = p_{x_t, x_{t+1}}$$
+其中，$p_{x_t, x_{t+1}}$表示从状态$x_t$转移到状态$x_{t+1}$的概率。
+#### $n$步转移概率
+经过$n$步后从状态$x_i$到状态$x_j$的概率为：
+$$P^n(i, j) = P(X_{t+n} = x_j | X_t = x_i)$$
+### 转移矩阵
+一步转移概率组成的矩阵为：
+$$P = 
+\begin{bmatrix}
+p_{1,1} & p_{1,2} & \cdots & p_{1,n} \\
+p_{2,1} & p_{2,2} & \cdots & p_{2,n} \\
+\vdots & \vdots & \ddots & \vdots \\
+p_{n,1} & p_{n,2} & \cdots & p_{n,n}
+\end{bmatrix}
 $$
-其中：
-- $X_t$ 是时间 $t$ 时的随机变量，表示系统状态。
-- $P$ 是条件概率。
-这种性质表明，随机过程在任意时刻的行为，只取决于当前状态，而与历史无关。
----
-### 马尔可夫过程的组成要素
-1. **状态空间（State Space）**：可能的状态集合，记为 $S$。
-
-
-    $$S = \{s_1, s_2, \dots, s_n\} \quad \text{(离散状态空间)}$$
-    $$
-    S = \mathbb{R} \quad \text{(连续状态空间)}
-    $$
-
-
-2. **转移概率（Transition Probability）**：
-
-    - 离散状态：
-
-
-        $$P_{ij} = P(X_{t+1} = j \mid X_t = i), \quad i, j \in S$$
-
-
-    - 连续状态：
-
-
-        $$p(x' \mid x) = P(X_{t+1} \in dx' \mid X_t = x)$$
-
-
-3. **初始分布（Initial Distribution）**： 在时间 $t=0$ 时，状态的分布：
-
-
-    $$P(X_0 = x) = \pi(x), \quad x \in S$$
-
-
----
-### 重要性质
-1. **一步转移概率**：
-
-
-    $$P(X_{t+1} = j \mid X_t = i) = P_{ij}$$
-
-
-2. **多步转移概率**：
-
-
-    $$P^{(n)}_{ij} = P(X_{t+n} = j \mid X_t = i)$$
-    $$
-    P^{(n)} = P^n \quad \text{(通过转移矩阵的幂计算多步概率)}
-    $$
-
-
-3. **稳态分布（Stationary Distribution）**： 如果存在一个分布 $\pi$ 满足：
-
-
-    $$\pi P = \pi$$
-
-
-    则 $\pi$ 为稳态分布，描述系统的长期状态分布。
-
----
-### 应用场景
-- **离散马尔可夫链**：适用于天气预测、排队系统建模。
-- **连续马尔可夫过程**：用于物理中的布朗运动、金融中的股票价格建模。
-如果需要更详细的讨论或扩展到具体应用，可以继续提出问题！
+其中，$P^n$为$n$步转移概率矩阵。一步转移概率矩阵是重点讨论对象。
+
+### 多步转移概率 
+经过 $n$ 步从状态 $i$ 转移到状态 $j$ 的概率为：
+$$P^{(n)}_{ij} = P(X_{t+n} = j | X_t = i)$$
+多步转移概率可以通过转移概率矩阵的幂计算：$P^{(n)} = P^n$
+
+
+### 时间平稳性
+如果马尔可夫过程是时间齐次的（Homogeneous Markov Process），则转移概率与具体时间 $t$ 无关：$P(X_{t+1} = j | X_t = i) = P(X_1 = j | X_0 = i)$
+
+
+### 初始分布
+在时间 $t=0$ 时，随机变量 $X_0$ 的概率分布：
+$$P(X_0 = x) = \pi(x), \quad x \in \mathcal{S}$$
+其中
+- $\pi(x)$ 是初始状态的概率
+- $\mathcal{S}$：状态空间（State Space），所有可能的状态的集合 

概率论/马尔可夫链.md

@@ -0,0 +1,14 @@
+---
+tags:
+  - 数学
+dlink:
+  - "[[---马尔可夫链---]]"
+---
+当[[马尔可夫过程]]的状态空间和时间都离散时，称为马尔可夫链。假设有一个有限的状态集合 $S = \{s_1, s_2, \ldots, s_n\}$，其转移概率矩阵为 $P$，其中 $P_{ij} = P(X_{t+1} = s_j | X_t = s_i)$ 表示从状态 $s_i$ 转移到状态 $s_j$ 的概率。
+
+### 平稳分布
+在某些条件下，马尔可夫链会趋向于一个平稳分布（stationary distribution），即存在一个概率分布 $\pi$，使得：
+$$
+\pi P = \pi
+$$
+这表明，在平稳分布下，系统在长时间运行后，其状态分布不再变化。