Конспект по «Машинному обучению». Теория вероятностей. Формула Байеса
Ожидает приглашения
![](https://webcf.waybackmachine.org/web/20240808091750/https://habrastorage.org/webt/pm/jc/8h/pmjc8hofsf2dn_62gbswjxbyaze.jpeg)
Теория вероятностей. Формула Байеса
Пусть проводится некоторый эксперимент.
$inline$w_1, ..., w_N$inline$ — элементарные события (элементарные исходы эксперимента).
$inline$\Omega = \{w_i\}_{i =1}^N$inline$ — пространство элементарных событий (совокупность всевозможных элементарных исходов эксперимента).
Определение 1:
Система множеств $inline$\Sigma$inline$ называется сигма-алгеброй, если выполняются следующие свойства:
- $inline$\Omega \in \Sigma;$inline$
- $inline$A \in \Sigma \Rightarrow \overline{A} \in \Sigma;$inline$
- $inline$A_1, A_2,… \in \Sigma \Rightarrow \bigcup\limits_{i=1}^\infty A_i \in \Sigma.$inline$
Из свойств 1 и 2 определения 1 следует, что $inline$\emptyset \in \Sigma$inline$. Из свойств 2 и 3 определения 1 следует, что $inline$\bigcap\limits_{i=1}^\infty A_i \in \Sigma\space($inline$ т.к. $inline$A_i \in \Sigma \Rightarrow_{св.2} \overline{A_i} \in \Sigma \Rightarrow_{св.3} \bigcup\limits_{i=1}^\infty \overline{A_i} \in \Sigma \Rightarrow_{св.2} \\ \Rightarrow_{св.2} \overline{\bigcup\limits_{i=1}^\infty \overline{A_i}} \in \Sigma \Rightarrow \bigcap\limits_{i=1}^\infty A_i \in \Sigma).$inline$
Определение 2:
- $inline$A$inline$ — событие $inline$\forall A \in \Sigma;$inline$
- $inline$P\colon \Sigma \to \mathbb R $inline$ — вероятностная мера (вероятность), если:
- $inline$P(\Sigma) = 1;$inline$
- $inline$\forall A \in \Sigma \space\space P(A) \geqslant 0;$inline$
- $inline$\{A_i\}_{i=1}^\infty, \space A_i \in \Sigma, \space A_i \cap A_j = \emptyset$inline$ при $inline$i \not= j \Rightarrow P(\bigcup\limits_{i=1}^\infty A_i) = \sum\limits_{i=1}^\infty P(A_i).$inline$
Свойства вероятности:
- $inline$P(A) \leqslant 1;$inline$
- $inline$P(A) = 1-P(\overline{A});$inline$
- $inline$P(\emptyset) = 0;$inline$
- $inline$A \subseteq B \Rightarrow P(A) \leqslant P(B);$inline$
- $inline$P(A \cup B) = P(A) + P(B)-P(A \cap B);$inline$
- $inline$\forall \{A_i\}_{i=1}^N \\ \space\space P(\bigcup\limits_{i=1}^N A_i) = \sum\limits_{i=1}^NP(A_i)-\sum\limits_{i < j} P(A_i \cap A_j) + \sum\limits_{i < j < k}P(A_i \cap A_j \cap A_k)-… +\\+ (-1)^{n-1}P(A_1 \cap A_2 \cap… \cap A_n);$inline$
- $inline$\forall \{A_i\}_{i=1}^\infty\colon( A_{i+1} \subseteq A_i,\space \bigcap\limits_{i=1}^\infty A_i = \emptyset) \space\space\space \lim\limits_{i \to \infty}P(A_i) = 0.$inline$
Определение 3:
$inline$(\Omega, \Sigma, P)$inline$ — вероятностное пространство.
Определение 4:
$inline$\forall A,B \in \Sigma: P(B) > 0 $inline$
$inline$\qquad P(A|B) = \frac{P(AB)}{P(B)}$inline$ — условная вероятность события $inline$A$inline$ при условии события $inline$B$inline$.
Определение 5:
Пусть для $inline$\{A_i\}_{i=1}^N$inline$, где $inline$\forall i \in \overline{1,N} A_i \in \Sigma$inline$, выполняется $inline$\forall i,j \in \overline {1,N} \space A_i \cap A_j = \emptyset$inline$ и $inline$\bigcup\limits_{i=1}^N A_i = \Omega$inline$. Тогда $inline$\{A_i\}_{i=1}^N$inline$ называется разбиением пространства элементарных событий.
Теорема 1 (формула полной вероятности):
$inline$\{A_i\}_{i=1}^N$inline$ — разбиение пространства элементарных событий, $inline$\forall i \in \overline{1,N} \space P(A_i) > 0$inline$.
Тогда $inline$\forall B \in \Sigma \quad P(B) = \sum\limits_{i=1}^NP(B|A_i)P(A_i)$inline$.
Теорема 2 (формула Байеса):
$inline$\{A_i\}_{i=1}^N$inline$ — разбиение пространства элементарных событий, $inline$\forall i \in \overline{1,N} \space P(A_i) > 0$inline$.
Тогда $inline$\forall B \in \Sigma\colon P(B) > 0 \quad P(A_i|B) = \frac{P(B|A_i)P(A_i)}{\sum\limits_{i=1}^N P(B|A_i)P(A_i)}$inline$.