Как стать автором
Обновить

Конспект по «Машинному обучению». Теория вероятностей. Формула Байеса

Теория вероятностей. Формула Байеса


Пусть проводится некоторый эксперимент.
$inline$w_1, ..., w_N$inline$ — элементарные события (элементарные исходы эксперимента).
$inline$\Omega = \{w_i\}_{i =1}^N$inline$ — пространство элементарных событий (совокупность всевозможных элементарных исходов эксперимента).

Определение 1:

Система множеств $inline$\Sigma$inline$ называется сигма-алгеброй, если выполняются следующие свойства:

  1. $inline$\Omega \in \Sigma;$inline$
  2. $inline$A \in \Sigma \Rightarrow \overline{A} \in \Sigma;$inline$
  3. $inline$A_1, A_2,… \in \Sigma \Rightarrow \bigcup\limits_{i=1}^\infty A_i \in \Sigma.$inline$

Из свойств 1 и 2 определения 1 следует, что $inline$\emptyset \in \Sigma$inline$. Из свойств 2 и 3 определения 1 следует, что $inline$\bigcap\limits_{i=1}^\infty A_i \in \Sigma\space($inline$ т.к. $inline$A_i \in \Sigma \Rightarrow_{св.2} \overline{A_i} \in \Sigma \Rightarrow_{св.3} \bigcup\limits_{i=1}^\infty \overline{A_i} \in \Sigma \Rightarrow_{св.2} \\ \Rightarrow_{св.2} \overline{\bigcup\limits_{i=1}^\infty \overline{A_i}} \in \Sigma \Rightarrow \bigcap\limits_{i=1}^\infty A_i \in \Sigma).$inline$

Определение 2:

  • $inline$A$inline$ — событие $inline$\forall A \in \Sigma;$inline$
  • $inline$P\colon \Sigma \to \mathbb R $inline$ — вероятностная мера (вероятность), если:
    1. $inline$P(\Sigma) = 1;$inline$
    2. $inline$\forall A \in \Sigma \space\space P(A) \geqslant 0;$inline$
    3. $inline$\{A_i\}_{i=1}^\infty, \space A_i \in \Sigma, \space A_i \cap A_j = \emptyset$inline$ при $inline$i \not= j \Rightarrow P(\bigcup\limits_{i=1}^\infty A_i) = \sum\limits_{i=1}^\infty P(A_i).$inline$

Свойства вероятности:

  1. $inline$P(A) \leqslant 1;$inline$
  2. $inline$P(A) = 1-P(\overline{A});$inline$
  3. $inline$P(\emptyset) = 0;$inline$
  4. $inline$A \subseteq B \Rightarrow P(A) \leqslant P(B);$inline$
  5. $inline$P(A \cup B) = P(A) + P(B)-P(A \cap B);$inline$
  6. $inline$\forall \{A_i\}_{i=1}^N \\ \space\space P(\bigcup\limits_{i=1}^N A_i) = \sum\limits_{i=1}^NP(A_i)-\sum\limits_{i < j} P(A_i \cap A_j) + \sum\limits_{i < j < k}P(A_i \cap A_j \cap A_k)-… +\\+ (-1)^{n-1}P(A_1 \cap A_2 \cap… \cap A_n);$inline$
  7. $inline$\forall \{A_i\}_{i=1}^\infty\colon( A_{i+1} \subseteq A_i,\space \bigcap\limits_{i=1}^\infty A_i = \emptyset) \space\space\space \lim\limits_{i \to \infty}P(A_i) = 0.$inline$

Определение 3:

$inline$(\Omega, \Sigma, P)$inline$ — вероятностное пространство.

Определение 4:
$inline$\forall A,B \in \Sigma: P(B) > 0 $inline$
$inline$\qquad P(A|B) = \frac{P(AB)}{P(B)}$inline$ — условная вероятность события $inline$A$inline$ при условии события $inline$B$inline$.

Определение 5:

Пусть для $inline$\{A_i\}_{i=1}^N$inline$, где $inline$\forall i \in \overline{1,N} A_i \in \Sigma$inline$, выполняется $inline$\forall i,j \in \overline {1,N} \space A_i \cap A_j = \emptyset$inline$ и $inline$\bigcup\limits_{i=1}^N A_i = \Omega$inline$. Тогда $inline$\{A_i\}_{i=1}^N$inline$ называется разбиением пространства элементарных событий.

Теорема 1 (формула полной вероятности):

$inline$\{A_i\}_{i=1}^N$inline$ — разбиение пространства элементарных событий, $inline$\forall i \in \overline{1,N} \space P(A_i) > 0$inline$.
Тогда $inline$\forall B \in \Sigma \quad P(B) = \sum\limits_{i=1}^NP(B|A_i)P(A_i)$inline$.

Теорема 2 (формула Байеса):

$inline$\{A_i\}_{i=1}^N$inline$ — разбиение пространства элементарных событий, $inline$\forall i \in \overline{1,N} \space P(A_i) > 0$inline$.

Тогда $inline$\forall B \in \Sigma\colon P(B) > 0 \quad P(A_i|B) = \frac{P(B|A_i)P(A_i)}{\sum\limits_{i=1}^N P(B|A_i)P(A_i)}$inline$.
Теги:
Хабы:
Данная статья не подлежит комментированию, поскольку её автор ещё не является полноправным участником сообщества. Вы сможете связаться с автором только после того, как он получит приглашение от кого-либо из участников сообщества. До этого момента его username будет скрыт псевдонимом.