statnice:bakalar:b4b01dma

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
==== Způsoby popisu rozdělení náhodných veličin a vektorů. Odhady parametrů rozdělení. Základní statistické testy. Markovské řetězce a jejich asymptotické vlastnosti. ====

[[https://fel.cvut.cz/cz/education/bk/predmety/46/81/p4681506.html|B0B01PST]] [[https://cmp.felk.cvut.cz/~navara/stat/index.htm|Webové stránky předmětu]] [[https://math.fel.cvut.cz/en/people/heliskat/01pst2.html|Helisova stránky předmětu]]

  * **Definice pravděpodobnosti (Kolmogorovova)** – nezávislost náhodných jevů, podmíněná pravděpodobnost, Bayesova věta. Pojem náhodné veličiny, popis jejího rozdělení pomocí distribuční funkce, hustoty, pravděpodobnostní funkce. Střední hodnota, rozptyl, směrodatná odchylka, momenty náhodných veličin. Základní typy spojitých a diskrétních rozdělení.
  * **Náhodné vektory a jejich popis** – nezávislost náhodných veličin, kovariance a korelace.
  * **Čebyševova nerovnost** – centrální limitní věta.
  * **Základní pojmy statistiky** – náhodný výběr, empirické rozdělení.
  * **Obecné vlastnosti odhadů parametrů** – odhady střední hodnoty, rozptylu, směrodatné odchylky, momentů. Odhady parametrů metodou momentů a metodou maximální věrohodnosti. Intervalové odhady.
  * **Princip statistického testování hypotéz** – testy střední hodnoty a rozptylu, porovnání dvou rozdělení, $\chi^2$-test dobré shody, test nezávislosti v kontingenční tabulce.
  * **Markovovy řetězce** – základní pojmy a vlastnosti, popis přechodovým diagramem a maticí přechodu. Klasifikace stavů, periodicita, rozložitelnost. Asymptotické chování Markovových řetězců.


===== Definice pravděpodobnosti (Kolmogorovova) =====
**Definice pravděpodobnosti (Kolmogorovova)** – nezávislost náhodných jevů, podmíněná pravděpodobnost, Bayesova věta. Pojem náhodné veličiny, popis jejího rozdělení pomocí distribuční funkce, hustoty, pravděpodobnostní funkce. Střední hodnota, rozptyl, směrodatná odchylka, momenty náhodných veličin. Základní typy spojitých a diskrétních rozdělení.

<markdown>
Kolmogorovova definice pravděpodobnosti je založená na axiomech, které stanovují základní vlastnosti pravděpodobnostních jevů. Tyto axiomy jsou:
</markdown>
  * **Axiom nezápornosti**: Pravděpodobnost každého jevu je nezáporná, tj. $P(A) \geq 0$ pro každý jev A.
  * **Axiom normovanosti**: Pravděpodobnost jistého jevu (celého prostoru) je rovna 1, tj. $P(\omega) = 1$.
  * **Axiom aditivity**: Pro dva neslučitelné jevy A a B platí, že pravděpodobnost jejich sjednocení je rovna součtu jejich pravděpodobností, tj. $P(A \cup B) = P(A) + P(B)$.
==== Podmíněná pravděpodobnost ====
**Podmíněná pravděpodobnost** je pravděpodobnost jevu A za předpokladu, že nastal jev B. Definuje se jako:
$$P(A|B) = \frac{P(A \cap B)}{P(B)}, \quad P(B) > 0$$
Tato rovnice říká, že podmíněná pravděpodobnost A vzhledem k B je rovna poměru pravděpodobnosti průniku A a B k pravděpodobnosti B.

Z toho vyplývá tato identita:
$$P(A) = P(A|B)P(B) + P(A|B^c)P(B^c)$$

==== Bayesova věta ====
**Bayesova věta** je důležitý nástroj pro výpočet podmíněných pravděpodobností. Umožňuje přepočítat pravděpodobnost jevu A za předpokladu, že nastal jev B, a to pomocí následujícího vzorce:
$$
P(A|B) = \frac{P(B|A)P(A)}{P(B)}$$
Tento vzorec ukazuje, jak lze využít pravděpodobnost B vzhledem k A a apriorní pravděpodobnost A k výpočtu podmíněné pravděpodobnosti A vzhledem k B.

==== Náhodná veličina ====
Měřitelná funkce, která přiřazuje každému elementárnímu jevu reálné číslo. Jeji chování popisuje neklesající distribuční funkce $F(t) = P(X \leq t)$, kde $X$ je náhodná veličina a $t$ je reálné číslo. Distribuční funkce přiděluje každému reálnému číslu pravděpodobnost (hodnoty od 0 do 1), že náhodná veličina nabude hodnoty menší nebo rovné tomuto číslu.
Hustota pravděpodobnosti je derivací distribuční funkce, pokud existuje:
$$
f(t) = \frac{dF(t)}{dt}$$
$$ f(t) \geq 0$$
Pravděpodobnostní funkce je funkce $p_x(t) = P(X = t)$, která udává pravděpodobnost, že náhodná veličina $X$ nabude konkrétní hodnoty $t$.

=== Diskrétní náhodná veličina ===
Nabývá konečný počet hodnot, distrbuční funkce je schodová funkce, pravděpodobnostní funkce je dána jako:
$$
p(t) = P(X = t) = \sum_{i} p_i \delta(t - t_i)
$$


{{:statnice:bakalar:pasted:20250526-103518.png}}

=== Spojitá náhodná veličina ===
Nabývá nekonečný počet hodnot, distribuční funkce je spojitá a pravděpodobnostní funkce je dána jako hustota pravděpodobnosti. Ale pravděpodobnost, že náhodná veličina nabude konkrétní hodnoty, je vždy 0. Hustota pravděpodobnosti je definována jako:
$$
f(t) = \frac{dF(t)}{dt}
$$
{{:statnice:bakalar:pasted:20250526-103420.png}}
=== Smíšená náhodná veličina ===
Nabývá jak diskrétních, tak spojitých hodnot. Distribuční funkce je kombinací schodové a spojité části. Hustota pravděpodobnosti je definována jako:
$$
f(t) = \sum_{i} p_i \delta(t - t_i) + f_c(t),$$
kde $p_i$ jsou pravděpodobnosti diskrétních hodnot $t_i$ a $f_c(t)$ je hustota spojité části.

==== Střední hodnota, rozptyl a směrodatná odchylka ====
**Střední hodnota** (očekávaná hodnota) náhodné veličiny $X$ je definována jako:
$$
E(X) = \int_{-\infty}^{\infty} t f(t) dt,$$
kde $f(t)$ je hustota pravděpodobnosti pro spojitou náhodnou veličinu, nebo pro diskrétní náhodnou veličinu:
$$
E(X) = \sum_{i} t_i p_i,$$
kde $t_i$ jsou hodnoty, které náhodná veličina $X$ může nabývat, a $p_i$ jsou jejich pravděpodobnosti.
**Rozptyl** náhodné veličiny $X$ je definován jako:
$$
Var(X) = E((X - E(X))^2) = E(X^2) - (E(X))^2,$$
kde $E(X^2)$ je očekávaná hodnota druhé mocniny náhodné veličiny.
**Směrodatná odchylka** je druhá odmocnina rozptylu:
$$
\sigma(X) = \sqrt{Var(X)}$$
**Moment** náhodné veličiny $X$ je definován jako:
$$
M_k(X) = E(X^k) = \int_{-\infty}^{\infty} t^k f(t) dt,$$
pro $k = 1, 2, \ldots$
Pro diskrétní náhodnou veličinu je moment definován jako:
$$
M_k(X) = \sum_{i} t_i^k p_i,$$
kde $t_i$ jsou hodnoty, které náhodná veličina $X$ může nabývat, a $p_i$ jsou jejich pravděpodobnosti.  
==== Základní typy rozdělení ====
=== Diskrétní rozdělení ===
**Binomické rozdělení** – popisuje počet úspěchů v $n$ nezávislých Bernoulliho pokusech, kde každý pokus má pravděpodobnost úspěchu $p$. Distribuční funkce je dána jako:
$$
P(X = k) = \binom{n}{k} p^k (1 - p)^{n - k}, \quad k = 0, 1, \ldots, n$$
**Poissonovo rozdělení** – popisuje počet událostí, které nastanou v pevném časovém intervalu, pokud jsou tyto události nezávislé a nastávají s konstantní průměrnou rychlostí $\lambda$. Distribuční funkce je dána jako:
$$
P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad k = 0, 1, 2, \ldots$$
**Geometrické rozdělení** – popisuje počet pokusů potřebných k dosažení prvního úspěchu v sérii nezávislých Bernoulliho pokusů. Distribuční funkce je dána jako:
$$
P(X = k) = (1 - p)^{k - 1} p, \quad k = 1, 2, \ldots$$
**Alternativní rozdělení** – popisuje počet pokusů potřebných k dosažení prvního úspěchu v sérii nezávislých Bernoulliho pokusů, ale s různými pravděpodobnostmi úspěchu v jednotlivých pokusech. Distribuční funkce je dána jako:
$$
P(X = k) = \prod_{i=1}^{k-1} (1 - p_i) p_k, \quad k = 1, 2, \ldots$$
**Rovnoměrné rozdělení** – popisuje náhodnou veličinu, která může nabývat hodnot v intervalu $[a, b]$ s rovnoměrnou pravděpodobností. Distribuční funkce je dána jako:
$$
P(X = k) = \frac{1}{b - a + 1}, \quad k = a, a + 1, \ldots, b$$
**Hypergeometrické rozdělení** – popisuje počet úspěchů v náhodném výběru $n$ položek z populace o velikosti $N$, která obsahuje $K$ úspěšných položek. Distribuční funkce je dána jako:
$$
P(X = k) = \frac{\binom{K}{k} \binom{N - K}{n - k}}{\binom{N}{n}}, \quad k = 0, 1, \ldots, \min(K, n)$$
Napřiklad "M" losů z nichž "J" vyhrává, tak udává počet výherních losů, z výtažených "S" losů.
$$
E(x) = \frac{(J \cdot S)}{M}
$$

=== Spojitá rozdělení ===
**Rovnoměrné rozdělení** – popisuje náhodnou veličinu, která může nabývat hodnot v intervalu $[a, b]$ s rovnoměrnou pravděpodobností. Distribuční funkce je dána jako:
$$
F(x) = \begin{cases}
0, & x < a \\
\frac{x - a}{b - a}, & a \leq x < b \\
1, & x \geq b
\end{cases}
$$
Hustota je tvaru
$$
f(x) = \begin{cases}
\frac{1}{b - a}, & a < x < b \\
0, & \text{jinak}
\end{cases}
$$

**Normální rozdělení** – popisuje náhodnou veličinu, která má symetrické rozdělení kolem střední hodnoty $\mu$ a standardní odchylky $\sigma$. Distribuční funkce je dána jako:
$$
\Phi(x) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x} e^{-\frac{t^2}{2}}\,dt.
$$

Hustota je tvaru
$$
f(x) = \frac{1}{\sqrt{2 \pi}} e^{-\frac{x^2}{2}}
$$
**Exponenciální rozdělení** – popisuje čas mezi událostmi v Poissonově procesu. Distribuční funkce je dána jako:
$$
F(x) = 1 - e^{-\lambda x}, \quad x \geq 0$$
Hustota pravděpodobnosti je dána jako:
$$
f(x) = \lambda e^{-\lambda x}, \quad x \geq 0$$

===== Náhodné vektory a jejich popis =====
**Náhodné vektory a jejich popis** – nezávislost náhodných veličin, kovariance a korelace.

**Náhodný vektor** je n-rozměrný vektor $(X_1, X_2, \ldots, X_n)$, kde každá složka $X_i$ je náhodná veličina (Měřitelná funkce, která přiřazuje každému elementárnímu jevu reálné číslo) definovaná na stejném pravděpodobnostním prostoru.

Společná distribuční funkce náhodného vektoru je definována jako:
$$
F(x_1, x_2, \ldots, x_n) = P(X_1 \leq x_1, X_2 \leq x_2, \ldots, X_n \leq x_n)
$$

Pro spojitý náhodný vektor existuje společná hustota pravděpodobnosti $f(x_1, x_2, \ldots, x_n)$ taková, že:
$$
F(x_1, x_2, \ldots, x_n) = \int_{-\infty}^{x_1} \int_{-\infty}^{x_2} \cdots \int_{-\infty}^{x_n} f(t_1, t_2, \ldots, t_n) dt_1 dt_2 \cdots dt_n
$$

==== Nezávislost náhodných veličin ====
Náhodné veličiny $X_1, X_2, \ldots, X_n$ jsou **nezávislé**, pokud pro libovolné hodnoty $x_1, x_2, \ldots, x_n$ platí:
$$
F(x_1, x_2, \ldots, x_n) = F_1(x_1) \cdot F_2(x_2) \cdots F_n(x_n)
$$
kde $F_i(x_i)$ je marginální distribuční funkce náhodné veličiny $X_i$.

Pro spojité náhodné veličiny je podmínka nezávislosti ekvivalentní s:
$$
f(x_1, x_2, \ldots, x_n) = f_1(x_1) \cdot f_2(x_2) \cdots f_n(x_n)
$$

==== Kovariance a korelace ====
**Kovariance** dvou náhodných veličin $X$ a $Y$ je definována jako:
$$
\text{Cov}(X, Y) = E[(X - E(X))(Y - E(Y))] = E(XY) - E(X)E(Y)
$$
<markdown>


**Vlastnosti kovariance:**
</markdown>
  * $\text{Cov}(X, X) = Var(X)$
  * $\text{Cov}(X, Y) = \text{Cov}(Y, X)$
  * $\text{Cov}(aX + b, cY + d) = ac \cdot \text{Cov}(X, Y)$
  * $Var(X + Y) = Var(X) + Var(Y) + 2\text{Cov}(X, Y)$
<markdown>

**Korelace** je to kovariance pro normované náhodné veličiny, definovaná jako:
</markdown>
$$
\rho(X, Y) = \frac{\text{Cov}(X, Y)}{\sigma_X \sigma_Y}$$
Korelace nabývá hodnot v intervalu $[-1, 1]$ a měří sílu lineární závislosti mezi náhodnými veličinami. Pokud $\rho(X, Y) = 0$, pak jsou $X$ a $Y$ nezávislé.
$$
Var(X + Y) = Var(X) + Var(Y) + 2 \cdot \text{Cov}(X, Y)
$$
===== Čebyševova nerovnost =====
<markdown>
**Čebyševova nerovnost** – centrální limitní věta.

Čebyševova nerovnost je fundamentální výsledek v teorii pravděpodobnosti, který poskytuje horní odhad pravděpodobnosti odchylky náhodné veličiny od její střední hodnoty.

</markdown>
**Formulace:** Nechť $X$ je náhodná veličina s konečnou střední hodnotou $E(X) = \mu$ a konečným rozptylem $Var(X) = \sigma^2$. Pak pro libovolné $\epsilon > 0$ platí:
$$
P(|X - \mu| \geq \epsilon) \leq \frac{\sigma^2}{\epsilon^2}$$
<markdown>

**Ekvivalentní formulace:**
</markdown>
$$
P(|X - \mu| < \epsilon) \geq 1 - \frac{\sigma^2}{\epsilon^2}$$
<markdown>

**Interpretace:**
- Nerovnost říká, že pravděpodobnost velkých odchylek od střední hodnoty je malá
</markdown>
  * Čím menší je rozptyl $\sigma^2$, tím více se hodnoty náhodné veličiny koncentrují kolem střední hodnoty
  * Čím větší je tolerance $\epsilon$, tím větší je pravděpodobnost, že se hodnota vejde do intervalu $(\mu - \epsilon, \mu + \epsilon)$
<markdown>

**Praktický význam:**
- Poskytuje univerzální odhad platný pro všechna rozdělení s konečným rozptylem
- Je základem pro odvození zákona velkých čísel
- Používá se jako teoretické zdůvodnění pro centrální limitní větu

**Kontext k CLV:** Čebyševova nerovnost umožňuje dokázat slabý zákon velkých čísel, který je klíčovým krokem k pochopení centrální limitní věty. CLV pak zpřesňuje asymptotické chování průměrů nezávislých náhodných veličin.
</markdown>
==== Centrální limitní věta ====
<markdown>
**Centrální limitní věta (CLV)** je jedním z nejdůležitějších výsledků v teorii pravděpodobnosti. Říká, že pokud máme dostatečně velký počet nezávislých a identicky rozdělených náhodných veličin, jejich průměr se bude blížit normálnímu rozdělení bez ohledu na původní rozdělení těchto veličin.
</markdown>
**Formulace:** Nechť $X_1, X_2, \ldots, X_n$ jsou nezávislé a identicky rozdělené náhodné veličiny s konečnou střední hodnotou $\mu$ a konečným nenulovým rozptylem $\sigma^2$. Pak pro průměr těchto veličin platí:
$$
\frac{\sqrt{n}(\bar{X}_n - \mu)}{\sigma} \xrightarrow{d} N(0, 1)$$
kde $\bar{X}_n = \frac{1}{n} \sum_{i=1}^{n} X_i$ je průměrná hodnota těchto veličin a $N(0, 1)$ je standardní normální rozdělení.
<markdown>

Praktický vzorec pro CLV:
</markdown>
$$
P(X \leq x) \approx P(\text{norm}(X) \leq \frac{x - \mu}{\sigma / \sqrt{n}}) = \Phi\left(\frac{x - \mu}{\sigma / \sqrt{n}}\right),
$$
kde $\mu$ je střední hodnota, $\sigma$ je směrodatná odchylka a $\Phi$ je distribuční funkce standardního normálního rozdělení.
===== Základní pojmy statistiky =====
**Základní pojmy statistiky** – náhodný výběr, empirické rozdělení.

==== Náhodný výběr ====
Náhodnému vektoru $\mathbb{X} = (X_1, X_2, \ldots, X_n)$ nezávisle rozdělených náhodných veličin s distribuční funkcí $F_{\theta}$, která závisí na parametru $\theta$, říkáme **náhodný výběr**.
Funkce
$$
 \bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i
$$
náhodného výběru $\mathbb{X} = (X_1, X_2, \ldots, X_n)$ se nazývá **výběrový průměr** a je to odhad střední hodnoty náhodného vektoru.

$S_{n}^{2} = \frac{1}{n - 1} \sum_{i=1}^{n} (X_i - \bar{X}_n)^2$ se nazývá **výběrový rozptyl** a je to odhad rozptylu náhodného vektoru. $S_n = \sqrt{S^2_n}$ je **výběrová směrodatná odchylka**.
  * Výběrový průměr $\bar{X}_n$ a výběrový rozptyl $S^2_n$ jsou nezávislé náhodné veličiny.
  * Výběrový průměr $\bar{X}_n$ má rozdělení $N(\mu, \frac{\sigma^2}{n})$, kde $\mu$ je střední hodnota a $\sigma^2$ je rozptyl původního rozdělení.

==== Empirické rozdělení ====
Nechť $x_1, x_2, \ldots, x_n$ je realizace náhodného výběru rozsahu $n$ z nějakého rozdělení s neznámou distribuční funkcí $F(x)$.
**Empirická distribuční funkce** (ECDF) $F_n(x)$ je definována jako:
$$
F_n(x) = \frac{1}{n} \sum_{i=1}^{n} I(x_i \leq x)
$$
kde $I(A)$ je indikátorová funkce události $A$, která je rovna 1, pokud je událost $A$ pravdivá, a 0 jinak. Jinými slovy, $F_n(x)$ udává podíl pozorování v náhodném výběru, která jsou menší nebo rovna $x$.
Graf Empirické distribuční funkce je schodovitý a roste v krocích o velikosti $1/n$ v bodech, kde se nacházejí pozorované hodnoty $x_i$. Pro hodnoty mezi těmito body zůstává funkce konstantní.
Například byly naměřeny hodnoty $x_1 = 1, x_2 = 2, x_3 = 2, x_4 = 3$. Empirická distribuční funkce by byla:
<tikzjax>
\begin{document}
\begin{tikzpicture}
\draw[->] (0,0) -- (5,0) node[right] {$x$};
\draw[->] (0,0) -- (0,3.5) node[above] {$F_n(x)$};
\draw[thick] (0,0) -- (1,0) -- (1,0.75) -- (2,0.75) -- (2,2.25) -- (3,2.25) -- (3,3) -- (5,3);
\foreach \x in {1,2,3} {
  \draw[fill] (\x,{0.75*(\x==1) + 2.25*(\x==2) + 3*(\x==3)}) circle (1.5pt);
  \draw[] (\x,{0.75*(\x>1) + 2.25*(\x>2) + 3*(\x>3)}) circle (1.5pt);
}
\node[below] at (1,0) {1};
\node[below] at (2,0) {2};
\node[below] at (3,0) {3};
\node[left] at (0,0.75) {0.25};
\node[left] at (0,2.25) {0.75};
\node[left] at (0,3) {1};
\end{tikzpicture}
\end{document}
</tikzjax>
<markdown>

**Vlastnosti empirické distribuční funkce:**
</markdown>
  * Je to schodovitá funkce, která má skoky velikosti $1/n$ (nebo násobku $1/n$, pokud se některé hodnoty $x_i$ opakují) v bodech pozorovaných hodnot $x_i$.
  * Pro každé pevné $x$ je $F_n(x)$ náhodná veličina.
  * $F_n(x)$ je nestranným odhadem teoretické distribuční funkce $F(x)$, tj. $E[F_n(x)] = F(x)$.
  * Podle Glivenko-Cantelliho věty platí, že $F_n(x)$ konverguje k $F(x)$ stejnoměrně pro $n \to \infty$: $\sup_{x \in \mathbb{R}} |F_n(x) - F(x)| \xrightarrow{a.s.} 0 \quad \text{pro } n \to \infty$
<markdown>
To znamená, že s rostoucím počtem pozorování se empirická distribuční funkce stále více přibližuje skutečné distribuční funkci.

</markdown>

====== Obecné vlastnosti odhadů parametrů ======
<markdown>
Při odhadování neznámých parametrů základního souboru na základě pozorovaných dat z náhodného výběru se snažíme, aby naše odhady měly určité žádoucí vlastnosti. Tyto vlastnosti nám pomáhají posoudit kvalitu odhadu a vybrat ten nejlepší možný.
</markdown>

===== Značení =====
<markdown>
Nejprve si zavedeme značení, které se v teorii odhadu běžně používá:
</markdown>
  * $\vartheta$: Jakákoli hodnota parametru (reálné číslo). 
  * $\vartheta^*$: Skutečná (správná) hodnota parametru (reálné číslo). 
  * $\hat{\Theta}_n$: Odhad parametru založený na náhodném výběru rozsahu $n$ (toto je náhodná veličina). 
  * $\hat{\vartheta}$, $\hat{\vartheta}_n$: Realizace odhadu, tj. konkrétní hodnota odhadu získaná z dat (reálné číslo). 

===== Žádoucí vlastnosti bodových odhadů =====
<markdown>
Bodový odhad je funkce náhodného výběru, jejíž předpis nezávisí na odhadovaném parametru.  Snažíme se, aby bodové odhady měly následující vlastnosti:

1.  **Nestrannost (nevychýlenost)**:
</markdown>
    * Odhad $\hat{\Theta}_n$ se nazývá nestranný, pokud jeho střední hodnota je rovna skutečné hodnotě parametru $\vartheta^*$, tj. $E[\hat{\Theta}_n] = \vartheta^*$.  To znamená, že $E[\hat{\Theta}_n - \vartheta^*] = 0$. 
<markdown>
  * Pokud tato podmínka není splněna, odhad je **vychýlený**. 

2.  **Asymptotická nestrannost**:
</markdown>
    * Odhad $\hat{\Theta}_n$ je asymptoticky nestranný, pokud se jeho střední hodnota blíží skutečné hodnotě parametru $\vartheta^*$ s rostoucím rozsahem výběru $n$, tj. $\lim_{n\rightarrow\infty} E[\hat{\Theta}_n] = \vartheta^*$.  To také znamená, že $\lim_{n\rightarrow\infty} E[\hat{\Theta}_n - \vartheta^*] = 0$. 
<markdown>

3.  **Konzistence**:
</markdown>
    * Odhad $\hat{\Theta}_n$ je konzistentní, pokud s rostoucím rozsahem výběru $n$ konverguje v pravděpodobnosti k odhadovanému parametru $\vartheta^*$. To znamená, že platí dvě podmínky:
        * Je asymptoticky nestranný: $\lim_{n\rightarrow\infty} E[\hat{\Theta}_n] = \vartheta^*$ (nebo $E[\hat{\Theta}_n - \vartheta^*] = 0$). 
        * Jeho rozptyl se blíží k nule: $\lim_{n\rightarrow\infty} D[\hat{\Theta}_n] = 0$ (nebo $\lim_{n\rightarrow\infty} \sigma_{\hat{\Theta}_n} = 0$). 
<markdown>

4.  **Efektivita (účinnost)**:
</markdown>
    * Efektivní odhad je takový, který má malý rozptyl.  Kvalitu odhadu z hlediska efektivity posuzujeme pomocí střední kvadratické chyby $E[(\hat{\Theta}_n - \vartheta^*)^2]$. 
    * Tato chyba se dá rozložit na $D[\hat{\Theta}_n] + (E[\hat{\Theta}_n] - \vartheta^*)^2$. 
    * Pro **nestranný odhad** se střední kvadratická chyba redukuje pouze na rozptyl $D[\hat{\Theta}_n]$. 
<markdown>
    * **Nejlepší nestranný odhad** je ten, který má ze všech nestranných odhadů nejmenší rozptyl (je nejvíce eficientní).  Je však možné, že existují vychýlené odhady, které jsou efektivnější než nejlepší nestranný odhad. 

5.  **Robustnost**:
    * Robustní odhad je odolný vůči šumu nebo odlehlým hodnotám v datech.  To znamená, že i při zašuměných datech dostáváme relativně dobrý výsledek. 
    * Přesné matematické kritérium pro robustnost často chybí, ale jedná se o velmi praktickou vlastnost. 
</markdown>

===== Odhady konkrétních parametrů =====
  * **Odhady střední hodnoty** ($\mu$):
    * Výběrový průměr $\overline{X}_n = \frac{1}{n} \sum_{i=1}^{n} X_i$ je nestranným a konzistentním odhadem střední hodnoty $E[X]$. 
  * **Odhady rozptylu ($\sigma^2$)**:
    * Výběrový rozptyl $S^2_n = \frac{1}{n-1} \sum_{i=1}^{n}(X_i - \overline{X}_n)^2$ je nestranným a konzistentním odhadem rozptylu $D[X]$. 
  * **Odhady směrodatné odchylky ($\sigma$)**:
    * Výběrová směrodatná odchylka $S_n = \sqrt{S^2_n}$ je odhadem směrodatné odchylky $\sigma$. 
<markdown>
* **Odhady momentů**:
</markdown>
    * Pro odhad $k$-tého obecného momentu $E[X^k]$ se používá výběrový $k$-tý obecný moment $m_{X^k} = \frac{1}{n}\sum_{j=1}^{n}x_j^k$. 


===== Metody odhadování parametrů =====
<markdown>
Existuje několik metod pro konstrukci odhadů. Dvě základní jsou:

1.  **Metoda momentů (MM)**:
    * Princip: Klademe do rovnosti teoretické momenty (které závisí na neznámých parametrech) a jejich výběrové protějšky spočítané z dat. 
</markdown>
    * Například pro $k$ neznámých parametrů $\theta_1, \ldots, \theta_k$ řešíme soustavu $k$ rovnic $E[X^i] = m_{X^i}$ pro $i=1, \ldots, k$.  Alternativně, pokud jsou dva parametry, můžeme položit $E[X] = \overline{X}_n$ a $D[X] = S^2_n$. 
<markdown>
  * Výhody: Často jednoduché získání vzorců.  Zohledňuje všechna data z výběru.
  * Nevýhody: Řešení nemusí vždy existovat.  Nemusí vždy dávat nejlepší výsledky ve srovnání s jinými metodami. 
  * Volí se často v případech, kdy je soustava věrohodnostních rovnic (viz MLE níže) obtížně řešitelná. 

2.  **Metoda maximální věrohodnosti (MLE - Maximum Likelihood Estimation)**:
    * Princip: Hledáme takové hodnoty parametrů, které maximalizují tzv. věrohodnostní funkci.  Věrohodnostní funkce vyjadřuje, jak "pravděpodobná" jsou pozorovaná data pro různé hodnoty parametrů.
</markdown>
    * Pro náhodný výběr $X_1, \ldots, X_n$ z rozdělení s hustotou $f(x; \theta)$ (spojitý případ) nebo pravděpodobnostní funkcí $P(X=x; \theta)$ (diskrétní případ), je věrohodnostní funkce $L(\theta; x)$ definována jako součin těchto funkcí přes všechna pozorování: 
        * Spojitý případ: $L(\theta; x) = \prod_{i=1}^{n} f(x_i; \theta)$. 
        * Diskrétní případ: $L(\theta; x) = \prod_{i=1}^{n} P(X_i=x_i; \theta)$. 
<markdown>
  * Postup:
</markdown>
        * Sestrojíme věrohodnostní funkci $L(\theta)$. 
        * Často je výhodnější pracovat s logaritmem věrohodnostní funkce (log-likelihood) $l(\theta) = \ln L(\theta)$, protože součiny se převedou na součty, což zjednodušuje derivování. 
        * Položíme derivaci $l(\theta)$ podle parametru $\theta$ rovnu nule: $\frac{\partial l(\theta)}{\partial \theta} = 0$. 
        * Řešením této rovnice (nebo soustavy rovnic, pokud je parametrů více) získáme maximálně věrohodný odhad $\hat{\theta}$. 
<markdown>
  * Myšlenka: Hledáme parametry, které nejlépe "vysvětlují" pozorovaná data, tj. při kterých by pozorované výsledky byly "nejméně nepravděpodobné". 
  * Pro základní rozdělení dávají obě metody (MM a MLE) shodné výsledky.  V složitějších případech se volí metoda i podle citlivosti vzorců na chyby v datech. 
</markdown>

===== Intervalové odhady (Intervaly spolehlivosti) =====
<markdown>
Na rozdíl od bodového odhadu, který poskytuje jedinou hodnotu parametru, intervalový odhad udává interval, ve kterém se s určitou pravděpodobností (tzv. koeficientem spolehlivosti) nachází skutečná hodnota parametru. 

</markdown>
  * **Definice**: $(1 - \alpha) \times 100\%$ interval spolehlivosti pro parametr $\vartheta$ je interval $(L, U)$ takový, že $P(L < \vartheta^* < U) \geq 1 - \alpha$. 
    * $1 - \alpha$ je **koeficient spolehlivosti** (např. 95%, pokud $\alpha = 0.05$). 
    * $\alpha$ je **hladina významnosti** (pravděpodobnost, že interval nepokryje skutečnou hodnotu parametru). 
  * Intervaly mohou být **oboustranné**, **dolní jednostranné** ($I = (L, \infty)$)  nebo **horní jednostranné** ($I = (-\infty, U)$). 
  * Symetrický oboustranný odhad znamená, že pravděpodobnost překročení horní meze je stejná jako pravděpodobnost podkročení dolní meze (obvykle $\alpha/2$ pro každou stranu). 
Konstrukce intervalových odhadů vyžaduje znalost rozdělení pravděpodobnosti odhadu $\hat{\Theta}_n$ nebo nějaké z něj odvozené statistiky. 
<markdown>

Toto jsou základní obecné vlastnosti a metody odhadování parametrů. Konkrétní vzorce pro odhady a intervaly spolehlivosti se pak liší v závislosti na konkrétním rozdělení dat a odhadovaném parametru.
</markdown>
===== Princip statistického testování hypotéz =====
**Princip statistického testování hypotéz** –  testy střední hodnoty a rozptylu, porovnání dvou rozdělení, $\chi^2$-test dobré shody, test nezávislosti v kontingenční tabulce.
<markdown>
**Princip statistického testování hypotéz** je metoda pro ověřování tvrzení (hypotéz) o parametrech nebo rozdělení náhodných veličin na základě dat. Zahrnuje následující kroky:

1. **Formulace hypotéz**:
   - **Nulová hypotéza (H₀)**: Základní tvrzení, které se testuje (např. "střední hodnota je rovna určité hodnotě").
   - **Alternativní hypotéza (H₁)**: Tvrzení, které se považuje za alternativu k H₀ (např. "střední hodnota se liší od určité hodnoty").

</markdown>
  * **Volba hladiny významnosti ($\alpha$)**:
<markdown>
   - Pravděpodobnost, že zamítneme H₀, i když je pravdivá (často 0.05 nebo 0.01).

3. **Výběr testové statistiky**:
</markdown>
   * Výpočet statistiky, která kvantifikuje rozdíl mezi daty a H₀ (např. t-statistika, $\chi^2$-statistika).
<markdown>

4. **Výpočet kritické hodnoty nebo p-hodnoty**:
   - **Kritická hodnota**: Mez, kterou porovnáváme s testovou statistikou.
   - **p-hodnota**: Pravděpodobnost, že bychom získali pozorované nebo extrémnější výsledky, pokud je H₀ pravdivá.

5. **Rozhodnutí**:
</markdown>
   * Pokud p-hodnota < $\alpha$ nebo testová statistika překročí kritickou hodnotu, zamítáme H₀.
<markdown>
   - Jinak nezamítáme H₀.

</markdown>

====== Testy střední hodnoty a rozptylu ======

<markdown>
**Testy střední hodnoty**:
- **Jednovýběrový t-test**: Ověřuje, zda střední hodnota populace je rovna zadané hodnotě (předpoklad: normalita nebo velký výběr).
- **Dvouvýběrový t-test**: Porovnává střední hodnoty dvou nezávislých skupin.
- **Párový t-test**: Porovnává střední hodnoty dvou závislých skupin (např. před a po zásahu).

**Testy rozptylu**:
- **F-test**: Porovnává rozptyly dvou populací (předpoklad: normalita).
</markdown>
  * **$\chi^2$-test rozptylu**: Ověřuje, zda rozptyl populace je roven zadané hodnotě.

====== Porovnání dvou rozdělení ======

<markdown>
**Porovnání dvou rozdělení**:
- **Kolmogorov-Smirnovův test**: Testuje, zda dvě výběrová rozdělení pocházejí ze stejné populace.
- **Mann-Whitneyho test**: Neparametrický test pro porovnání dvou nezávislých výběrů (bez předpokladu normality).
- **Wilcoxonův test**: Neparametrický test pro porovnání dvou závislých výběrů.
</markdown>

====== $\chi^2$-test dobré shody ======

**$\chi^2$-test dobré shody**:
<markdown>
- Ověřuje, zda pozorovaná data odpovídají očekávanému rozdělení (např. binomické, normální).
- **Výpočet**:
  </markdown>
$$\chi^2 = \sum \frac{(O_i - E_i)^2}{E_i}$$
kde $O_i$ jsou pozorované četnosti a $E_i$ očekávané četnosti.
**Předpoklady**: Větší počet očekávaných hodnot (obvykle $\geq$ 5).

====== Test nezávislosti v kontingenční tabulce ======

<markdown>
**Test nezávislosti v kontingenční tabulce**:
- Ověřuje, zda dvě kategorické proměnné jsou nezávislé.
- **Výpočet**:
  </markdown>
$$\chi^2 = \sum \frac{(O_{ij} - E_{ij})^2}{E_{ij}}$$
  kde $O_{ij}$ jsou pozorované četnosti a $E_{ij}$ očekávané četnosti (vypočtené jako $E_{ij} = \frac{r_i \cdot c_j}{n}$).
  * **Předpoklady**: Větší očekávané četnosti (obvykle $\geq$ 5).

===== Markovovy řetězce =====
**Markovovy řetězce** – základní pojmy a vlastnosti, popis přechodovým diagramem a maticí přechodu. Klasifikace stavů, periodicita, rozložitelnost. Asymptotické chování Markovových řetězců.  

==== Základní pojmy a popis ====
<markdown>
Markovovy řetězce jsou stochastické procesy s konečným nebo spočetným počtem stavů, kde pravděpodobnost přechodu do dalšího stavu závisí pouze na aktuálním stavu (vlastnost Markova).  
- **Přechodový diagram**: Graf s uzly (stavy) a hranami (pravděpodobnosti přechodu). 
 
</markdown>
  * **Matice přechodu** $ P(t) $: Matice velikosti $ n \times n $, kde $ p_{ij}(t) $ je pravděpodobnost přechodu ze stavu $ i $ do stavu $ j $ v čase $ t $.  

=== Klasifikace stavů ===
<markdown>
| Typ stavu       | Definice                                                                 |
|-----------------|--------------------------------------------------------------------------|
</markdown>
| **Absorbující** | $p_{jj} = 1$ (po vstupu nelze opustit)                                |
<markdown>
| **Tranzientní**   | Existuje nenulová pravděpodobnost, že se nikdy nevrátíme do tohoto stavu |
| **Rekurentní**    | Stav je navštíven nekonečně často s pravděpodobností 1                   |
</markdown>
| **Periodický**   | Návrat do stavu je možný pouze v násobcích čísla $d_j$ (perioda)     |
| **Aperiodický**  | Perioda $d_j = 1$                                                     |

==== Rozložitelnost a asymptotika ====
<markdown>
- **Rozložitelnost (reducibilní řetězec)**: Pokud neexistuje cesta mezi některými stavy.  
- **Irreducibilní řetězec**: Všechny stavy jsou vzájemně dosažitelné.  
</markdown>
  * **Asymptotické chování**: Pro irreducibilní, aperiodické a pozitivně rekurentní řetězce konverguje distribuce k **stacionárnímu rozdělení** $\pi$, které splňuje $\pi = \pi P$.  

==== Přechodový diagram a matice ====
Příklad diagramu:
<tikzjax>
\usepackage{tikz}
\usetikzlibrary{matrix,arrows.meta,positioning}
\begin{document}
\begin{tikzpicture}
  \node (A) at (0,0) {A};
  \node (B) at (2,0) {B};
  \node (C) at (4,0) {C};

  \draw[->, >=latex] (A) to[bend left] node[above] {0.5} (B);
  \draw[->, >=latex] (A) to[bend left] node[below] {0.3} (C);
  \draw[->, >=latex] (B) to[loop above] node {1.0} (B);
  \draw[->, >=latex] (C) to[bend left] node[above] {0.1} (A);
  \draw[->, >=latex] (C) to[bend left] node[below] {0.2} (B);
  \draw[->, >=latex] (C) to[loop above] node {0.7} (C);
\end{tikzpicture}
\end{document}
</tikzjax>

==== Matice přechodu ====
|       | A     | B     | C     |
| **A** | 0.0   | 0.5   | 0.3   |
| **B** | 0.0   | 1.0   | 0.0   |
| **C** | 0.1   | 0.2   | 0.7   |
Trace: • b4b01dma • b4b17eam • b6b36omo • b0b01lag • b4b32pks • b4b38nvs • b4b36fup • b4b33rpz • b0b01lgr • b4b36zui
Search

Navigation

Print/export

Tools

QR Code
