B0B01PST Webové stránky předmětu Helisova stránky předmětu

• Definice pravděpodobnosti (Kolmogorovova) – nezávislost náhodných jevů, podmíněná pravděpodobnost, Bayesova věta. Pojem náhodné veličiny, popis jejího rozdělení pomocí distribuční funkce, hustoty, pravděpodobnostní funkce. Střední hodnota, rozptyl, směrodatná odchylka, momenty náhodných veličin. Základní typy spojitých a diskrétních rozdělení.
• Náhodné vektory a jejich popis – nezávislost náhodných veličin, kovariance a korelace.
• Čebyševova nerovnost – centrální limitní věta.
• Základní pojmy statistiky – náhodný výběr, empirické rozdělení.
• Obecné vlastnosti odhadů parametrů – odhady střední hodnoty, rozptylu, směrodatné odchylky, momentů. Odhady parametrů metodou momentů a metodou maximální věrohodnosti. Intervalové odhady.
• Princip statistického testování hypotéz – testy střední hodnoty a rozptylu, porovnání dvou rozdělení, $\chi^2$-test dobré shody, test nezávislosti v kontingenční tabulce.
• Markovovy řetězce – základní pojmy a vlastnosti, popis přechodovým diagramem a maticí přechodu. Klasifikace stavů, periodicita, rozložitelnost. Asymptotické chování Markovových řetězců.

Definice pravděpodobnosti (Kolmogorovova) – nezávislost náhodných jevů, podmíněná pravděpodobnost, Bayesova věta. Pojem náhodné veličiny, popis jejího rozdělení pomocí distribuční funkce, hustoty, pravděpodobnostní funkce. Střední hodnota, rozptyl, směrodatná odchylka, momenty náhodných veličin. Základní typy spojitých a diskrétních rozdělení.

Kolmogorovova definice pravděpodobnosti je založená na axiomech, které stanovují základní vlastnosti pravděpodobnostních jevů. Tyto axiomy jsou:

• Axiom nezápornosti: Pravděpodobnost každého jevu je nezáporná, tj. $P(A) \geq 0$ pro každý jev A.
• Axiom normovanosti: Pravděpodobnost jistého jevu (celého prostoru) je rovna 1, tj. $P(\omega) = 1$.
• Axiom aditivity: Pro dva neslučitelné jevy A a B platí, že pravděpodobnost jejich sjednocení je rovna součtu jejich pravděpodobností, tj. $P(A \cup B) = P(A) + P(B)$.

Podmíněná pravděpodobnost je pravděpodobnost jevu A za předpokladu, že nastal jev B. Definuje se jako: $$P(A|B) = \frac{P(A \cap B)}{P(B)}, \quad P(B) > 0$$ Tato rovnice říká, že podmíněná pravděpodobnost A vzhledem k B je rovna poměru pravděpodobnosti průniku A a B k pravděpodobnosti B.

Z toho vyplývá tato identita: $$P(A) = P(A|B)P(B) + P(A|B^c)P(B^c)$$

Bayesova věta je důležitý nástroj pro výpočet podmíněných pravděpodobností. Umožňuje přepočítat pravděpodobnost jevu A za předpokladu, že nastal jev B, a to pomocí následujícího vzorce: $$ P(A|B) = \frac{P(B|A)P(A)}{P(B)}$$ Tento vzorec ukazuje, jak lze využít pravděpodobnost B vzhledem k A a apriorní pravděpodobnost A k výpočtu podmíněné pravděpodobnosti A vzhledem k B.

Měřitelná funkce, která přiřazuje každému elementárnímu jevu reálné číslo. Jeji chování popisuje neklesající distribuční funkce $F(t) = P(X \leq t)$, kde $X$ je náhodná veličina a $t$ je reálné číslo. Distribuční funkce přiděluje každému reálnému číslu pravděpodobnost (hodnoty od 0 do 1), že náhodná veličina nabude hodnoty menší nebo rovné tomuto číslu. Hustota pravděpodobnosti je derivací distribuční funkce, pokud existuje: $$ f(t) = \frac{dF(t)}{dt}$$ $$ f(t) \geq 0$$ Pravděpodobnostní funkce je funkce $p_x(t) = P(X = t)$, která udává pravděpodobnost, že náhodná veličina $X$ nabude konkrétní hodnoty $t$.

Nabývá konečný počet hodnot, distrbuční funkce je schodová funkce, pravděpodobnostní funkce je dána jako: $$ p(t) = P(X = t) = \sum_{i} p_i \delta(t - t_i) $$

Nabývá nekonečný počet hodnot, distribuční funkce je spojitá a pravděpodobnostní funkce je dána jako hustota pravděpodobnosti. Ale pravděpodobnost, že náhodná veličina nabude konkrétní hodnoty, je vždy 0. Hustota pravděpodobnosti je definována jako: $$ f(t) = \frac{dF(t)}{dt} $$

Nabývá jak diskrétních, tak spojitých hodnot. Distribuční funkce je kombinací schodové a spojité části. Hustota pravděpodobnosti je definována jako: $$ f(t) = \sum_{i} p_i \delta(t - t_i) + f_c(t),$$ kde $p_i$ jsou pravděpodobnosti diskrétních hodnot $t_i$ a $f_c(t)$ je hustota spojité části.

Střední hodnota (očekávaná hodnota) náhodné veličiny $X$ je definována jako: $$ E(X) = \int_{-\infty}^{\infty} t f(t) dt,$$ kde $f(t)$ je hustota pravděpodobnosti pro spojitou náhodnou veličinu, nebo pro diskrétní náhodnou veličinu: $$ E(X) = \sum_{i} t_i p_i,$$ kde $t_i$ jsou hodnoty, které náhodná veličina $X$ může nabývat, a $p_i$ jsou jejich pravděpodobnosti. Rozptyl náhodné veličiny $X$ je definován jako: $$ Var(X) = E((X - E(X))^2) = E(X^2) - (E(X))^2,$$ kde $E(X^2)$ je očekávaná hodnota druhé mocniny náhodné veličiny. Směrodatná odchylka je druhá odmocnina rozptylu: $$ \sigma(X) = \sqrt{Var(X)}$$ Moment náhodné veličiny $X$ je definován jako: $$ M_k(X) = E(X^k) = \int_{-\infty}^{\infty} t^k f(t) dt,$$ pro $k = 1, 2, \ldots$ Pro diskrétní náhodnou veličinu je moment definován jako: $$ M_k(X) = \sum_{i} t_i^k p_i,$$ kde $t_i$ jsou hodnoty, které náhodná veličina $X$ může nabývat, a $p_i$ jsou jejich pravděpodobnosti.

Binomické rozdělení – popisuje počet úspěchů v $n$ nezávislých Bernoulliho pokusech, kde každý pokus má pravděpodobnost úspěchu $p$. Distribuční funkce je dána jako: $$ P(X = k) = \binom{n}{k} p^k (1 - p)^{n - k}, \quad k = 0, 1, \ldots, n$$ Poissonovo rozdělení – popisuje počet událostí, které nastanou v pevném časovém intervalu, pokud jsou tyto události nezávislé a nastávají s konstantní průměrnou rychlostí $\lambda$. Distribuční funkce je dána jako: $$ P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad k = 0, 1, 2, \ldots$$ Geometrické rozdělení – popisuje počet pokusů potřebných k dosažení prvního úspěchu v sérii nezávislých Bernoulliho pokusů. Distribuční funkce je dána jako: $$ P(X = k) = (1 - p)^{k - 1} p, \quad k = 1, 2, \ldots$$ Alternativní rozdělení – popisuje počet pokusů potřebných k dosažení prvního úspěchu v sérii nezávislých Bernoulliho pokusů, ale s různými pravděpodobnostmi úspěchu v jednotlivých pokusech. Distribuční funkce je dána jako: $$ P(X = k) = \prod_{i=1}^{k-1} (1 - p_i) p_k, \quad k = 1, 2, \ldots$$ Rovnoměrné rozdělení – popisuje náhodnou veličinu, která může nabývat hodnot v intervalu $[a, b]$ s rovnoměrnou pravděpodobností. Distribuční funkce je dána jako: $$ P(X = k) = \frac{1}{b - a + 1}, \quad k = a, a + 1, \ldots, b$$ Hypergeometrické rozdělení – popisuje počet úspěchů v náhodném výběru $n$ položek z populace o velikosti $N$, která obsahuje $K$ úspěšných položek. Distribuční funkce je dána jako: $$ P(X = k) = \frac{\binom{K}{k} \binom{N - K}{n - k}}{\binom{N}{n}}, \quad k = 0, 1, \ldots, \min(K, n)$$ Napřiklad “M” losů z nichž “J” vyhrává, tak udává počet výherních losů, z výtažených “S” losů. $$ E(x) = \frac{(J \cdot S)}{M} $$

Rovnoměrné rozdělení – popisuje náhodnou veličinu, která může nabývat hodnot v intervalu $[a, b]$ s rovnoměrnou pravděpodobností. Distribuční funkce je dána jako: $$ F(x) = \begin{cases} 0, & x < a \\ \frac{x - a}{b - a}, & a \leq x < b \\ 1, & x \geq b \end{cases} $$ Hustota je tvaru $$ f(x) = \begin{cases} \frac{1}{b - a}, & a < x < b \\ 0, & \text{jinak} \end{cases} $$

Normální rozdělení – popisuje náhodnou veličinu, která má symetrické rozdělení kolem střední hodnoty $\mu$ a standardní odchylky $\sigma$. Distribuční funkce je dána jako: $$ \Phi(x) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x} e^{-\frac{t^2}{2}}\,dt. $$

Hustota je tvaru $$ f(x) = \frac{1}{\sqrt{2 \pi}} e^{-\frac{x^2}{2}} $$ Exponenciální rozdělení – popisuje čas mezi událostmi v Poissonově procesu. Distribuční funkce je dána jako: $$ F(x) = 1 - e^{-\lambda x}, \quad x \geq 0$$ Hustota pravděpodobnosti je dána jako: $$ f(x) = \lambda e^{-\lambda x}, \quad x \geq 0$$

Náhodné vektory a jejich popis – nezávislost náhodných veličin, kovariance a korelace.

Náhodný vektor je n-rozměrný vektor $(X_1, X_2, \ldots, X_n)$, kde každá složka $X_i$ je náhodná veličina (Měřitelná funkce, která přiřazuje každému elementárnímu jevu reálné číslo) definovaná na stejném pravděpodobnostním prostoru.

Společná distribuční funkce náhodného vektoru je definována jako: $$ F(x_1, x_2, \ldots, x_n) = P(X_1 \leq x_1, X_2 \leq x_2, \ldots, X_n \leq x_n) $$

Pro spojitý náhodný vektor existuje společná hustota pravděpodobnosti $f(x_1, x_2, \ldots, x_n)$ taková, že: $$ F(x_1, x_2, \ldots, x_n) = \int_{-\infty}^{x_1} \int_{-\infty}^{x_2} \cdots \int_{-\infty}^{x_n} f(t_1, t_2, \ldots, t_n) dt_1 dt_2 \cdots dt_n $$

Náhodné veličiny $X_1, X_2, \ldots, X_n$ jsou nezávislé, pokud pro libovolné hodnoty $x_1, x_2, \ldots, x_n$ platí: $$ F(x_1, x_2, \ldots, x_n) = F_1(x_1) \cdot F_2(x_2) \cdots F_n(x_n) $$ kde $F_i(x_i)$ je marginální distribuční funkce náhodné veličiny $X_i$.

Pro spojité náhodné veličiny je podmínka nezávislosti ekvivalentní s: $$ f(x_1, x_2, \ldots, x_n) = f_1(x_1) \cdot f_2(x_2) \cdots f_n(x_n) $$

Kovariance dvou náhodných veličin $X$ a $Y$ je definována jako: $$ \text{Cov}(X, Y) = E[(X - E(X))(Y - E(Y))] = E(XY) - E(X)E(Y) $$

Vlastnosti kovariance:

• $\text{Cov}(X, X) = Var(X)$
• $\text{Cov}(X, Y) = \text{Cov}(Y, X)$
• $\text{Cov}(aX + b, cY + d) = ac \cdot \text{Cov}(X, Y)$
• $Var(X + Y) = Var(X) + Var(Y) + 2\text{Cov}(X, Y)$

Korelace je to kovariance pro normované náhodné veličiny, definovaná jako:

$$ \rho(X, Y) = \frac{\text{Cov}(X, Y)}{\sigma_X \sigma_Y}$$ Korelace nabývá hodnot v intervalu $[-1, 1]$ a měří sílu lineární závislosti mezi náhodnými veličinami. Pokud $\rho(X, Y) = 0$, pak jsou $X$ a $Y$ nezávislé. $$ Var(X + Y) = Var(X) + Var(Y) + 2 \cdot \text{Cov}(X, Y) $$

Čebyševova nerovnost – centrální limitní věta.

Čebyševova nerovnost je fundamentální výsledek v teorii pravděpodobnosti, který poskytuje horní odhad pravděpodobnosti odchylky náhodné veličiny od její střední hodnoty.

Formulace: Nechť $X$ je náhodná veličina s konečnou střední hodnotou $E(X) = \mu$ a konečným rozptylem $Var(X) = \sigma^2$. Pak pro libovolné $\epsilon > 0$ platí: $$ P(|X - \mu| \geq \epsilon) \leq \frac{\sigma^2}{\epsilon^2}$$

Ekvivalentní formulace:

$$ P(|X - \mu| < \epsilon) \geq 1 - \frac{\sigma^2}{\epsilon^2}$$

Interpretace:

• Nerovnost říká, že pravděpodobnost velkých odchylek od střední hodnoty je malá

• Čím menší je rozptyl $\sigma^2$, tím více se hodnoty náhodné veličiny koncentrují kolem střední hodnoty
• Čím větší je tolerance $\epsilon$, tím větší je pravděpodobnost, že se hodnota vejde do intervalu $(\mu - \epsilon, \mu + \epsilon)$

Praktický význam:

• Poskytuje univerzální odhad platný pro všechna rozdělení s konečným rozptylem
• Je základem pro odvození zákona velkých čísel
• Používá se jako teoretické zdůvodnění pro centrální limitní větu

Kontext k CLV: Čebyševova nerovnost umožňuje dokázat slabý zákon velkých čísel, který je klíčovým krokem k pochopení centrální limitní věty. CLV pak zpřesňuje asymptotické chování průměrů nezávislých náhodných veličin.

Centrální limitní věta (CLV) je jedním z nejdůležitějších výsledků v teorii pravděpodobnosti. Říká, že pokud máme dostatečně velký počet nezávislých a identicky rozdělených náhodných veličin, jejich průměr se bude blížit normálnímu rozdělení bez ohledu na původní rozdělení těchto veličin.

Formulace: Nechť $X_1, X_2, \ldots, X_n$ jsou nezávislé a identicky rozdělené náhodné veličiny s konečnou střední hodnotou $\mu$ a konečným nenulovým rozptylem $\sigma^2$. Pak pro průměr těchto veličin platí: $$ \frac{\sqrt{n}(\bar{X}_n - \mu)}{\sigma} \xrightarrow{d} N(0, 1)$$ kde $\bar{X}_n = \frac{1}{n} \sum_{i=1}^{n} X_i$ je průměrná hodnota těchto veličin a $N(0, 1)$ je standardní normální rozdělení.

Praktický vzorec pro CLV:

$$ P(X \leq x) \approx P(\text{norm}(X) \leq \frac{x - \mu}{\sigma / \sqrt{n}}) = \Phi\left(\frac{x - \mu}{\sigma / \sqrt{n}}\right), $$ kde $\mu$ je střední hodnota, $\sigma$ je směrodatná odchylka a $\Phi$ je distribuční funkce standardního normálního rozdělení.

Základní pojmy statistiky – náhodný výběr, empirické rozdělení.

Náhodnému vektoru $\mathbb{X} = (X_1, X_2, \ldots, X_n)$ nezávisle rozdělených náhodných veličin s distribuční funkcí $F_{\theta}$, která závisí na parametru $\theta$, říkáme náhodný výběr. Funkce $$ \bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i $$ náhodného výběru $\mathbb{X} = (X_1, X_2, \ldots, X_n)$ se nazývá výběrový průměr a je to odhad střední hodnoty náhodného vektoru.

$S_{n}^{2} = \frac{1}{n - 1} \sum_{i=1}^{n} (X_i - \bar{X}_n)^2$ se nazývá výběrový rozptyl a je to odhad rozptylu náhodného vektoru. $S_n = \sqrt{S^2_n}$ je výběrová směrodatná odchylka.

• Výběrový průměr $\bar{X}_n$ a výběrový rozptyl $S^2_n$ jsou nezávislé náhodné veličiny.
• Výběrový průměr $\bar{X}_n$ má rozdělení $N(\mu, \frac{\sigma^2}{n})$, kde $\mu$ je střední hodnota a $\sigma^2$ je rozptyl původního rozdělení.

Nechť $x_1, x_2, \ldots, x_n$ je realizace náhodného výběru rozsahu $n$ z nějakého rozdělení s neznámou distribuční funkcí $F(x)$. Empirická distribuční funkce (ECDF) $F_n(x)$ je definována jako: $$ F_n(x) = \frac{1}{n} \sum_{i=1}^{n} I(x_i \leq x) $$ kde $I(A)$ je indikátorová funkce události $A$, která je rovna 1, pokud je událost $A$ pravdivá, a 0 jinak. Jinými slovy, $F_n(x)$ udává podíl pozorování v náhodném výběru, která jsou menší nebo rovna $x$. Graf Empirické distribuční funkce je schodovitý a roste v krocích o velikosti $1/n$ v bodech, kde se nacházejí pozorované hodnoty $x_i$. Pro hodnoty mezi těmito body zůstává funkce konstantní. Například byly naměřeny hodnoty $x_1 = 1, x_2 = 2, x_3 = 2, x_4 = 3$. Empirická distribuční funkce by byla:

Vlastnosti empirické distribuční funkce:

• Je to schodovitá funkce, která má skoky velikosti $1/n$ (nebo násobku $1/n$, pokud se některé hodnoty $x_i$ opakují) v bodech pozorovaných hodnot $x_i$.
• Pro každé pevné $x$ je $F_n(x)$ náhodná veličina.
• $F_n(x)$ je nestranným odhadem teoretické distribuční funkce $F(x)$, tj. $E[F_n(x)] = F(x)$.
• Podle Glivenko-Cantelliho věty platí, že $F_n(x)$ konverguje k $F(x)$ stejnoměrně pro $n \to \infty$: $\sup_{x \in \mathbb{R}} |F_n(x) - F(x)| \xrightarrow{a.s.} 0 \quad \text{pro } n \to \infty$

To znamená, že s rostoucím počtem pozorování se empirická distribuční funkce stále více přibližuje skutečné distribuční funkci.

Při odhadování neznámých parametrů základního souboru na základě pozorovaných dat z náhodného výběru se snažíme, aby naše odhady měly určité žádoucí vlastnosti. Tyto vlastnosti nám pomáhají posoudit kvalitu odhadu a vybrat ten nejlepší možný.

Nejprve si zavedeme značení, které se v teorii odhadu běžně používá:

• $\vartheta$: Jakákoli hodnota parametru (reálné číslo).
• $\vartheta^*$: Skutečná (správná) hodnota parametru (reálné číslo).
• $\hat{\Theta}_n$: Odhad parametru založený na náhodném výběru rozsahu $n$ (toto je náhodná veličina).
• $\hat{\vartheta}$, $\hat{\vartheta}_n$: Realizace odhadu, tj. konkrétní hodnota odhadu získaná z dat (reálné číslo).

Bodový odhad je funkce náhodného výběru, jejíž předpis nezávisí na odhadovaném parametru. Snažíme se, aby bodové odhady měly následující vlastnosti:

1. Nestrannost (nevychýlenost):

• Odhad $\hat{\Theta}_n$ se nazývá nestranný, pokud jeho střední hodnota je rovna skutečné hodnotě parametru $\vartheta^*$, tj. $E[\hat{\Theta}_n] = \vartheta^*$. To znamená, že $E[\hat{\Theta}_n - \vartheta^*] = 0$.

• Pokud tato podmínka není splněna, odhad je vychýlený.

1. Asymptotická nestrannost:

• Odhad $\hat{\Theta}_n$ je asymptoticky nestranný, pokud se jeho střední hodnota blíží skutečné hodnotě parametru $\vartheta^*$ s rostoucím rozsahem výběru $n$, tj. $\lim_{n\rightarrow\infty} E[\hat{\Theta}_n] = \vartheta^*$. To také znamená, že $\lim_{n\rightarrow\infty} E[\hat{\Theta}_n - \vartheta^*] = 0$.

1. Konzistence:

• Odhad $\hat{\Theta}_n$ je konzistentní, pokud s rostoucím rozsahem výběru $n$ konverguje v pravděpodobnosti k odhadovanému parametru $\vartheta^*$. To znamená, že platí dvě podmínky:
  • Je asymptoticky nestranný: $\lim_{n\rightarrow\infty} E[\hat{\Theta}_n] = \vartheta^*$ (nebo $E[\hat{\Theta}_n - \vartheta^*] = 0$).
  • Jeho rozptyl se blíží k nule: $\lim_{n\rightarrow\infty} D[\hat{\Theta}_n] = 0$ (nebo $\lim_{n\rightarrow\infty} \sigma_{\hat{\Theta}_n} = 0$).

1. Efektivita (účinnost):

• Efektivní odhad je takový, který má malý rozptyl. Kvalitu odhadu z hlediska efektivity posuzujeme pomocí střední kvadratické chyby $E[(\hat{\Theta}_n - \vartheta^*)^2]$.
• Tato chyba se dá rozložit na $D[\hat{\Theta}_n] + (E[\hat{\Theta}_n] - \vartheta^*)^2$.
• Pro nestranný odhad se střední kvadratická chyba redukuje pouze na rozptyl $D[\hat{\Theta}_n]$.

* **Nejlepší nestranný odhad** je ten, který má ze všech nestranných odhadů nejmenší rozptyl (je nejvíce eficientní).  Je však možné, že existují vychýlené odhady, které jsou efektivnější než nejlepší nestranný odhad. 

1. Robustnost:

   • Robustní odhad je odolný vůči šumu nebo odlehlým hodnotám v datech. To znamená, že i při zašuměných datech dostáváme relativně dobrý výsledek.
   • Přesné matematické kritérium pro robustnost často chybí, ale jedná se o velmi praktickou vlastnost.

• Odhady střední hodnoty ($\mu$):
  • Výběrový průměr $\overline{X}_n = \frac{1}{n} \sum_{i=1}^{n} X_i$ je nestranným a konzistentním odhadem střední hodnoty $E[X]$.
• Odhady rozptylu ($\sigma^2$):
  • Výběrový rozptyl $S^2_n = \frac{1}{n-1} \sum_{i=1}^{n}(X_i - \overline{X}_n)^2$ je nestranným a konzistentním odhadem rozptylu $D[X]$.
• Odhady směrodatné odchylky ($\sigma$):
  • Výběrová směrodatná odchylka $S_n = \sqrt{S^2_n}$ je odhadem směrodatné odchylky $\sigma$.

• Odhady momentů:

• Pro odhad $k$-tého obecného momentu $E[X^k]$ se používá výběrový $k$-tý obecný moment $m_{X^k} = \frac{1}{n}\sum_{j=1}^{n}x_j^k$.

Existuje několik metod pro konstrukci odhadů. Dvě základní jsou:

1. Metoda momentů (MM):

   • Princip: Klademe do rovnosti teoretické momenty (které závisí na neznámých parametrech) a jejich výběrové protějšky spočítané z dat.

• Například pro $k$ neznámých parametrů $\theta_1, \ldots, \theta_k$ řešíme soustavu $k$ rovnic $E[X^i] = m_{X^i}$ pro $i=1, \ldots, k$. Alternativně, pokud jsou dva parametry, můžeme položit $E[X] = \overline{X}_n$ a $D[X] = S^2_n$.

• Výhody: Často jednoduché získání vzorců. Zohledňuje všechna data z výběru.
• Nevýhody: Řešení nemusí vždy existovat. Nemusí vždy dávat nejlepší výsledky ve srovnání s jinými metodami.
• Volí se často v případech, kdy je soustava věrohodnostních rovnic (viz MLE níže) obtížně řešitelná.

1. Metoda maximální věrohodnosti (MLE - Maximum Likelihood Estimation):

   • Princip: Hledáme takové hodnoty parametrů, které maximalizují tzv. věrohodnostní funkci. Věrohodnostní funkce vyjadřuje, jak "pravděpodobná" jsou pozorovaná data pro různé hodnoty parametrů.

• Pro náhodný výběr $X_1, \ldots, X_n$ z rozdělení s hustotou $f(x; \theta)$ (spojitý případ) nebo pravděpodobnostní funkcí $P(X=x; \theta)$ (diskrétní případ), je věrohodnostní funkce $L(\theta; x)$ definována jako součin těchto funkcí přes všechna pozorování:
  • Spojitý případ: $L(\theta; x) = \prod_{i=1}^{n} f(x_i; \theta)$.
  • Diskrétní případ: $L(\theta; x) = \prod_{i=1}^{n} P(X_i=x_i; \theta)$.

• Postup:

• Sestrojíme věrohodnostní funkci $L(\theta)$.
• Často je výhodnější pracovat s logaritmem věrohodnostní funkce (log-likelihood) $l(\theta) = \ln L(\theta)$, protože součiny se převedou na součty, což zjednodušuje derivování.
• Položíme derivaci $l(\theta)$ podle parametru $\theta$ rovnu nule: $\frac{\partial l(\theta)}{\partial \theta} = 0$.
• Řešením této rovnice (nebo soustavy rovnic, pokud je parametrů více) získáme maximálně věrohodný odhad $\hat{\theta}$.

• Myšlenka: Hledáme parametry, které nejlépe "vysvětlují" pozorovaná data, tj. při kterých by pozorované výsledky byly "nejméně nepravděpodobné".
• Pro základní rozdělení dávají obě metody (MM a MLE) shodné výsledky. V složitějších případech se volí metoda i podle citlivosti vzorců na chyby v datech.

Na rozdíl od bodového odhadu, který poskytuje jedinou hodnotu parametru, intervalový odhad udává interval, ve kterém se s určitou pravděpodobností (tzv. koeficientem spolehlivosti) nachází skutečná hodnota parametru.

• Definice: $(1 - \alpha) \times 100\%$ interval spolehlivosti pro parametr $\vartheta$ je interval $(L, U)$ takový, že $P(L < \vartheta^* < U) \geq 1 - \alpha$.
  • $1 - \alpha$ je koeficient spolehlivosti (např. 95%, pokud $\alpha = 0.05$).
  • $\alpha$ je hladina významnosti (pravděpodobnost, že interval nepokryje skutečnou hodnotu parametru).
• Intervaly mohou být oboustranné, dolní jednostranné ($I = (L, \infty)$) nebo horní jednostranné ($I = (-\infty, U)$).
• Symetrický oboustranný odhad znamená, že pravděpodobnost překročení horní meze je stejná jako pravděpodobnost podkročení dolní meze (obvykle $\alpha/2$ pro každou stranu).

Konstrukce intervalových odhadů vyžaduje znalost rozdělení pravděpodobnosti odhadu $\hat{\Theta}_n$ nebo nějaké z něj odvozené statistiky.

Toto jsou základní obecné vlastnosti a metody odhadování parametrů. Konkrétní vzorce pro odhady a intervaly spolehlivosti se pak liší v závislosti na konkrétním rozdělení dat a odhadovaném parametru.

Princip statistického testování hypotéz – testy střední hodnoty a rozptylu, porovnání dvou rozdělení, $\chi^2$-test dobré shody, test nezávislosti v kontingenční tabulce.

Princip statistického testování hypotéz je metoda pro ověřování tvrzení (hypotéz) o parametrech nebo rozdělení náhodných veličin na základě dat. Zahrnuje následující kroky:

1. Formulace hypotéz:

   • Nulová hypotéza (H₀): Základní tvrzení, které se testuje (např. "střední hodnota je rovna určité hodnotě").
   • Alternativní hypotéza (H₁): Tvrzení, které se považuje za alternativu k H₀ (např. "střední hodnota se liší od určité hodnoty").

• Volba hladiny významnosti ($\alpha$):

• Pravděpodobnost, že zamítneme H₀, i když je pravdivá (často 0.05 nebo 0.01).

1. Výběr testové statistiky:

• Výpočet statistiky, která kvantifikuje rozdíl mezi daty a H₀ (např. t-statistika, $\chi^2$-statistika).

1. Výpočet kritické hodnoty nebo p-hodnoty:

   • Kritická hodnota: Mez, kterou porovnáváme s testovou statistikou.
   • p-hodnota: Pravděpodobnost, že bychom získali pozorované nebo extrémnější výsledky, pokud je H₀ pravdivá.

2. Rozhodnutí:

• Pokud p-hodnota < $\alpha$ nebo testová statistika překročí kritickou hodnotu, zamítáme H₀.

• Jinak nezamítáme H₀.

Testy střední hodnoty:

• Jednovýběrový t-test: Ověřuje, zda střední hodnota populace je rovna zadané hodnotě (předpoklad: normalita nebo velký výběr).
• Dvouvýběrový t-test: Porovnává střední hodnoty dvou nezávislých skupin.
• Párový t-test: Porovnává střední hodnoty dvou závislých skupin (např. před a po zásahu).

Testy rozptylu:

• F-test: Porovnává rozptyly dvou populací (předpoklad: normalita).

• $\chi^2$-test rozptylu: Ověřuje, zda rozptyl populace je roven zadané hodnotě.

Porovnání dvou rozdělení:

• Kolmogorov-Smirnovův test: Testuje, zda dvě výběrová rozdělení pocházejí ze stejné populace.
• Mann-Whitneyho test: Neparametrický test pro porovnání dvou nezávislých výběrů (bez předpokladu normality).
• Wilcoxonův test: Neparametrický test pro porovnání dvou závislých výběrů.

$\chi^2$-test dobré shody:

• Ověřuje, zda pozorovaná data odpovídají očekávanému rozdělení (např. binomické, normální).
• Výpočet:

$$\chi^2 = \sum \frac{(O_i - E_i)^2}{E_i}$$ kde $O_i$ jsou pozorované četnosti a $E_i$ očekávané četnosti. Předpoklady: Větší počet očekávaných hodnot (obvykle $\geq$ 5).

Test nezávislosti v kontingenční tabulce:

• Ověřuje, zda dvě kategorické proměnné jsou nezávislé.
• Výpočet:

$$\chi^2 = \sum \frac{(O_{ij} - E_{ij})^2}{E_{ij}}$$

kde $O_{ij}$ jsou pozorované četnosti a $E_{ij}$ očekávané četnosti (vypočtené jako $E_{ij} = \frac{r_i \cdot c_j}{n}$).
* **Předpoklady**: Větší očekávané četnosti (obvykle $\geq$ 5).

Markovovy řetězce – základní pojmy a vlastnosti, popis přechodovým diagramem a maticí přechodu. Klasifikace stavů, periodicita, rozložitelnost. Asymptotické chování Markovových řetězců.

Markovovy řetězce jsou stochastické procesy s konečným nebo spočetným počtem stavů, kde pravděpodobnost přechodu do dalšího stavu závisí pouze na aktuálním stavu (vlastnost Markova).

• Přechodový diagram: Graf s uzly (stavy) a hranami (pravděpodobnosti přechodu).

• Matice přechodu $ P(t) $: Matice velikosti $ n \times n $, kde $ p_{ij}(t) $ je pravděpodobnost přechodu ze stavu $ i $ do stavu $ j $ v čase $ t $.

| Tranzientní | Existuje nenulová pravděpodobnost, že se nikdy nevrátíme do tohoto stavu | | Rekurentní | Stav je navštíven nekonečně často s pravděpodobností 1 |

• Rozložitelnost (reducibilní řetězec): Pokud neexistuje cesta mezi některými stavy.
• Irreducibilní řetězec: Všechny stavy jsou vzájemně dosažitelné.

• Asymptotické chování: Pro irreducibilní, aperiodické a pozitivně rekurentní řetězce konverguje distribuce k stacionárnímu rozdělení $\pi$, které splňuje $\pi = \pi P$.

Příklad diagramu: