| Line 1: | Line 1: | ||
Hypothesis Testing | Hypothesis Testing | ||
| − | + | '''模式识别''' 的目标是将新观察的特征向量进行分类。为了分类的决定通过 | |
| − | + | ||
假设sample是rv, 其conditional density来自其类别 | 假设sample是rv, 其conditional density来自其类别 | ||
如果知道conditional density， pr的问题就变成statistical hyp testing 的问题 | 如果知道conditional density， pr的问题就变成statistical hyp testing 的问题 | ||
| Line 22: | Line 21: | ||
</math> | </math> | ||
| + | k 是个constant， 而且，由于 <math> P(\omega_2) = 1 - P(\omega_1) </math>, k 可以看待是prior比值 : 。 | ||
| + | Bayes Error | ||
| + | 为了评估我们的decision rule 的效果，需要计算probability of error | ||
| + | Define conditional error : <math> r(X) = min[g_1(X), g_2(X)] </math> | ||
| + | Define Bayes error: | ||
| + | <math> | ||
| + | \begin{align*} | ||
| + | \\ | ||
| + | \epsilon & = E(r(X)) = \int min(P(\omega_1)P(X|\omega_1), P(\omega_2)P(X|\omega_2))dX \\ | ||
| + | &= P(\omega_1) \int_{R_2}P(X|\omega_1)dX + P(\omega_2) \int_{R_1} P(X|\omega_2)dX \\ | ||
| + | &= P(\omega_1)\epsilon_1 + P(\omega_2)\epsilon_2 | ||
| + | \end{align} | ||
| + | </math> | ||
| + | 以上的<math>R_i <\math> 定义为decision rule 决定选 <math> \omega_i <\math>的领域，然后 <math>\epsilon_i</math> 是<math>L_i<\math>选错的概率。 | ||
| − | Neyman | + | Neyman-Pearson Test |
| + | 如果你曾经上过入门的统计学课，你大概能想起传统的 ** 假设检验 **. 如下为例子: | ||
| + | 一位人类学研究生认为他所观察的两种部落有不同的各自高度。把<math>\mu_A <\math> 和 <math>\mu_B <\math>定义为 部落A和部落B的人均各自高度，所以等于说<math> \mu_A - \mu_B \neq 0 <\math>。为了检验他的假设，他就从不哦啰A和部落B随机性地选出了N个人的样本，然后两侧各人的各自高度，最后算了样本均值<math>\bar{X_A},\bar{X_B}<\math>和样本标准差<math>S_A^2，S_B^2</math>。然后用如下的假设检验. | ||
| + | 零假设 (H0): <math> \mu_A - \mu_B = 0 <\math> | ||
| + | 对立假设(Ha): <math> \mu_A - \mu_B \neq 0 <\math> | ||
| + | Test statistic: <math> T = \frac{\bar{X}_A - \bar{X}_B}{\sqrt{(S^2_A+S^2_B)/N}} </math>. 中心极限定理就让我们假设<math> T \sim N(0, 1) </math>. | ||
| + | Decision Rule: 若<math> T < Z_{\frac{\alpha}{2}} <\math> 或则 <math> T 》 Z_{\frac{1 － \alpha}{2}} <\math>，则选H0不然选Ha. | ||
| + | 如上的<math>\alpha = P(判决规则让选Ha|H0正确)=P('''第一型錯誤''')</math>。反而'''第二型錯誤'''是判决规则让选H0|Ha正确.一般在这种假设检验，控制第一型錯誤的概率是最有限考虑。 | ||
Revision as of 15:57, 1 May 2014
Hypothesis Testing
模式识别 的目标是将新观察的特征向量进行分类。为了分类的决定通过 假设sample是rv, 其conditional density来自其类别 如果知道conditional density， pr的问题就变成statistical hyp testing 的问题 如下假设sample属于两个class其中一个、知道conditional density 和 prior
Bayes Decision Rule for Minum Error 假设X是个observation vector. g_i(X) 是X 来自 omega_i 的 Posterior probability Decision rule: 如果 个g_1(X) > g_2(X),就选 omega1, 不然选 omega 2 据Bayes theorem, decision rule 可以用likelihood ratio 表示 $ l(X) $
$ \begin{align} & g_1(X) > g_2(X) \\ \Rightarrow & P(\omega_1|X) > P(\omega_2|X) \\ \Rightarrow & \frac{P(X|\omega_1)P(\omega_1)}{P(X)} > \frac{P(X|\omega_2)P(\omega_2)}{P(X)} \\ \Rightarrow & P(X|\omega_1)P(\omega_1) > P(X|\omega_2)P(\omega_2) \\ \Rightarrow & l(X)=\frac{P(X|\omega_1)}{P(X|\omega_2)} > \frac{P(\omega_2)}{P(\omega_1)} = k \end{align} $
k 是个constant， 而且，由于 $ P(\omega_2) = 1 - P(\omega_1) $, k 可以看待是prior比值 : 。
Bayes Error 为了评估我们的decision rule 的效果，需要计算probability of error Define conditional error : $ r(X) = min[g_1(X), g_2(X)] $ Define Bayes error: $ \begin{align*} \\ \epsilon & = E(r(X)) = \int min(P(\omega_1)P(X|\omega_1), P(\omega_2)P(X|\omega_2))dX \\ &= P(\omega_1) \int_{R_2}P(X|\omega_1)dX + P(\omega_2) \int_{R_1} P(X|\omega_2)dX \\ &= P(\omega_1)\epsilon_1 + P(\omega_2)\epsilon_2 \end{align} $ 以上的$ R_i <\math> 定义为decision rule 决定选 <math> \omega_i <\math>的领域，然后 <math>\epsilon_i $ 是$ L_i<\math>选错的概率。 Neyman-Pearson Test 如果你曾经上过入门的统计学课，你大概能想起传统的 ** 假设检验 **. 如下为例子: 一位人类学研究生认为他所观察的两种部落有不同的各自高度。把<math>\mu_A <\math> 和 <math>\mu_B <\math>定义为 部落A和部落B的人均各自高度，所以等于说<math> \mu_A - \mu_B \neq 0 <\math>。为了检验他的假设，他就从不哦啰A和部落B随机性地选出了N个人的样本，然后两侧各人的各自高度，最后算了样本均值<math>\bar{X_A},\bar{X_B}<\math>和样本标准差<math>S_A^2，S_B^2 $。然后用如下的假设检验. 零假设 (H0): $ \mu_A - \mu_B = 0 <\math> 对立假设(Ha): <math> \mu_A - \mu_B \neq 0 <\math> Test statistic: <math> T = \frac{\bar{X}_A - \bar{X}_B}{\sqrt{(S^2_A+S^2_B)/N}} $. 中心极限定理就让我们假设$ T \sim N(0, 1) $. Decision Rule: 若$ T < Z_{\frac{\alpha}{2}} <\math> 或则 <math> T 》 Z_{\frac{1 － \alpha}{2}} <\math>，则选H0不然选Ha. 如上的<math>\alpha = P(判决规则让选Ha|H0正确)=P('''第一型錯誤''') $。反而第二型錯誤是判决规则让选H0|Ha正确.一般在这种假设检验，控制第一型錯誤的概率是最有限考虑。
