Posterior Consistency and Posterior Convergence Rates (in Korean)

베이즈 추론은 사후분포에 의존하므로 사후분포가 얼마나 좋은 성질을 가지느냐에 따라 추정이나 예측, 추론이 얼마나 좋은지가 결정이 된다. 자연스럽게 사후분포가 가져야 할 좋은 성질들이 무엇이고, 그러한 성질들을 갖는 사후분포는 어떠한 조건에서 얻어지는지에 대한 의문을 생각할 수 있다.

사전분포가 정의된 모수공간 \((\Theta,\mathcal{B},\Pi)\)가 존재하고 모든 \(\theta\in\Theta\)에 대해 \(P_{\theta}\)는 \((X,\mathcal{A})\) 위에 정의된 확률측도로 모든 \(A\in\mathcal{A}\)에 대해 \(\theta\mapsto P_{\theta}(A)\)가 가측함수가 된다고 가정하자. \(n=1,2,\dots,\infty\)에 대해 \(Y_{1},Y_{2},\dots,Y_{n}\sim_{i.i.d.}P_{\theta}\)라 하면 \((Y_{1},Y_{2},\dots,Y_{n})\)이 속하는 적당한 곱공간 \((X^{n},\mathcal{A}^{n}, P_{\theta}^{n})\)을 생각할 수 있다. 이로부터 \((X^{n}\times\Theta,\mathcal{A}^{n}\times\mathcal{B})\) 위에서 결합확률 \(\lambda_{n,\Pi}(A\times B)=\int_{B}P_{\theta}^{n}(A)\,\Pi(d\theta)\) 및 \((X^{n},\mathcal{A}^{n})\) 위에서 주변확률 \(\lambda_{n}(A)=\lambda_{n,\Pi}(A\times\Theta)\)가 잘 정의된다. 이 때, 사후분포를 다음과 같이 정의한다.

정의 (사후분포; Posterior). 다음 조건들을 만족하는 \(\Pi_{n}(\cdot\mid\cdot):\mathcal{B}\times X^{n}\to[0,1]\)를 사후분포라 한다:

  1. 모든 \(\omega\in X^{n}\)에 대해 \(B\mapsto\Pi_{n}(B\mid\omega)\)는 \((\Theta,\mathcal{B})\) 위에서의 확률측도가 되며
  2. 모든 \(B\in\mathcal{B}\)에 대해 \(\omega\mapsto\Pi_{n}(B\mid\omega)\)는 가측함수이고
  3. 모든 \(A\in\mathcal{A}^{n}\)과 \(B\in\mathcal{B}\)에 대해 \[\lambda_{n,\Pi}(A\times B)=\int_{A}\Pi_{n}(B\mid\omega)\,\lambda_{n}(d\omega).\]

참고. \(\Theta\)가 폴란드 공간이고 \(\mathcal{B}\)가 보렐 \(\sigma\)-대수이면 사후분포는 항상 존재하며 \(\lambda_{n}\)-a.s. 관점에서 유일하다.

사후분포의 일치성

통계적 추정에서, 자료가 많이 주어질수록 추정치가 실제 모수로 수렴하는 성질을 추정치의 일치성이라 한다. 사후분포에도 비슷한 성질을 생각할 수 있는데, 자료가 많이 주어질수록 사후분포가 실제 모수 근처에 집중되는 성질로 사후분포의 일치성을 정의한다.

정의 (사후분포의 일치성; Posterior consistency). \(\mathcal{F}_{n}:(Y_{1},Y_{2},\dots)\mapsto(Y_{1},Y_{2},\dots,Y_{n})\)라 하자. \(\Omega\subset X^{\infty}\)이 존재하여 \(P_{\theta_{0}}^{\infty}(\Omega)=1\)이고, \(\omega\in\Omega\)일 때 \(\theta_{0}\)의 모든 이웃 \(B\)에 대해 \(\Pi_{n}(B\mid\mathcal{F}_{n}(\omega))\to1\)이면 \(\theta_{0}\)에서 사후분포가 일치성을 가진다고 한다.

Doob의 정리

정리 1 (Doob). \(X\), \(\Theta\)가 폴란드 공간이고 \(\mathcal{A}\), \(\mathcal{B}\)가 각각 \(X\)와 \(\Theta\)의 보렐 \(\sigma\)-대수라고 하자. 만일 \(P_{\theta}\)가 식별 가능하면 모든 사전분포 \(\Pi\)에 대해 사후분포는 \(\Pi\)-a.s. 일치성을 가진다.

증명. \(X\)가 폴란드 공간이므로 셀 수 있는 기저 \(\mathcal{A}_{0}\)를 찾을 수 있으며 \(\sigma(\mathcal{A}_{0})=\mathcal{A}\)이다. 이 때 \[ E_{\theta}= \bigcap_{A\in\mathcal{A}_{0}}\left\{\omega\in X^{\infty}:\frac1n\sum_{i=1}^{n}\delta_{Y_{i}(\omega)}(A)\to P_{\theta}(A) \right\} \]을 정의하면 \(E_{\theta}\)는 가측집합의 셀 수 있는 교집합이므로 가측이다. 강대수의 법칙에 의해 \(P_{\theta}^{\infty}(E_{\theta})=1\)이며 \(P_{\theta}\)가 식별가능하므로 \(\theta\neq\theta': E_{\theta}\cap E_{\theta'}=\emptyset\). 이를 정리하면 \(\theta\neq\theta': P_{\theta}^{\infty}(E_{\theta'})=0\). 이제 \(E=\bigsqcup_{\theta\in\Theta}E_{\theta}\)로 하고 \(B\in\mathcal{B}\)에 대해 \(f_{B}:X^{\infty}\to[0,1]\)을 \[ f_{B}(\omega) =\begin{cases} \mathbf{1}_{\bigsqcup_{\theta\in B}E_{\theta}}(\omega), & \omega\in E\\ \Pi(B), & o.w. \end{cases} \]으로 정의하자. 우선 \(\bigsqcup_{\theta\in B}E_{\theta}\)가 가측임이 알려져 있으므로 \(\omega\mapsto f_{B}(\omega)\)는 가측이다. 또 \(\omega\in E\)일 때 \(E_{\theta}\cap E_{\theta'}=\emptyset\)로부터 \(f_{B}\)의 가산가법성이 성립하고 \(f_{\Theta}(\omega)=1\)므로 \(f_{B}(\omega)\)는 확률측도이고, 따라서 모든 \(\omega\in X^{\infty}\)에 대해 \(B\mapsto f_{B}(\omega)\)는 확률측도이다. 간단한 계산으로부터 \(\lambda_{\infty}(E)=1\)이고 \(\bigsqcup_{\theta\in B}E_{\theta}\subset E\)이므로 모든 \(A\in\mathcal{A}^{\infty}\), \(B\in\mathcal{B}\)에 대해 \[ \begin{aligned} \int_{A}f_{B}(\omega)\,\lambda_{\infty}(d\omega) &=\int_{E\cap A}f_{B}(\omega)\,\lambda_{\infty}(d\omega)\\ &=\lambda_{\infty}\left(E\cap A\cap\left(\bigsqcup_{\theta\in B}E_{\theta}\right)\right)\\ &=\lambda_{\infty}\left(A\cap\left(\bigsqcup_{\theta\in B}E_{\theta}\right)\right)\\ &=\int P_{\theta}^{\infty}\left(A\cap\left(\bigsqcup_{\theta\in B}E_{\theta}\right)\right)\,\Pi(d\theta)\\ &=\int_{B} P_{\theta}^{\infty}(A)\,\Pi(d\theta)\\ &=\lambda_{\infty,\Pi}(A\times B). \end{aligned} \] 즉 \(f_{B}\)는 사후분포가 되며, 마팅게일 수렴 정리에 의해 \(\Pi_{n}(B\mid\mathcal{F}_{n}(\omega))\to f_{B}(\omega)\) \(\lambda_{\infty}\)-a.s..

\(\Theta\)도 폴란드 공간이므로 셀 수 있는 기저 \(\mathcal{B}_{0}\)가 존재한다. 모든 \(B_{i}\in\mathcal{B}_{0}\)에 대해 \(C_{i}\subset X^{\infty}\)가 존재하여 \(\lambda_{\infty}(C_{i})=1\)이고 \(\omega\in C_{i}: \Pi_{n}(B_{i}\mid\mathcal{F}_{n}(\omega))\to f_{B_{i}}(\omega)\). 이 때 \(\lambda_{\infty}(C_{i})=\int P_{\theta}^{\infty}(C_{i})\,\Pi(d\theta)=1\)이고 \(P_{\theta}^{\infty}\leq1\)이므로 \(P_{\theta}^{\infty}(C_{i})=1\) \(\Pi\)-a.s.. 즉, \(D_{i}\subset\Theta\)가 존재하여 \(\Pi(D_{i})=1\)이고 \(\theta\in D_{i}:P_{\theta}^{\infty}(C_{i})=1\)이다. \(D=\bigcap_{i}D_{i}\), \(C=\bigcap_{i}C_{i}\)라 하면 모든 \(\theta\in D\)에 대하여 \(P_{\theta}^{\infty}(C)=1\)이 성립한다. 이 때, 모든 \(\theta\in D\)에 대해 \(P_{\theta}^{\infty}(C\bigcap E_{\theta})=1\)이며 \(\theta\in B_{i}\in\mathcal{B}_{0}\)인 모든 \(B_{i}\)에 대해 \(\omega\in C\bigcap E_{\theta}: \lim_{n}\Pi_{n}(B_{i}\mid\mathcal{F}_{n}(\omega)) =f_{B_{i}}(\omega)\geq f_{\{\theta\}}(\omega)=\mathbf{1}_{E_{\theta}}(\omega)=1\). 따라서 \(\theta\in D\)에서 사후분포가 일치성을 가지며, \(\Pi(D)=1\)이므로 사후분포는 \(\Pi\)-a.s. 일치성을 가진다. \(\Box\)

Doob의 정리는 모수공간과 자료의 공간이 조건만 만족하면 성립하지만, 일치성이 성립하는 공간의 정확한 정보는 알려주지 않으므로 특정한 모수의 일치성에 대해서 아무런 얘기를 할 수 없다. 뿐만 아니라 부적절한 사전분포가 이용되는 모수적 베이즈 모형에는 적용이 불가능하다. 따라서 이를 보완하기 위한 첫 단계로서 Schwartz 정리를 알아보자.

Schwartz의 정리

먼저 다음 보조정리가 필요하다.

보조정리 2. \(\theta_{0}\in B\in\mathcal{B}\)일 때 다음은 모두 동치이다:

  1. \(\{\phi_{n}: X^{n}\to[0,1]\}\)이 존재해 \(\mathbb{E}_{\theta_{0}}\phi_{n}(Y_{1},\dots,Y_{n})\to0\) 및 \(\inf_{\theta\in B^{c}}\mathbb{E}_{\theta}\phi_{n}(Y_{1},\dots,Y_{n})\to1\)이 성립한다.
  2. \(\phi_{m}: X^{m}\to[0,1]\)이 존재해 \(\mathbb{E}_{\theta_{0}}\phi_{m}(Y_{1},\dots,Y_{m}) < \inf_{\theta\in B^{c}}\mathbb{E}_{\theta}\phi_{m}(Y_{1},\dots,Y_{m})\)이 성립한다.
  3. \(\{\phi_{n}: X^{n}\to[0,1]\}\)이 존재해 어떤 \(C,\beta>0\)에 대해 \(\mathbb{E}_{\theta_{0}}\phi_{n}(Y_{1},\dots,Y_{n}) < Ce^{-n\beta}\) 및 \(\inf_{\theta\in B^{c}}\mathbb{E}_{\theta}\phi_{n}(Y_{1},\dots,Y_{n})>1-Ce^{-n\beta}\)가 성립한다.

증명. (1)\(\Rightarrow\)(2)와 (3)\(\Rightarrow\)(1)은 자명하므로 (2)\(\Rightarrow\)(3)을 보이자. \(\alpha=\mathbb{E}_{\theta_{0}}\phi_{m}<\inf_{\theta\in B^{c}}\mathbb{E}_{\theta}\phi_{m}=\gamma\)라 하고 \[ \begin{aligned} A_{k} &=\left\{ (y_{1},\dots,y_{mk}): \frac1k\sum_{i=1}^{k}\phi_{m}(y_{m(i-1)+1},y_{m(i-1)+2},\dots,y_{mi})>\frac{\alpha+\gamma}2\right \},\\ C_{n} &=\left\{(y_{1},\dots,y_{n}):(y_{1},\dots,y_{mk})\in A_{k},mk\leq n < m(k+1)\right\} \end{aligned} \]를 정의하자 (단, \(n < m\)일 때 \(C_{n}=X^{n}\)). \(\phi_{n}=\mathbf{1}_{C_{n}}\)라 하면 \(n\geq m\)일 때 Hoeffding 부등식으로부터 \[ \begin{aligned} \mathbb{E}_{\theta_{0}}\phi_{n} &=P_{\theta_{0}}^{n}(C_{n}) =P_{\theta_{0}}^{mk}(A_{k})\\ &=P_{\theta_{0}}^{mk}\left(\frac1k\sum_{i=1}^{k}\phi_{m}(Y_{m(i-1)+1},Y_{m(i-1)+2},\dots,Y_{mi})-\mathbb{E}_{\theta_{0}}\phi_{m}>\frac{\gamma-\alpha}2\right)\\ &\leq\exp\left(-\frac{(\gamma-\alpha)^{2}}{2}k\right) <\exp\left(-\frac{(\gamma-\alpha)^{2}}{2m}n+\frac{(\gamma-\alpha)^{2}}{2}\right),\\ \mathbb{E}_{\theta}\phi_{n} &=P_{\theta}^{n}(C_{n}) =P_{\theta}^{mk}(A_{k}) =1-P_{\theta}^{mk}(A_{k}^{c})\\ &=1-P_{\theta}^{mk}\left(-\frac1k\sum_{i=1}^{k}\phi_{m}(Y_{m(i-1)+1},Y_{m(i-1)+2},\dots,Y_{mi})+\mathbb{E}_{\theta}\phi_{m}\geq\frac{\gamma-\alpha}2\right)\\ &\geq1-\exp\left(-\frac{(\gamma-\alpha)^{2}}{2}k\right)>1-\exp\left(-\frac{(\gamma-\alpha)^{2}}{2m}n+\frac{(\gamma-\alpha)^{2}}{2}\right). \end{aligned} \] 따라서 \(C,\beta\)가 존재하여 모든 \(n\)에 대해 \(\mathbb{E}_{\theta_{0}}\phi_{n}\leq Ce^{-n\beta}\)이고 \(\inf_{\theta\in B^{c}}\mathbb{E}_{\theta}\phi_{n}\geq1-Ce^{-n\beta}\)이다. \(\Box\)

\(X\)는 폴란드 공간, \(\mathcal{A}\)는 보렐 \(\sigma\)-대수이며 \((X,\mathcal{A})\) 위에 \(\sigma\)-유한한 측도 \(\mu\)가 존재한다고 하자. 이 때, \(P\ll\mu\)인 모든 확률측도 \(P\)의 밀도함수 \(dP/d\mu\)를 모은 집합을 \(L_{\mu}\)로 정의하자. 앞으로 모수공간은 \(L_{\mu}\)이며 \(\mathcal{B}\)는 \(L_{\mu}\)위의 보렐 \(\sigma\)-대수로 생각한다. 이 때, \(L_{\mu}\) 위에서 \(KL(f;g)=\int f\log(f/g)\,d\mu\) 및 \(K_{\epsilon}(f)=\{g:KL(f;g)<\epsilon\}\)를 정의할 수 있으며, \(\Pi\)를 \(L_{\mu}\) 위의 사전분포로 했을 때 \(KL(\Pi)=\{f: \Pi(K_{\epsilon}(f))>0, \forall\epsilon>0\}\)로 정의하자.

정리 3 (Schwartz). \(f_{0}\in B\in\mathcal{B}\)라 하자. 만일 \(f_{0}\in KL(\Pi)\)이고 검정함수열 \(\{\phi_{n}: X^{n}\to[0,1]\}\)이 존재해 \(\mathbb{E}_{f_{0}}\phi_{n}(Y_{1},\dots,Y_{n})\to0\), \(\inf_{f\in B^{c}}\mathbb{E}_{f}\phi_{n}(Y_{1},\dots,Y_{n})\to1\)이면 \(\Pi_{n}(B\mid\mathcal{F}_{n}(\omega))\to1\) \(P_{f_{0}}^{\infty}\)-a.s.이다.

증명. \(\Pi_{n}(B^{c}|\mathcal{F}_{n}(\omega))\to0\) \(P_{f_{0}}^{\infty}\)-a.s.을 보여도 충분한데, \(\Pi(B^{c})=0\)이면 자명하므로 \(\Pi(B^{c})>0\)일 때를 생각하자. \(g_{n}=\prod_{i=1}^{n}f_{0}(Y_{i})\), \(h_{n}=\int_{B^{c}}\prod_{i=1}^{n}f(Y_{i})\Pi(df)/\Pi(B^{c})\)로 하면 보조정리 2 및 간단한 계산으로부터 \[ \int\sqrt{g_{n}h_{n}}\,d\mu^{n}\leq\sqrt{1-\frac{|g_{n}-h_{n}|_{1}^{2}}{4}}\leq 2Ce^{-n\beta}. \] 임의의 \(\delta>0\)에 대해 \[ \begin{aligned} \sum_{n}P_{f_{0}}^{n}\left(e^{n\beta}h_{n}/g_{n}\geq\delta\right) &=\sum_{n}P_{f_{0}}^{n}\left(e^{n\beta/2}\sqrt{h_{n}/g_{n}}\geq\sqrt\delta\right)\\ &=\sum_{n}\int \mathbf{1}(e^{n\beta/2}\sqrt{h_{n}/g_{n}}\geq\sqrt\delta)g_{n}\,d\mu^{n}\\ &=\frac1{\sqrt{\delta}}\sum_{n}\int\sqrt{\delta}\mathbf{1}(e^{n\beta/2}\sqrt{h_{n}/g_{n}}\geq\sqrt\delta)g_{n}\,d\mu^{n}\\ &\leq\frac1{\sqrt{\delta}}\sum_{n}\int e^{n\beta/2}\sqrt{g_{n}h_{n}}\,d\mu^{n}\\ &\leq\frac{2C}{\sqrt\delta}\sum_{n}e^{-n\beta/2}<\infty. \end{aligned} \] 따라서 \(\Pi(B^{c})>0\)와 Borel–Cantelli 보조정리에 의해 \[ \lim_{n}e^{n\beta}\int_{B^{c}}\prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\Pi(df)=0\quad P_{f_0}^\infty\text{-a.s.}.\qquad(1) \]

모든 \(\epsilon>0\)에 대해 \(f_{0}\in KL(\Pi)\)이므로 \(\Pi(K_{\epsilon}(f_{0}))>0\)이며, 강대수의 법칙에 의해 \(\frac1n\sum_{i=1}^{n}\log(f_{0}(Y_{i})/f(Y_{i}))\to KL(f_{0};f)\) \(P_{f_{0}}^{\infty}\)-a.s.이므로 \[ \begin{aligned} \liminf_{n}e^{2n\epsilon}\int_{L_{\mu}}\prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\Pi(df) &\geq\liminf_{n}\int_{K_{\epsilon}(f_{0})}e^{2n\epsilon}\prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\Pi(df)\\ &\geq\int_{K_{\epsilon}(f_{0})}\liminf_{n}\exp\left(2n\epsilon-\sum_{i=1}^{n}\log\frac{f(Y_{i})}{f_{0}(Y_{i})}\right)\Pi(df)\\ &=\infty\quad P_{f_{0}}^{\infty}\text{-a.s.}. \end{aligned} \] 따라서 모든 \(r>0\)에 대해 \[ \liminf_{n}e^{nr}\int_{L_{\mu}}\prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\Pi(df) =\infty\quad P_{f_0}^\infty\text{-a.s.}.\qquad(2) \] 식 (1)과 (2)로부터 \[ \Pi_{n}(B^{c}|\mathcal{F}_{n}(\omega)) =\frac{\int_{B^{c}}\prod_{i=1}^{n}f(Y_{i})\Pi(df)}{\int_{L_{\mu}}\prod_{i=1}^{n}f(Y_{i})\Pi(df)} =\frac{e^{n\beta}\int_{B^{c}}\prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\Pi(df)} {e^{n\beta}\int_{L_{\mu}}\prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\Pi(df)} \to0\quad P_{f_{0}}^{\infty}\text{-a.s.} \] 이므로 \(\Pi_{n}(B|\mathcal{F}_{n}(\omega))\to1\) \(P_{f_{0}}^{\infty}\)-a.s.. \(\Box\)

Doob의 정리와 다르게 Schwartz의 정리는 특정 모수의 일치성을 얘기하기 위해 자주 사용되는 정리이다. 다만 이 정리도 부적절한 사전분포에 대해서는 성립하지 않는데다 \(KL(\Pi)\)가 크지 않을 수 있으므로 몇몇 모수적 모형에서는 유용하게 적용되기 힘들다.

강한 일치성과 약한 일치성

이제 Schwartz 정리를 이용하여 \(L_{\mu}\) 위에서 일치성이 성립할 조건을 찾고자 한다. 먼저 \(L_{\mu}\) 위에서 여러 일치성을 정의하고자 하는데, 위상에 따라 서로 다른 일치성을 정의할 수 있다.

정의 (강한 일치성; Strong consistency). \(f,g\in L_{\mu}\)에 대해 \(L_{1}\) 거리 \(|f-g|_{1}\)로부터 유도되는 위상에 대한 일치성을 강한 일치성 혹은 \(L_{1}\) 일치성이라 한다.

정의 (약한 일치성; Weak consistency). \(f_{n},f\in L_{\mu}\)에 대해 거리 \(d\)가 \(d(f_{n},f)\to0\Leftrightarrow f_{n}\to_{w}f\)를 만족한다고 하자. 거리 \(d\)로부터 유도되는 위상을 약한 위상이라 하고, 약한 위상에 대한 일치성을 약한 일치성이라 한다.

\(L_{\mu}\)에 \(L_{1}\) 거리 위상 혹은 약한 위상이 주어진 경우 폴란드 공간이 됨이 알려져 있므로 사후분포의 존재성이 보장된다. 이제 \(f_{0}\in L_{\mu}\)가 어떠한 조건에서 일치성이 성립할지 보는데, 약한 일치성의 경우는 \(KL(\Pi)\)에 속하기만 해도 성립한다.

정리 4. 만일 \(f_{0}\in KL(\Pi)\)이면 사후분포는 \(f_{0}\)에서 약한 일치성을 가진다.

증명. 약한 위상에서 \(f_{0}\)의 이웃의 부분기저는 \[ \left\{U_{\epsilon,\phi} =\left\{f: \lvert\int\phi f\,d\mu-\int \phi f_{0}\,d\mu\rvert<\epsilon\right\}: \epsilon>0, \phi\in C^{b}(X)\right\} \]이므로 모든 \(U_{\epsilon,\phi}\)에 대해 사후분포가 1로 수렴함을 보이면 충분하다. 이 때 \(\phi\)는 유계연속이므로 또다른 유계연속함수 \(\phi^{\ast}=a\phi+c\) (\(a>0\))를 잡아 \(0\leq\phi^{\ast}\leq1\)이 되도록 할 수 있으며 이 경우 \(\phi^{\ast}\) 및 \(1-\phi^{\ast}\)는 검정함수로 생각할 수 있다.

\(U_{1}=\left\{f: \int\phi^{\ast}f\,d\mu-\int \phi^{\ast}f_{0}\,d\mu < a\epsilon\right\}\), \(U_{2}=\left\{f: \int(1-\phi^{\ast}) f\,d\mu-\int (1-\phi^{\ast}) f_{0}\,d\mu < a\epsilon\right\}\)로 하면 \(U_{\epsilon,\phi}=U_{1}\cap U_{2}\). 이 때 \(f\in U_{1}^{c}\)이면 \(\mathbb{E}_{f_{0}}\phi^{\ast}+a\epsilon<\mathbb{E}_{f}\phi^{\ast}\)이므로 보조정리 2와 Schwartz 정리에서 \(\Pi_{n}(U_{1}\mid\mathcal{F}_{n}(\omega))\to1\) \(P_{f_{0}}^{\infty}\)-a.s.. 비슷하게 \(f\in U_{2}^{c}\)이면 \(\mathbb{E}_{f_{0}}(1-\phi^{\ast})+a\epsilon<\mathbb{E}_{f}(1-\phi^{\ast})\)이므로 \(\Pi_{n}(U_{2}\mid\mathcal{F}_{n}(\omega))\to1\) \(P_{f_{0}}^{\infty}\)-a.s.. 따라서 \(\Pi_{n}(U_{\epsilon,\phi}\mid\mathcal{F}_{n}(\omega))=\Pi_{n}(U_{1}\cap U_{2}\mid\mathcal{F}_{n}(\omega))\to 1\) \(P_{f_{0}}^{\infty}\)-a.s.이므로 사후분포는 \(f_{0}\)에서 약한 일치성을 가진다. \(\Box\)

강한 일치성을 보이기 위해서는 더 강한 조건이 필요한데, 이를 증명하기 위해 다음 보조정리가 필요하다.

보조정리 5. \(f_{0}\in U\), \(f_{0}\in KL(\Pi)\)이며 어떤 \(C_{1},C_{2},\beta_{1},\beta_{2}>0\) 및 \(V_{n},W_{n},\phi_{n}\)이 존재하여

  1. \(U^{c}\subset W_{n}\cup V_{n}\),
  2. \(\Pi(W_{n})\leq C_{1}e^{-n\beta_{1}}\),
  3. \(P_{f_{0}}^{\infty}(\phi_{n}(\mathcal{F}_{n}(\omega))>0~i.o.)=0\),
  4. \(\inf_{f\in V_{n}}\mathbb{E}_{f}\phi_{n}\geq 1-C_{2}e^{-n\beta_{2}}\)

를 만족하면 어떤 \(\beta_{0}>0\)가 존재하여 \(P_{f_{0}}^{\infty}(\Pi_{n}(U^{c}\mid\mathcal{F}_{n}(\omega))>e^{-n\beta_{0}}~i.o.)=0\).

증명. \(\Pi_{n}(U^{c}|\mathcal{F}_{n}(\omega))\leq \Pi_{n}(W_{n}|\mathcal{F}_{n}(\omega))+ \phi_{n}\Pi_{n}(V_{n}|\mathcal{F}_{n}(\omega))+ (1-\phi_{n})\Pi_{n}(V_{n}|\mathcal{F}_{n}(\omega))\). 여기서 \(P_{f_{0}}^{\infty}(\phi_{n}>0~i.o.)=0\)이므로 \(P_{f_{0}}^{\infty}(\phi_{n}\Pi_{n}(V_{n}|\mathcal{F}_{n}(\omega))>0~i.o.)=0\). 또 \(g_{n}=\prod_{i=1}^{n}f_{0}(Y_{i})\), \(h_{n}=\int_{W_{n}}\prod_{i=1}^{n}f(Y_{i})\,\Pi(df)\)로 하면 \[ \begin{aligned} &\sum_{n}P_{f_{0}}^{n}\left(h_{n}/g_{n}\geq e^{-n\beta_{1}/2}\right)\\ &=\sum_{n}e^{n\beta_{1}/2}\int e^{-n\beta_{1}/2}\mathbf{1}(h_{n}/g_{n}\geq e^{-n\beta_{1}/2})g_{n}\,d\mu^{n}\\ &\leq \sum_{n}e^{n\beta_{1}/2}\int h_{n}\,d\mu^{n}\\ &=\sum_{n}e^{n\beta_{1}/2}\int \int_{W_{n}}\prod_{i=1}^{n}f(Y_{i})\,\Pi(df)\,d\mu^{n}\\ &=\sum_{n}e^{n\beta_{1}/2}\Pi(W_{n})\\ &\leq\sum_{n}C_{1}e^{-n\beta_{1}/2}<\infty. \end{aligned} \] 따라서 Borel–Cantelli 보조정리에 의해 \[ P_{f_{0}}^{\infty}\left(\int_{W_{n}}\prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\Pi(df)\geq e^{-n\beta_{1}/2}~i.o.\right) =0.\qquad(3) \] 식 (2)와 (3)에 의해 \(P_{f_{0}}^{\infty}(\Pi_{n}(W_{n}|\mathcal{F}_{n}(\omega))\geq e^{-n\beta_{1}/2}~i.o.) =0\).

비슷하게 \(g_{n}=\prod_{i=1}^{n}f_{0}(Y_{i})\), \(h_{n}=(1-\phi_{n})\int_{V_{n}}\prod_{i=1}^{n}f(Y_{i})\,\Pi(df)\)로 하면 \[ \begin{aligned} &\sum_{n}P_{f_{0}}^{n}\left(h_{n}/g_{n}\geq e^{-n\beta_{2}/2}\right)\\ &\leq \sum_{n}e^{n\beta_{2}/2}\int h_{n}\,d\mu^{n}\\ &=\sum_{n}e^{n\beta_{2}/2}\int \int_{V_{n}}(1-\phi_{n})\prod_{i=1}^{n}f(Y_{i})\,\Pi(df)\,d\mu^{n}\\ &=\sum_{n}e^{n\beta_{2}/2}\int_{V_{n}}\mathbb{E}_{f}[1-\phi_{n}]\,\Pi(df)\\ &\leq\sum_{n}C_{2}e^{-n\beta_{2}/2}<\infty. \end{aligned} \] Borel–Cantelli 보조정리로 \[ P_{f_{0}}^{\infty}\left( (1-\phi_{n})\int_{V_{n}}\prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\Pi(df)\geq e^{-n\beta_{2}/2}~i.o. \right)=0.\qquad(4) \] 식 (2)와 (4)에 의해 \(P_{f_{0}}^{\infty}( (1-\phi_{n})\Pi_{n}(V_{n}|\mathcal{F}_{n}(\omega))\geq e^{-n\beta_{2}/2}~i.o. )=0\). 결과를 모두 정리하면 \(e^{-n\beta_{1}/2}+e^{-n\beta_{2}/2} < e^{-n\beta_{0}}\)인 \(\beta_{0}\)에 대해 \(P_{f_{0}}^{\infty}(\Pi_{n}(U^{c}|\mathcal{F}_{n}(\omega))> e^{-n\beta_{0}}~i.o.)=0\). \(\Box\)

정리 6. \(\mathcal{G}\subset\bigcup_{i=1}^{n}\{f:d(f_{i},f)<\delta\}\)를 만족하는 \(f_{1},f_{2},\dots,f_{n}\)이 존재할 최소의 \(n\)을 \(N(\delta,\mathcal{G},d)\)으로 정의하자. 만일 \(f_{0}\in KL(\Pi)\)이고 모든 \(\epsilon>0\)에 대해 \(\{\mathcal{G}_{n}\}\subset L_{\mu}\)가 존재하여 충분히 큰 \(n\)에 대해

  1. \(\exists C,\beta>0: \Pi(\mathcal{G}_{n}^{c}) < Ce^{-n\beta}\),
  2. \(\exists\delta<\epsilon,\gamma<\epsilon^{2}/8: \log N(\delta,\mathcal{G}_{n},|\cdot|_{1}) < n\gamma\)

를 만족하면 사후분포는 \(f_{0}\)에서 강한 일치성을 가진다.

증명. \(L_{1}\) 위상에서 \(f_{0}\)의 이웃의 기저는 \(\left\{U_{\epsilon}=\left\{f:|f-f_{0}|_{1}<\epsilon\right\}: \epsilon>0\right\}\)이므로 모든 \(U_{\epsilon}\)에 대해 사후분포가 1로 수렴함을 보이면 충분하며, 이는 보조정리 5의 조건을 만족함을 보임으로서 증명할 수 있다. \(V_{n}=\mathcal{G}_{n}\cap U_{\epsilon}^{c}\), \(W_{n}=\mathcal{G}_{n}^{c}\)로 하면 \(U_{\epsilon}^{c}=W_{n}\cup V_{n}\)이고 \(\Pi(W_{n}) < Ce^{-n\beta}\)로 조건 (i)와 (ii)가 성립. \(k=N(\delta,\mathcal{G}_{n},|\cdot|_{1})\)로 하고 \(\mathcal{G}_{n}\subset\bigcup_{j=1}^{k}G_{i}\), \(G_{i}=\{f:|f-g_{i}|_{1}<\delta\}\)인 \(g_{1},\dots,g_{k}\in L_{\mu}\)를 잡고 \(f_{i}\in V_{n}\cap G_{i}\)를 잡자. \(f_{i}\in V_{n}\)이므로 \(|f_{i}-f_{0}|_{1}\geq \epsilon\)이며 \(A_{i}=\{(y_{1},\dots,y_{n}): f_{i}>f_{0}\}\)로 하면 \(P_{f_{0}}(A_{i})=\alpha_{i}, P_{f_{i}}(A_{i})=\gamma_{i}\geq\alpha_{i}+\epsilon/2\). 이제 \[ B_{i}=\left\{ (y_{1},\dots,y_{n}): \frac1n\sum_{j=1}^{k}\mathbf{1}_{A_{i}}(y_{j})\geq\frac{\gamma_{i}+\alpha_{i}}2 \right\} \]로 하면 Hoeffding 부등식으로부터 \(P_{f_{0}}^{\infty}(B_{i})\leq e^{-n(\gamma_{i}-\alpha_{i})^{2}/2}\leq e^{-n\epsilon^{2}/8}\). 또한 \(\forall g\in G_{i}: |f_{i}-g|_{1}<2\delta\)로 하면 \(P_{g}(A_{i})>\gamma-\delta\)이므로 비슷하게 \[ \begin{aligned} P_{g}^{\infty}(B_{i}) &=P_{g}^{\infty}\left(\frac1n\sum_{j=1}^{k}\mathbf{1}_{A_{i}}(y_{j})\geq\frac{\gamma_{i}+\alpha_{i}}2\right)\\ &\geq P_{g}^{\infty}\left(\frac1n\sum_{j=1}^{k}\mathbf{1}_{A_{i}}(y_{j})-P_{g}(A_{i})\geq\frac{\alpha_{i}-\gamma_{i}}2+\delta\right)\\ &\geq 1-P_{g}^{\infty}\left(-\frac1n\sum_{j=1}^{k}\mathbf{1}_{A_{i}}(y_{j})+P_{g}(A_{i})>\frac{\epsilon}4-\delta\right)\\ &\geq 1-\exp\left(-n\times2\left(\frac\epsilon4-\delta\right)^{2}\right)\\ &=1-e^{-n\beta_{2}}. \end{aligned} \] \(\phi_{n}=\max_{i\leq k}\mathbf{1}_{B_{i}}\)로 하자. \(\inf_{f\in V_{n}}\mathbb{E}_{f}\phi_{n}\geq P_{g}^{\infty}(B_{i})\geq1-e^{-n\beta_{2}}\)로 조건 (iv)를 만족. 또한 \[ \begin{aligned} \sum_{n}P_{f_{0}}(\phi_{n}>0) &=\sum_{n}P_{f_{0}}(\phi_{n}=1)\\ &\leq\sum_{n}\sum_{i=1}^{k}P_{f_{0}}(B_{i})\\ &\leq\sum_{n}e^{-n\epsilon^{2}/8+\log k}\\ &\leq\sum_{n}e^{-n(\epsilon^{2}/8-\gamma)}<\infty \end{aligned} \]으로 \(P_{f_{0}}(\phi_{n}>0~i.o.)=0\)로 조건 (iii)을 만족. 따라서 보조정리 5의 조건을 모두 만족한다. \(\Box\)

사후분포의 수렴 속도

사후분포가 일치성을 가진다면, 다음으로는 사후분포가 수렴하는 속도와 그러한 속도를 얻기 위한 조건을 생각해 볼 수 있다.

정의 (사후분포의 수렴속도; Posterior convergence rate). 모수공간 \(\Theta\)에 거리 \(d\)가 주어져있다고 가정하자. \(\theta_{0}\in\Theta\)이고 \(\epsilon_{n}\geq0\)이 존재하여 모든 \(M_{n}\to\infty\)에 대해 \(\Pi_{n}(\theta: d(\theta,\theta_{0})>M_{n}\epsilon_{n}\mid\mathcal{F}_{n}(\omega))\to0\) in \(P_{\theta_{0}}^{\infty}\)-prob.이면 사후분포가 \(\theta_{0}\)에서 \(\epsilon_{n}\)의 속도로 수렴한다라고 한다.

지금까지 중요하게 사용된 테크닉 중 하나는 1종오류 및 2종오류의 확률이 지수적으로 감소하는 검정함수 \(\phi\)를 찾는 것이다. 이는 사후분포의 수렴 속도와 관련되어서도 중요하게 사용되며, 그와 관련된 보조정리들을 먼저 정리할 필요성이 있다.

Exponentially Powerful Tests

\(L_{\mu}\) 위에서 Hellinger 거리 \(h^{2}(f,g)=\int(\sqrt{f}-\sqrt{g})^{2}\,d\mu\)를 정의하고, \(\rho(f,g)=\int\sqrt{f}\sqrt{g}\,d\mu\)로 정의하자.

보조정리 7. \(f\in L_{\mu}\)이고 \(\mathcal{G}\subset L_{\mu}\)가 볼록집합이며 \(\forall g\in\mathcal{G}: h(f,g)>\epsilon\)라고 하자. 이 때 모든 \(n\in\mathbb{N}\)에 대해 검정함수 \(\phi: X^{n}\to[0,1]\)이 존재하여 \(\mathbb{E}_{f}\phi\leq e^{-n\epsilon^{2}/2}\) 및 \(\inf_{g\in\mathcal{G}}\mathbb{E}_{g}\phi\geq1-e^{-n\epsilon^{2}/2}\)가 성립한다.

증명. 우선 \(\mathcal{G}\subset L_{\mu}\subset L^{1}(X,\mathcal{A},\mu)\)이므로 \(\mathcal{G}\)는 벡터공간에 속하는 볼록집합. \(L^{\infty}(X,\mathcal{A},\mu)\)가 국소볼록공간이며 \(\Phi=\{\phi: X\to[0,1]\}\subset L^{\infty}(X,\mathcal{A},\mu)\)는 당연히 볼록집합. 이 때 Banach–Alaoglu 정리에 의해 \(\{\phi: X\to[-1,1]\}\)이 약* 위상에 관하여 컴팩트이므로 \(\Phi\) 또한 약* 위상에 관해 컴팩트. 따라서 \((\phi,g)\mapsto\mathbb{E}_{f}\phi+\mathbb{E}_{g}(1-\phi)\)로 하면 최대최소정리에 의해 어떤 \(\phi^{\ast}\)가 존재하여 \(\mathbb{E}_{f}\phi^{\ast}+\sup_{g}\mathbb{E}_{g}(1-\phi^{\ast})= \sup_{g}\inf_{\phi}(\mathbb{E}_{f}\phi+\mathbb{E}_{g}(1-\phi))\). 여기서 \[ \begin{aligned} \inf_{\phi}(\mathbb{E}_{f}\phi+\mathbb{E}_{g}(1-\phi)) &=1+\inf_{\phi}\int\phi(f-g)\,d\mu\\ &=1+\int_{f<g}(f-g)\,d\mu\\ &=\int_{f<g}f\,d\mu+\int_{f\geq g}g\,d\mu\\ &\leq\int_{f<g}\sqrt{f}\sqrt{g}\,d\mu+\int_{f\geq g}\sqrt{f}\sqrt{g}\,d\mu\\ &=\rho(f,g)=1-h^{2}(f,g)\\ &\leq1-\epsilon^{2}/2. \end{aligned}\] 따라서 \(\mathbb{E}_{f}\phi^{\ast}+\sup_{g\in\mathcal{G}}\mathbb{E}_{g}(1-\phi^{\ast})\leq1-\epsilon^{2}/2\). 이 때 \(\phi_{n}(y_{1},\dots,y_{n})=\prod_{i=1}^{n}\phi^{\ast}(y_{i})\)로 두면 \[ \begin{aligned} &\mathbb{E}_{f}\phi_{n}+\sup_{g\in\mathcal{G}}\mathbb{E}_{g}(1-\phi_{n})\\ &=\int\phi_{n}(y_{1},\dots,y_{n})\prod_{i=1}^{n}f(y_{i})\,d\mu^{n} +\sup_{g\in\mathcal{G}}\int\phi_{n}(y_{1},\dots,y_{n})\prod_{i=1}^{n}g(y_{i})\,d\mu^{n}\\ &=\int\prod_{i=1}^{n}\phi^{\ast}(y_{i})f(y_{i})\,d\mu^{n} +\sup_{g\in\mathcal{G}}\int\prod_{i=1}^{n}\phi^{\ast}(y_{i})g(y_{i})\,d\mu^{n}\\ &=(\mathbb{E}_{f}\phi^{\ast})^{n}+\sup_{g\in\mathcal{G}}(\mathbb{E}_{g}(1-\phi^{\ast}))^{n}\\ &\leq(\mathbb{E}_{f}\phi^{\ast}+\sup_{g\in\mathcal{G}}\mathbb{E}_{g}(1-\phi^{\ast}))^{n}\\ &\leq(1-\epsilon^{2}/2)^{n}\leq e^{-n\epsilon^{2}/2}. \end{aligned} \] 따라서 \(\mathbb{E}_{f}\phi_{n}\leq e^{-n\epsilon^{2}/2}\)이며 \(\sup_{g\in\mathcal{G}}\mathbb{E}_{g}(1-\phi_{n})\leq e^{-n\epsilon^{2}/2}\)에서 \(\inf_{g\in\mathcal{G}}\mathbb{E}_{g}\phi_{n}\geq1-e^{-n\epsilon^{2}/2}\). \(\Box\)

보조정리 8. \(f\in L_{\mu}\)이고 \(\mathcal{G}\subset L_{\mu}\)가 볼록집합이며 거리 \(d\)는 항상 \(d(f,g)\leq h(f,g)\)를 만족한다고 하자. 만일 증가함수 \(D(\epsilon)\)이 존재하여 모든 \(\epsilon>\delta\geq0\)에 대해 \(N(\epsilon/4,\mathcal{G},d)\leq D(\epsilon)\)가 성립하면 모든 \(\epsilon>\delta\)에 대해 검정함수 \(\phi_{\epsilon}: X^{n}\to[0,1]\)이 존재하여 \[ \mathbb{E}_{f}\phi_{\epsilon}\leq D(\epsilon)\frac{e^{-n\epsilon^{2}/8}}{1-e^{-n\epsilon^{2}/8}}, \quad \inf_{g\in\mathcal{G}:d(f,g)>j\epsilon}\mathbb{E}_{g}\phi_{\epsilon}\geq 1- e^{-n\epsilon^{2}j^{2}/8},~\forall j=1,2,\dots \] 가 성립한다.

증명. \(j\in \mathbb{N}\)을 고정시키고, \(\mathcal{G}_{j}=\{g\in\mathcal{G}:j\epsilon< d(f,g)<2j\epsilon\}\)로 하자. \(\mathcal{G}_{j}\)에서 \(\forall k\neq l:d(g_{jk},g_{jl})\geq j\epsilon/2\)이 되도록 \(g_{j1},\dots,g_{jN_{j}}\)를 뽑으면 \(N_{j}\leq N(j\epsilon/4,\mathcal{G}_{j},d)\)이다. \(\mathcal{G}_{j}\)의 정의로부터 \(j\epsilon/2< \inf_{g\in B_{j\epsilon/2}(g_{jk})}d(f,g)\leq \inf_{g\in B_{j\epsilon/2}(g_{jk})}h(f,g)\)이 되므로 보조정리 7로부터 검정함수 \(\phi_{jk}:X^{n}\to[0,1]\)이 존재하여 \(\mathbb{E}_{f}\phi_{jk}\leq e^{-n\epsilon^{2}j^{2}/8}\) 및 \(\sup_{g\in B_{j\epsilon/2}(g_{jl})}\mathbb{E}_{g}(1-\phi_{jk})\leq e^{-n\epsilon^{2}j^{2}/8}\)가 성립. \(\phi_{\epsilon}(y_{1},\dots,y_{n})=\sup\{\phi_{jk}(y_{1},\dots,y_{n}):j\in\mathbb{N}, k\leq N_{j}\}\)라 하면 \[ \begin{aligned} \mathbb{E}_{f}\phi_{\epsilon} &\leq\sum_{j=1}^{\infty}N_{j}e^{-n\epsilon^{2}j^{2}/8}\\ &\leq\sum_{j=1}^{\infty}N(j\epsilon/4,\mathcal{G}_{j},d)e^{-n\epsilon^{2}j^{2}/8}\\ &\leq\sum_{j=1}^{\infty}D(\epsilon)e^{-n\epsilon^{2}j^{2}/8}\\ &\leq D(\epsilon)\frac{e^{-n\epsilon^{2}/8}}{1-e^{-n\epsilon^{2}/8}}. \end{aligned} \] 또한 \[ \begin{aligned} \sup_{g\in\mathcal{G}: d(f,g)>j\epsilon}\mathbb{E}_{g}(1-\phi_{\epsilon}) &=\sup_{i\geq j}\sup_{g\in\mathcal{G}_{i}}\mathbb{E}_{g}(1-\phi_{\epsilon})\\ &\leq\sup_{i\geq j}\sup_{k\leq N_{i}}\sup_{g\in B_{i\epsilon/2}(g_{ik})}\mathbb{E}_{g}(1-\phi_{\epsilon})\\ &\leq\sup_{i\geq j}\sup_{k\leq N_{i}}e^{-n\epsilon^{2}j^{2}/8}\\ &=e^{-n\epsilon^{2}j^{2}/8} \end{aligned} \]이므로 \(\inf_{g\in\mathcal{G}: d(f,g)>j\epsilon}\mathbb{E}_{g}\phi_{\epsilon}\geq 1-e^{-n\epsilon^{2}j^{2}/8}\). \(\Box\)

Ghosal et al.의 결과: 중요 정리

\(KL^{2}(f;g)=\int f\left(\log(f/g)\right)^{2}\,d\mu\), \(B(\epsilon)=\{f:KL(f_{0};f)\leq\epsilon^{2}, KL^{2}(f_{0};f)\leq\epsilon^{2}\}\)로 정의하며, 거리 \(d\)는 항상 \(d(f,g)\leq h(f,g)\)를 만족한다고 하자.

정리 9. 수열 \(\epsilon_{n}\)가 존재하여 \(\epsilon_{n}\to0\), \(n\epsilon_{n}^{2}\to\infty\)이고 어떤 \(C_{1},C_{2}>0\)와 \(\{ {\mathcal G}_{n}\}\subset L_{\mu}\)이 존재하여

  1. \(\log N(\epsilon_{n},{\mathcal G}_{n},d)\leq C_{1}n\epsilon_{n}^{2}\),
  2. \(\Pi({\mathcal G}_{n}^{c})\leq \exp(-n\epsilon_{n}^{2}(C_{2}+4))\),
  3. \(\Pi(B(\epsilon_{n}))\geq\exp(-n\epsilon_{n}^{2}C_{2})\)

이면 사후분포가 \(f_{0}\)에서 \(\epsilon_{n}\)의 속도로 수렴한다.

증명. \(\mathbb{E}|X_{n}-X|\to0\)이면 \(X_{n}\overset{P}{\to}X\)이고 \(\Pi_{n}\geq0\)이므로 \(\mathbb{E}_{f_{0}}\Pi_{n}(f: d(f,f_{0})>M_{n}\epsilon_{n}|{\mathcal F}_{n}(\omega))\to0\)을 보여도 충분하다. 모든 \(\epsilon>4\epsilon_{n}\)에 대해 \(N(\epsilon/4,\mathcal{G}_{n},d)\leq N(\epsilon_{n},\mathcal{G}_{n},d)\leq e^{C_{1}n\epsilon_{n}^{2}}\)이므로 보조정리 8을 적용하면 검정함수 \(\phi_{n}:X^{n}\to[0,1]\)이 존재하여 충분히 큰 \(M\)에 대해 \[ \mathbb{E}_{f_{0}}\phi_{n}\leq e^{C_{1}n\epsilon_{n}^{2}}\frac{e^{-nM^{2}\epsilon_{n}^{2}/8}}{1-e^{-nM^{2}\epsilon_{n}^{2}/8}}, \quad \inf_{f\in\mathcal{G}_{n}:d(f_{0},f)>M\epsilon_{n}}\mathbb{E}_{f}\phi_{n}\geq1-e^{-nM^{2}\epsilon_{n}^{2}/8}. \] 이 때 \(A_{n}= \{\omega:\int\prod_{i=1}^{n}f(Y_{i})/f_{0}(Y_{i})\,\Pi(df)\geq e^{-(2+C_{2})n\epsilon_{n}^{2}}\}\)로 하면 \[ \begin{aligned} &\Pi_{n}(f;d(f,f_{0})>M_{n}\epsilon_{n}|\mathcal{F}_{n}(\omega))\\ &=\frac{\int_{f:d(f,f_{0})>M_{n}\epsilon_{n}}\prod_{i=1}^{n}f(Y_{i})/f_{0}(Y_{i})\,\Pi(df)} {\int\prod_{i=1}^{n}f(Y_{i})/f_{0}(Y_{i})\,\Pi(df)}\\ &\leq\phi_{n}+\frac{\int_{f:d(f,f_{0})>M_{n}\epsilon_{n}}\prod_{i=1}^{n}f(Y_{i})/f_{0}(Y_{i})\,\Pi(df)(1-\phi_{n})} {\int\prod_{i=1}^{n}f(Y_{i})/f_{0}(Y_{i})\,\Pi(df)}\\ &\leq\phi_{n}+ \mathbf{1}_{A_{n}^{c}}+ e^{(2+C_{2})n\epsilon_{n}^{2}}\int_{f:d(f,f_{0})>M_{n}\epsilon_{n}} \prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\,\Pi(df)(1-\phi_{n})\\ &\leq\phi_{n}+ \mathbf{1}_{A_{n}^{c}}+ e^{(2+C_{2})n\epsilon_{n}^{2}}\int_{f\in\mathcal{G}_{n}:d(f,f_{0})>M_{n}\epsilon_{n}} \prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\,\Pi(df)(1-\phi_{n})\\ & \qquad+e^{(2+C_{2})n\epsilon_{n}^{2}}\int_{\mathcal{G}_{n}^{c}} \prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\,\Pi(df). \end{aligned} \] 우선 \(M_{n}\to\infty\) 및 \(n\epsilon_{n}^{2}\to\infty\)에서 \(\mathbb{E}_{f_{0}}\phi_{n}\to0\). \(D_{n}=\{\omega: 1/\Pi(B(\epsilon_{n}))\times\int_{B(\epsilon_{n})}\prod_{i=1}^{n}f(Y_{i})/f_{0}(Y_{i})\,\Pi(df) \geq e^{-2n\epsilon_{n}^{2}}\}\)로 정의하자. \(D_{n}\)의 좌변을 살펴보면 사전분포 \(\Pi\)를 영역 \(B(\epsilon_{n})\)로 제한시킨 후 normalizing을 한 것과 같으므로 새 사전분포 \(\Pi'\)가 존재해 \(D_{n}=\{\omega: \int_{B(\epsilon_{n})}\prod_{i=1}^{n}f(Y_{i})/f_{0}(Y_{i})\,\Pi'(df)\geq e^{-2n\epsilon_{n}^{2}}\}\). Jensen 부등식으로부터 \[ \log\int_{B(\epsilon_{n})}\prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\,\Pi'(df) \geq\sum_{i=1}^{n}\int_{B(\epsilon_{n})}\log\frac{f(Y_{i})}{f_{0}(Y_{i})}\,\Pi'(df). \] 위 식의 우변을 \(Z\)라 하면 \[ \begin{aligned} \mathbb{E}_{f_{0}}Z &=\sum_{i=1}^{n}\int \left(-\int_{B(\epsilon_{n})}\log\frac{f_{0}(Y_{i})}{f(Y_{i})}\,\Pi'(df)\right) \prod_{j=1}^{n}f_{0}(Y_{j})\,d\mu^{n}\\ &=-n\int_{B(\epsilon_{n})} KL(f_{0};f)\,\Pi'(df)\geq-n\epsilon_{n}^{2},\\ \mathbb{E}_{f_{0}}Z^{2} &=\sum_{i=1}^{n}\int \left(\int_{B(\epsilon_{n})}\log\frac{f_{0}(Y_{i})}{f(Y_{i})}\,\Pi'(df)\right)^{2} \prod_{j=1}^{n}f_{0}(Y_{j})\,d\mu^{n}\\ &\leq\sum_{i=1}^{n}\int \int_{B(\epsilon_{n})}\left(\log\frac{f_{0}(Y_{i})}{f(Y_{i})}\right)^{2}\,\Pi'(df) \prod_{j=1}^{n}f_{0}(Y_{j})\,d\mu^{n}\\ &=n\int_{B(\epsilon_{n})} KL^{2}(f_{0};f)\,\Pi'(df)\leq n\epsilon_{n}^{2}. \end{aligned} \] 조건에 의해 \(\Pi(B(\epsilon_{n}))\geq e^{-n\epsilon_{n}^{2}C_{2}}\)이므로 Chebyshev 부등식을 적용하면 \[ \begin{aligned} P_{f_{0}}(A_{n}) &\geq P_{f_{0}}(D_{n})\\ &=P_{f_{0}}\left( \log\int_{B(\epsilon_{n})}\prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\,\Pi'(df)\geq-2n\epsilon_{n}^{2} \right)\\ &\geq1-P_{f_{0}}\left(Z<-2n\epsilon_{n}^{2}\right)\\ &=1-P_{f_{0}}\left(Z-\mathbb{E}Z < -n\epsilon_{n}^{2}\right)\\ &\geq1-(n\epsilon_{n}^{2})^{-1} \end{aligned} \] 따라서 \(\mathbb{E}_{f_{0}}\mathbf{1}_{A_{n}^{c}}=P_{f_{0}}(A_{n}^{c})\to0\). 또한 \[ \begin{aligned} &e^{(2+C_{2})n\epsilon_{n}^{2}}\mathbb{E}_{f_{0}} \int_{f\in\mathcal{G}_{n}:d(f,f_{0})>M_{n}\epsilon_{n}} \prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\,\Pi(df)(1-\phi_{n})\\ &=e^{(2+C_{2})n\epsilon_{n}^{2}} \int\int_{f\in\mathcal{G}_{n}:d(f,f_{0})>M_{n}\epsilon_{n}} (1-\phi_{n})\prod_{i=1}^{n}f(Y_{i})\,\Pi(df)\,d\mu^{n}\\ &=e^{(2+C_{2})n\epsilon_{n}^{2}} \int_{f\in\mathcal{G}_{n}:d(f,f_{0})>M_{n}\epsilon_{n}} \mathbb{E}_{f}(1-\phi_{n})\,\Pi(df)\\ &\leq e^{(2+C_{2}-M_{n}^{2}/8)n\epsilon_{n}^{2}}\to0. \end{aligned} \] 마지막으로 \[ \begin{aligned} &e^{(2+C_{2})n\epsilon_{n}^{2}}\mathbb{E}_{f_{0}} \int_{\mathcal{G}_{n}^{c}}\prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\,\Pi(df)\\ &=e^{(2+C_{2})n\epsilon_{n}^{2}} \int\int_{\mathcal{G}_{n}^{c}}\prod_{i=1}^{n}f(Y_{i})\,\Pi(df)\,d\mu^{n}\\ &=e^{(2+C_{2})n\epsilon_{n}^{2}}\Pi(\mathcal{G}_{n}^{c})\\ &\leq e^{-2n\epsilon_{n}^{2}}\to0. \end{aligned} \] 따라서 \(\mathbb{E}_{f_{0}}\Pi_{n}(f: d(f,f_{0})>M_{n}\epsilon_{n}|{\mathcal F}_{n}(\omega))\to0\)이 되므로 성립한다. \(\Box\)

Ghosal et al.의 결과: 확장

정리 9는 두 가지 측면에서 확장이 가능하다. 우선 사후분포의 수렴 속도를 정의하는데 확률 수렴을 사용했는데, 이를 a.s. 수렴으로 바꾸었을 때 어떠한 조건에서 이를 만족하는지를 생각할 수 있다.

정리 10. 수열 \(\epsilon_{n}\)가 존재하여 \(\epsilon_{n}\to0\), \(n\epsilon_{n}^{2}\to\infty\)이고 어떤 \(C_{1},C_{2}>0\)와 \(\{ {\mathcal G}_{n}\}\subset L_{\mu}\)이 존재하여

  1. \(\log N(\epsilon_{n},{\mathcal G}_{n},d)\leq C_{1}n\epsilon_{n}^{2}\),
  2. \(\Pi({\mathcal G}_{n}^{c})\leq \exp(-n\epsilon_{n}^{2}(C_{2}+4))\),
  3. \(\forall \beta>0: \sum_{n=1}^{\infty}e^{-\beta n\epsilon_{n}^{2}}<\infty\),
  4. \(\Pi\left(f:h^{2}(f,f_{0})|f_{0}/f|_{\infty}\leq\epsilon_{n}^{2}\right)\geq\exp(-n\epsilon_{n}^{2}C_{2})\)

이면 사후분포가 \(f_{0}\)에서 \(\epsilon_{n}\)의 속도로 \(P_{f_{0}}^{\infty}\)-a.s. 수렴한다.

증명. \(A_{n}= \{\omega:\int\prod_{i=1}^{n}f(Y_{i})/f_{0}(Y_{i})\,\Pi(df)\geq e^{-(3+C_{2})n\epsilon_{n}^{2}}\}\)로 하자. 임의의 \(\beta_{1}>0\)에 대해 정리 9의 증명과정과 Markov 부등식으로부터 다음이 성립한다: \[ \begin{aligned} &P_{f_{0}}\left(\Pi_{n}\left(f; d(f,f_{0})>M_{n}\epsilon_{n}|\mathcal{F}_{n}(\omega)\right) > e^{-\beta_{1}n\epsilon_{n}^{2}}\right)\\ &\leq e^{\beta_{1}n\epsilon_{n}^{2}} \mathbb{E}_{f_{0}}\left[\Pi_{n}(f; d(f,f_{0})>M_{n}\epsilon_{n}|\mathcal{F}_{n}(\omega)\right]\\ &\leq e^{\beta_{1}n\epsilon_{n}^{2}} \left[ \mathbb{E}_{f_{0}}\phi_{n}+\mathbb{E}_{f_{0}}\mathbf{1}_{A_{n}^{c}}\right.\\ &\qquad+e^{(3+C_{2})n\epsilon_{n}^{2}} \mathbb{E}_{f_{0}}\int_{f\in\mathcal{G}_{n}:d(f,f_{0})>M_{n}\epsilon_{n}} \prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\,\Pi(df)(1-\phi_{n})\\ &\qquad\left.+e^{(3+C_{2})n\epsilon_{n}^{2}} \mathbb{E}_{f_{0}}\int_{\mathcal{G}_{n}^{c}} \prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\,\Pi(df) \right]\\ &\leq e^{\beta_{1}n\epsilon_{n}^{2}}\left[ P_{f_{0}}(A_{n}^{c}) +e^{C_{1}n\epsilon_{n}^{2}}\frac{e^{-M_{n}^{2}n\epsilon_{n}^{2}/8}}{1-e^{-M_{n}^{2}n\epsilon_{n}^{2}/8}} +e^{(3+C_{2}-M_{n}^{2}/8)n\epsilon_{n}^{2}} +e^{-n\epsilon_{n}^{2}} \right]. \end{aligned} \] 이제 어떤 \(c>0\)가 존재하여 \(P_{f_{0}}(A_{n}^{c})\leq e^{-cn\epsilon_{n}^{2}}\)가 됨을 보이면 충분한데, 이 경우 \(\beta_{1}\)을 충분히 작게 잡으면 위 식의 우변이 \(e^{-\beta_{2}n\epsilon_{n}^{2}}\)보다 작게 되는 \(\beta_{2}>0\)가 존재하므로 Borel–Cantelli 보조정리에 의해 \(\Pi_{n}(f;d(f,f_{0})>M_{n}\epsilon_{n}|\mathcal{F}_{n}(\omega))\to0\) \(P_{f_{0}}^{\infty}\)-a.s.가 되기 때문이다.

\(S_{n}=\{f: h^{2}(f,f_{0})|f_{0}/f|_{\infty}\leq\epsilon_{n}^{2}\}\), \(D_{n}=\{\omega: 1/\Pi(S_{n})\times\int_{S_{n}}\prod_{i=1}^{n}f(Y_{i})/f_{0}(Y_{i})\,\Pi(df)\geq e^{-3n\epsilon_{n}^{2}} \}\)로 정의하자. \(D_{n}\)의 좌변을 살펴보면 사전분포 \(\Pi\)를 영역 \(S_{n}\)으로 제한시킨 후 normalizing을 한 것과 같으므로 새 사전분포 \(\Pi'\)가 존재해 (D_{n}=\{\omega:\int_{S_{n}}\prod_{i=1}^{n}f(Y_{i})/f_{0}(Y_{i})\,\Pi'(df)\geq e^{-3n\epsilon_{n}^{2}}\}\). \(Z_{i}=\int_{S_{n}}\log(f(Y_{i})/f_{0}(Y_{i}))\,\Pi'(df)\)로 정의하면 \(Z_{i}\)들은 각각 독립이고 \(-\int f_{0}\log(f/f_{0})\,d\mu\leq2h^{2}(f,f_{0})|f_{0}/f|_{\infty}\)가 알려져 있으므로 \[ \begin{aligned} -\mathbb{E}Z_{i} &=\int\int_{S_{n}}-\log\frac{f(Y_{i})}{f_{0}(Y_{i})}\,\Pi'(df)f_{0}(Y_{i})\,d\mu\\ &=\int_{S_{n}}\int-f_{0}\log\frac{f}{f_{0}}\,d\mu\,\Pi'(df) \leq2\epsilon_{n}^{2}. \end{aligned} \] 또한 Jensen 부등식으로부터 \[ \begin{aligned} &e^{|Z_{i}|}-1-|Z_{i}|\\ &=\exp|\int_{S_{n}}\log\frac{f(Y_{i})}{f_{0}(Y_{i})}\,\Pi'(df)| -1 -|\int_{S_{n}}\log\frac{f(Y_{i})}{f_{0}(Y_{i})}\,\Pi'(df)|\\ &\leq\int_{S_{n}}\left(\exp|\log\frac{f(Y_{i})}{f_{0}(Y_{i})}| -1 -|\log\frac{f(Y_{i})}{f_{0}(Y_{i})}|\right)\,\Pi'(df). \end{aligned} \] \(c=-\log|f_{0}/f|\)라고 하자. 그러면 \(\log(f/f_{0})\geq c\)이고 \(c<0\)이므로 \[ \begin{aligned} &\mathbb{E}_{f_{0}}\left[e^{|Z_{i}|}-1-|Z_{i}|\right]\\ &\leq\int_{S_{n}}\mathbb{E}_{f_{0}}\left[\exp|\log\frac{f(Y_{i})}{f_{0}(Y_{i})}|-1-|\log\frac{f(Y_{i})}{f_{0}(Y_{i})}|\right]\,\Pi'(df)\\ &\leq\int2e^{-c}f_{0}\left(\exp(\frac12\log\frac{f}{f_{0}})-1\right)^{2}\,d\mu\\ &\leq2|f_{0}/f|\int\left(\sqrt{f}-\sqrt{f_{0}}\right)^{2}\,d\mu\\ &=2h^{2}(f,f_{0})|f_{0}/f|_{\infty}\leq 2\epsilon_{n}^{2}. \end{aligned} \] 조건을 만족하므로 Bernstein 부등식을 적용하면 \[ \begin{aligned} P_{f_{0}}(A_{n}^{c}) &\leq P_{f_{0}}(D_{n}^{c})\\ &=P_{f_{0}}\left( \log\int_{S_{n}}\prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\,\Pi'(df)< -3n\epsilon_{n}^{2} \right)\\ &\leq P_{f_{0}}\left(\sum_{i=1}^{n}Z_{i}< -3n\epsilon_{n}^{2}\right)\\ &\leq P_{f_{0}}\left(\sum_{i=1}^{n}(Z_{i}-\mathbb{E}Z_{i})< -n\epsilon_{n}^{2}\right)\\ &\leq P_{f_{0}}\left(|\sum_{i=1}^{n}(Z_{i}-\mathbb{E}Z_{i})|>n\epsilon_{n}^{2}\right)\\ &\leq 2\exp\left(-\frac12\frac{n^{2}\epsilon_{n}^{4}}{1+4n\epsilon_{n}^{2}}\right). \end{aligned} \] 따라서 적당한 \(c>0\)를 잡아 \(P_{f_{0}}(A_{n}^{c})\leq e^{-cn\epsilon_{n}^{2}}\)가 되도록 할 수 있으므로 성립한다. \(\Box\)

또한 \(n\epsilon_{n}^{2}\)가 발산하지 않는 경우를 포함하도록 정리를 확장하는 경우를 생각해 볼 수 있다.

정리 11. 수열 \(\epsilon_{n}\)가 존재하여 \(\epsilon_{n}\to0\), \(n\epsilon_{n}^{2}\to c>0\)이고 어떤 \(C_{1}>0\)과 \(\{ {\mathcal G}_{n}\}\subset L_{\mu}\)이 존재하여

  1. \(\sup_{\epsilon\geq\epsilon_{n}}\log N(\epsilon/4,\{f\in\mathcal{G}_{n}:\epsilon\leq d(f,f_{0})\leq 2\epsilon\},d)\leq C_{1}n\epsilon_{n}^{2}\),
  2. \(\Pi({\mathcal G}_{n}^{c})/\Pi(B(\epsilon_{n}))=o(e^{-2n\epsilon_{n}^{2}})\),
  3. \(\forall j>J: \Pi(f:j\epsilon_{n}<d(f,f_{0})\leq2j\epsilon_{n})/\Pi(B(\epsilon_{n}))\leq e^{n\epsilon_{n}^{2}j^{2}/8}\)

이면 사후분포가 \(f_{0}\)에서 \(\epsilon_{n}\)의 속도로 수렴한다.

증명. \(\mathbb{E}_{f_{0}}\Pi_{n}(f: d(f,f_{0})>M_{n}\epsilon_{n}|{\mathcal F}_{n}(\omega))\to0\)을 보여도 충분하다. 보조정리 8의 증명을 약간 변형하면 검정함수 \(\phi_{n}:X^{n}\to[0,1]\)이 존재하여 충분히 큰 \(M_{n}\)에 대해 다음이 성립함을 알 수 있다: \[ \mathbb{E}_{f_{0}}\phi_{n}\leq e^{C_{1}n\epsilon_{n}^{2}}\frac{e^{-nM_{n}^{2}\epsilon_{n}^{2}/8}}{1-e^{-nM_{n}^{2}\epsilon_{n}^{2}/8}},\quad\inf_{f\in\mathcal{G}_{n}:d(f_{0},f)>M_{n}\epsilon_{n}j}\mathbb{E}_{f}\phi_{n}\geq1-e^{-nM_{n}^{2}\epsilon_{n}^{2}j^{2}/8},\forall j = 1,2,\dots. \] 이 때 \(t\geq1\)에 대해 \(A_{n}=\{\omega:\int\prod_{i=1}^{n}f(Y_{i})/f_{0}(Y_{i})\,\Pi(df)\geq e^{-2tn\epsilon_{n}^{2}}\Pi(B(\epsilon_{n}))\}\)로 하면 \[ \begin{aligned} &\Pi_{n}(f;d(f,f_{0})>M_{n}\epsilon_{n}|\mathcal{F}_{n}(\omega))\\ &\leq\phi_{n}+\mathbf{1}_{A_{n}^{c}}\\ &\qquad+\frac{e^{2tn\epsilon_{n}^{2}}}{\Pi(B(\epsilon_{n}))}\int_{f\in\mathcal{G}_{n}:d(f,f_{0})>M_{n}\epsilon_{n}}\prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\,\Pi(df)(1-\phi_{n})\\ &\qquad+\frac{e^{2tn\epsilon_{n}^{2}}}{\Pi(B(\epsilon_{n}))}\int_{\mathcal{G}_{n}^{c}}\prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\,\Pi(df). \end{aligned} \] 우선 \(M_{n}\to\infty\)이므로 \(\mathbb{E}_{f_{0}}\phi_{n}\to0\). \(D_{n}=\{\omega:1/\Pi(B(\epsilon_{n}))\times\int_{B(\epsilon_{n})}\prod_{i=1}^{n}f(Y_{i})/f_{0}(Y_{i})\,\Pi(df)\geq e^{-2tn\epsilon_{n}^{2}}\}\)로 정의하자. \(D_{n}\)의 좌변을 살펴보면 사전분포 \(\Pi\)를 영역 \(B(\epsilon_{n})\)로 제한시킨 후 normalizing을 한 것과 같으므로 새 사전분포 \(\Pi'\)가 존재해 \(D_{n}=\{\omega:\int_{B(\epsilon_{n})}\prod_{i=1}^{n}f(Y_{i})/f_{0}(Y_{i})\,\Pi'(df)\geq e^{-2tn\epsilon_{n}^{2}}\}\). 그러면 정리 9의 증명에서 보인것처럼 \(\mathbb{E}_{f_{0}}\mathbf{1}_{A_{n}^{c}}=P_{f_{0}}(A_{n}^{c})\leq(t^{2}n\epsilon_{n}^{2})^{-1}\).

\(S_{nj}=\{f\in\mathcal{G}_{n}:j\epsilon_{n}<d(f,f_{0})\leq2j\epsilon_{n}\}\)으로 정의하면 \(\{f\in\mathcal{G}_{n}:d(f,f_{0})>M_{n}\epsilon_{n}\}\subset\bigcup_{j=\lfloor M_{n}\rfloor}^{\infty}S_{nj}\). \(M_{n}\to\infty\)므로 \(\forall n>N: M_{n}>J\)인 \(N\)이 존재하며, 이 때 \[\begin{aligned} &\frac{e^{2tn\epsilon_{n}^{2}}}{\Pi(B(\epsilon_{n}))}\mathbb{E}_{f_{0}}\int_{f\in\mathcal{G}_{n}:d(f,f_{0})>M_{n}\epsilon_{n}}\prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\,\Pi(df)(1-\phi_{n})\\ &\leq\frac{e^{2tn\epsilon_{n}^{2}}}{\Pi(B(\epsilon_{n}))}\sum_{j=\lfloor M_{n}\rfloor}^{\infty}\int_{S_{nj}}\mathbb{E}_{f}(1-\phi_{n})\,\Pi(df)\\ &\leq e^{2tn\epsilon_{n}^{2}} \sum_{j=\lfloor M_{n}\rfloor}^{\infty}\frac{\Pi(S_{nj})}{\Pi(B(\epsilon_{n}))}e^{-nM_{n}^{2}\epsilon_{n}^{2}j^{2}/8}\\ &\leq \sum_{j=\lfloor M_{n}\rfloor}^{\infty}e^{-n\epsilon_{n}^{2}(-2t+(M_{n}^{2}-1)j^{2}/8)}\to0 \end{aligned}\] 그리고 \[ \begin{aligned} &\frac{e^{2tn\epsilon_{n}^{2}}}{\Pi(B(\epsilon_{n}))}\mathbb{E}_{f_{0}}\int_{\mathcal{G}_{n}^{c}}\prod_{i=1}^{n}\frac{f(Y_{i})}{f_{0}(Y_{i})}\,\Pi(df)\\ &=\frac{e^{2tn\epsilon_{n}^{2}}}{\Pi(B(\epsilon_{n}))}\int\int_{\mathcal{G}_{n}^{c}}\prod_{i=1}^{n}f(Y_{i})\,\Pi(df)\,d\mu^{n}\\ &=e^{2tn\epsilon_{n}^{2}}\frac{\Pi(\mathcal{G}_{n}^{c})}{\Pi(B(\epsilon_{n}))}\\ &=e^{2tn\epsilon_{n}^{2}}o(e^{-2n\epsilon_{n}^{2}}). \end{aligned} \] 따라서 정리하면 \[ \begin{aligned} &\mathbb{E}_{f_{0}}\Pi_{n}(f;d(f,f_{0})>M_{n}\epsilon_{n}|\mathcal{F}_{n}(\omega))\\ &\leq\mathbb{E}_{f_{0}}\phi_{n} +\sum_{j=\lfloor M_{n}\rfloor}^{\infty}e^{-n\epsilon_{n}^{2}(-2t+(M_{n}^{2}-1)j^{2}/8)} +\frac1{t^{2}n\epsilon_{n}^{2}} +e^{2tn\epsilon_{n}^{2}}o(e^{-2n\epsilon_{n}^{2}}). \end{aligned} \] 만일 \(n\epsilon_{n}^{2}\to\infty\)이면 \(t=1\)일 때 \(RHS\to0\). 만일 \(n\epsilon_{n}^{2}\to c>0\)이면 \(t\geq1\)에 대해 \(RHS\to1/t^{2}c\)인데 임의의 \(t\geq1\)에 대해 성립하므로 \(t\to\infty\)로 하면 \(RHS\to0\)로 성립. \(\Box\)

참고 문헌

  • Ghosh, J. K. and R. V. Ramamoorthi (2003). Bayesian Nonparametrics. Springer.
  • Kleijn, B., A. van der Vaart, and H. van Zanten (2012). Lectures on nonparametric Bayesian statistics.
  • Ghosal, S., J. K. Ghosh, and A. W. van der Vaart (2000). Convergence rates of posterior distributions. The Annals of Statistics 28(2), 500–531.