3.3 Exemples d'estimateurs ponctuels

3.3.1 Estimateur ponctuel de l'espérance lorsque la variance est connue

• il est sans biais:
  \[\boxed{E\left(\overline{X}_{n}\right)=\mu}\]
  Preuve:
  \[E\left(\overline{X}_{n}\right)=\frac{1}{n}\sum_{i=1}^{n}E\left(X_{i}\right)=\frac{1}{n}\sum_{i=1}^{n}\mu=\mu\]
• sa variance est égale à \(\frac{\sigma^{2}}{n}\):
  \[\boxed{V\left(\overline{X}_{n}\right)=\frac{\sigma^{2}}{n}}\]
  Preuve:
  \[E\left(\overline{X}_{n}^{2}\right)=\frac{1}{n^{2}}\sum_{i=1}^{n}\sum_{j=1}^{n}E\left(X_{i}X_{j}\right)\]
  Les v.a. \(X_{1}\), ...,\(X_{n}\) étant indépendantes:
  \(E\left(X_{i}X_{j}\right)=E\left(X_{i}\right)E\left(X_{j}\right)=\mu^{2}\) si \(i\neq j\)
  On remarque que cette contribution apparaît \(n^{2}-n\) fois dans la double somme.
  Donc:
  \[E\left(\overline{X}_{n}^{2}\right)=\frac{1}{n^{2}}\sum_{i=1}^{n}E\left(X_{i}^{2}\right)+\frac{1}{n^{2}}\left(n^{2}-n\right)\mu^{2}\]
  Puisqu'elles ont même variance \(\sigma^{2}\):
  \[E\left(X_{i}^{2}\right)-E^{2}\left(X_{i}\right)=\sigma^{2}\]
  Finalement:
  \[V\left(\overline{X}_{n}\right)=E\left(\overline{X}_{n}^{2}\right)-E^{2}\left(\overline{X}_{n}\right)=\frac{1}{n^{2}}\sum_{i=1}^{n}\left(\sigma^{2}+\mu^{2}\right)+\frac{1}{n^{2}}\left(n^{2}-n\right)\mu^{2}-\mu^{2}\]
  soit:
  \[V\left(\overline{X}_{n}\right)=\frac{\sigma^{2}}{n}\]
• \(\overline{X}_{n}\) est convergent:
  Preuve:
  En effet, sa variance:
  \[V\left(\overline{X}_{n}\right)=\frac{\sigma^{2}}{n}\]
  tend bien vers \(0\) lorsque \(n\longrightarrow+\infty\).

3.3.2 Estimateurs ponctuels de l'espérance et de la variance

• \(\hat{\mu}_{n}=\overline{X}_{n}\) pour l'espérance, appelée la moyenne empirique:\[\boxed{\overline{X}_{n}=\frac{X_{1}+...+X_{n}}{n}}\]
• \(\hat{V}_{n}=\hat{S_{n}^{2}}\) pour la variance, i.e. la variance empirique corrigée:\[\boxed{\hat{S_{n}^{2}}=\frac{\left(X_{1}-\overline{X}_{n}\right)^{2}+...+\left(X_{n}-\overline{X}_{n}\right)^{2}}{n-1}}\]

• il sont sans biais:
  \[\boxed{\left\{ \begin{array}{l}E\left(\overline{X}_{n}\right)=\mu\\E\left(\hat{S_{n}^{2}}\right)=\sigma^{2}\end{array}\right.}\]
  Preuve:
  • Espérance de \(\overline{X}_{n}\):
    \[E\left(\overline{X}_{n}\right)=\frac{1}{n}\sum_{i=1}^{n}E\left(X_{i}\right)=\frac{1}{n}\sum_{i=1}^{n}\mu=\mu\]
  • Espérance de \(\hat{S_{n}^{2}}\):
    \[E\left(\hat{S_{n}^{2}}\right)=\frac{1}{n-1}\sum_{i=1}^{n}E\left[\left(X_{i}-\overline{X}_{n}\right)^{2}\right]\]
    avec:
    \[\left(X_{i}-\overline{X}_{n}\right)^{2}=X_{i}^{2}-2X_{i}\overline{X}_{n}+\overline{X}_{n}^{2}\]
    donc:
    \[E\left[\left(X_{i}-\overline{X}_{n}\right)^{2}\right]=E\left(X_{i}^{2}\right)-\frac{2}{n}\sum_{j=1}^{n}E\left(X_{i}X_{j}\right)+E\left(\overline{X}_{n}^{2}\right)\]
    D'après ce qui précède:
    \[\left\{ \begin{array}{lcc}E\left(X_{i}^{2}\right)=\sigma^{2}+\mu^{2}\\E\left(X_{i}X_{j}\right)=E\left(X_{i}\right)E\left(X_{j}\right)=\mu^{2} & \textrm{si} & i\neq j\\E\left(\overline{X}_{n}^{2}\right)=\frac{\sigma^{2}}{n}+\mu^{2}\end{array}\right.\]
    donc:
    \[E\left[\left(X_{i}-\overline{X}_{n}\right)^{2}\right]=\sigma^{2}+\mu^{2}-\frac{2}{n}\left[\sigma^{2}+\mu^{2}+\left(n-1\right)\mu^{2}\right]+\frac{\sigma^{2}}{n}+\mu^{2}\]
    soit:
    \[E\left[\left(X_{i}-\overline{X}_{n}\right)^{2}\right]=\sigma^{2}\left(1-\frac{1}{n}\right)\]
    Finalement:
    \[E\left(\hat{S_{n}^{2}}\right)=\frac{1}{n-1}\times n\times\sigma^{2}\left(1-\frac{1}{n}\right)=\sigma^{2}\]
• ils sont convergents:
  Preuve:
  • La variance de\(\overline{X}_{n}\) vaut:
    \[V\left(\overline{X}_{n}\right)=\frac{\sigma^{2}}{n}\]
    et tend bien vers \(0\) lorsque \(n\longrightarrow+\infty\).
  • La variance de \(\hat{S_{n}^{2}}\) vaut:
    \[V\left(\hat{S_{n}^{2}}\right)=E\left[\left(\hat{S_{n}^{2}}\right)^{2}\right]-\left[E\left(\hat{S_{n}^{2}}\right)\right]^{2}\]
    avec:
    \[\left(\hat{S_{n}^{2}}\right)^{2}=\frac{1}{\left(n-1\right)^{2}}\sum_{i=1}^{n}\sum_{j=1}^{n}\left(X_{i}-\overline{X}_{n}\right)^{2}\left(X_{j}-\overline{X}_{n}\right)^{2}\]
    On montre alors, en introduisant le moment d'ordre \(4\) supposé défini:
    \[\mu_{4}=E\left(X_{i}^{4}\right)\]
    que:
    \[V\left(\hat{S_{n}^{2}}\right)=\frac{1}{n}\left(\mu_{4}-\sigma^{4}\right)-\frac{2}{n^{2}}\left(\mu_{4}-2\sigma^{4}\right)+\frac{1}{n^{3}}\left(\mu_{4}-3\sigma^{4}\right)\]
    qui tend bien vers \(0\) lorsque \(n\longrightarrow+\infty\).