Sección 6 Variables latentes y algoritmo EM

En esta sección estudiaremos modelos de variable latente y el algoritmo de esperanza-maximización.

6.0.1 Recordatorio de datos faltantes

  1. El modelo para los datos completos está parametrizado con \(\theta\): \[p_{\theta}(y)\]

  2. El proceso de censura lo incluimos mediante el vector \(I\) de indicadores de faltantes (\(I_{j}=1\) cuando el dato \(j\) está censurado faltante), entonces si el modelo para el mecanismo de faltantes está parametrizado con \(\psi\): \[p_{\psi} (I|y)\]

  3. Entonces generamos los datos según (1) y luego censuramos observaciones según (2). Así, el modelo completo para nuestras observaciones es: \[p_{\theta,\psi} (y,I)=p_{\theta}(y)p_{\psi}(I|y).\]

  4. Escribimos \(y=(y_{obs},y_{falta})\) para denotar por separado datos observados y datos faltantes. De tal manera que la verosimilitud para nuestros datos observados está dada por \[p_{\theta,\psi}(y_{obs},I),\] pues sabemos los valores de las variables observadas y qué datos faltan. Para hacer máxima verosimilitud calculamos esta conjunta. \[p_{\theta,\psi} (y_{obs},I)=\int p_{\theta,\psi} (y_{obs}, y_{falta},I)d y_{falta}\] \[=\int p_{\psi}(I|y_{obs},y_{falta})p_{\theta} (y_{obs}, y_{falta})d y_{falta}.\] Nótese que esta integral (o suma, dependiendo del caso), promedia los valores faltantes según el modelo de los datos \(p_{\theta}\) De la ecuación de arriba, vemos que en general tendríamos que modelar también el mecanismo de datos faltantes y estimar todos los parámetros. Esto es difícil no solamente porque hay más parámetros, sino porque en la práctica puede ser difícil proponer un modelo razonable para datos faltantes. Preferimos hacer un supuesto (MCAR, MAR).

  5. Si se cumple MAR, entonces tenemos que \[p_{\psi}(I|y_{obs},y_{falta})=p_{\psi}(I|y_{obs}),\] y por tanto, \[p_{\theta,\psi} (y_{obs},I)= p_{\psi}(I|y_{obs})\int p_{\theta} (y_{obs}, y_{falta})dy_{falta}.\] notamos que los parámetros \(\psi\) y \(\theta\) están en factores separados y para encontrar los estimadores de máxima verosimilitud, no es necesario trabajar con \(\psi\) ni el mecanismo al azar. El mecanismo de faltantes es entonces ignorable.