La estadística suele volverse difícil no porque una idea aislada sea
imposible de entender, sino porque de pronto hay que mantener varias ideas
conectadas al mismo tiempo. Una distribución de probabilidad conduce a un
estimador; un estimador conduce a una función de pérdida; una función de pérdida
conduce a un problema de optimización; un problema de optimización conduce a un
algoritmo; y el algoritmo termina produciendo algo que en la pantalla parece
engañosamente sencillo: un puñado de conglomerados. El estudio de Gómez
Julián de 2020, Sobre los estimadores de Bayes, el análisis de conglomerados y
las mezclas gaussianas, es, en esencia, un intento por reconstruir toda
esa cadena de razonamiento antes de pedirle a R que haga el cálculo.
Su destino es el análisis de conglomerados basado en modelos mediante
mezclas gaussianas finitas. Pero el artículo toma deliberadamente el
camino largo. Antes de llegar a las mezclas gaussianas y a la rutina
Mclust(), recorre la probabilidad posterior,
los estimadores bayesianos, las funciones de pérdida, el error cuadrático medio,
los criterios de información, la minería de datos, el aprendizaje automático,
el aprendizaje supervisado y no supervisado, la estimación de densidades,
k-means, el algoritmo de esperanza-maximización, las distribuciones
categórica y de Dirichlet, la optimización, los parámetros y los hiperparámetros.
El objetivo no es simplemente enumerar definiciones, sino mostrar por qué todos
estos conceptos se encuentran dentro de una misma maquinaria estadística.
Nota de lectura · qué hará este artículo
El estudio original de 2020 es mucho más amplio que un tutorial convencional
de software. Por ello, esta lectura guiada se concentra en su arquitectura
estadística principal: cómo encajan entre sí el razonamiento bayesiano,
el análisis de conglomerados, los modelos de mezclas
gaussianas, el algoritmo EM y la
selección de modelos basada en BIC, y qué ocurre cuando este
marco se aplica en R.
· · ·
01 · Contexto
Por qué se escribió este estudio de 2020
La motivación inmediata es la investigación educativa. Gómez Julián parte
de un estudio doctoral de Villegas Barahona centrado en el rendimiento
académico, las dimensiones latentes, las variables estudiantiles observadas
directamente, la descomposición matricial CUR y la construcción de un modelo
estadístico capaz de apoyar la toma de decisiones académicas y administrativas.
Ese proyecto anterior aporta el problema práctico; el estudio de 2020 pregunta
qué teoría estadística debe comprenderse para seguir la maquinaria que se utiliza.
Esto importa porque un paquete estadístico puede hacer que un procedimiento
difícil parezca trivial. Un investigador puede escribir un comando, obtener
una clasificación, observar un gráfico y seguir adelante. Sin embargo, el
comando presupone silenciosamente respuestas a preguntas difíciles. ¿Qué se
está estimando? ¿Qué significa que las observaciones pertenezcan a grupos
distintos? ¿Qué ocurre cuando esas pertenencias no se observan? ¿Cómo deben
elegirse el número y la geometría de los grupos? ¿Qué cantidad maximiza el
algoritmo? ¿Y cuánta incertidumbre queda después de asignar un punto a un
conglomerado?
No son meras preguntas de programación. Son preguntas sobre
probabilidad, inferencia, geometría y toma de decisiones.
La estrategia distintiva del artículo es, por tanto, fundacional: en lugar
de tratar los modelos de mezclas gaussianas como una caja negra, reconstruye
la escalera conceptual que conduce hasta ellos.
Un conglomerado en la pantalla de una computadora es el resultado visible
final de un argumento mucho más largo sobre probabilidad, estructura oculta,
estimación y optimización.
Resumen conceptual del marco de Gómez Julián de 2020
Hay otra razón por la cual este enfoque es útil fuera de la estadística.
Politólogos, economistas, sociólogos e investigadores de políticas públicas
trabajan con frecuencia con poblaciones heterogéneas. Países, hogares,
empresas, votantes o estudiantes pueden aparecer en un mismo conjunto de datos
y, sin embargo, pertenecer en realidad a varias subpoblaciones estadísticamente
distintas. Si esas subpoblaciones no vienen etiquetadas directamente, la tarea
analítica ya no consiste simplemente en estimar un promedio, sino en inferir
la estructura oculta que pudo haber generado las observaciones.
Es ahí donde finalmente entran el análisis de conglomerados
y los modelos de mezclas gaussianas. Pero Gómez Julián comienza
una capa más abajo: con Bayes y la lógica de actualizar el conocimiento cuando
llega nueva evidencia.
· · ·
02 · Fundamentos bayesianos
Bayes como regla para aprender de la evidencia
En su forma más simple, el teorema de Bayes nos dice cómo debe cambiar una
probabilidad cuando adquirimos información relevante. Supongamos que tenemos
una hipótesis \(H\) y observamos unos datos \(D\). La actualización bayesiana
conecta cuatro cantidades:
\( P(H\mid D)=\dfrac{P(D\mid H)\,P(H)}{P(D)} \)
posterior = verosimilitud × previa / probabilidad marginal de los datos
La previa, \(P(H)\), representa el estado de
información antes de incorporar la nueva evidencia. La
verosimilitud, \(P(D\mid H)\), nos indica qué
tan compatible es la evidencia observada con la hipótesis. El denominador
\(P(D)\) normaliza el cálculo. El resultado, \(P(H\mid D)\), es la
posterior: la probabilidad condicionada a haber
observado la nueva evidencia.
Para lectores provenientes de la economía hay una analogía útil. Imaginemos
que partimos de un conjunto de creencias acerca de la situación probable de
una economía y luego recibimos nueva información sobre empleo, inflación o
producción. La actualización bayesiana no implica que la información anterior
desaparezca. Más bien, la información previa y la nueva evidencia se combinan
mediante una regla probabilística precisa. La posterior pasa entonces a ser
el punto de partida informativo para la decisión siguiente.
La intuición clave
El teorema de Bayes todavía no es un algoritmo de agrupamiento. Su importancia
aquí es más fundamental: los modelos de mezclas gaussianas plantean
repetidamente preguntas de probabilidad condicional. Dado un punto
observado, ¿qué tan probable es que provenga del componente 1, del componente
2, del componente 3, y así sucesivamente? Una vez que la pertenencia a los
grupos está oculta en lugar de observarse directamente, las probabilidades
posteriores se convierten en un lenguaje natural para razonar sobre esa
incertidumbre.
Este es uno de los puentes conceptuales que da coherencia al artículo. Lo que
comienza como una discusión abstracta sobre probabilidad condicional reaparecerá
después de forma muy concreta: cada observación puede tener una
probabilidad de pertenencia a cada componente gaussiano posible. Esto
ya constituye una diferencia importante entre un modelo de mezcla gaussiana y
la conocida asignación dura producida por el k-means ordinario.
03 · Toma de decisiones estadísticas
De la probabilidad posterior a un estimador de Bayes
Actualizar probabilidades es solo una parte de la historia. En algún momento,
el analista debe hacer algo con la distribución posterior.
Debe estimarse un parámetro, producirse una predicción, seleccionarse un modelo
o asignarse una observación —quizá provisionalmente— a un grupo.
Por eso el estudio de Gómez Julián de 2020 pasa del teorema de Bayes a la
teoría de la decisión. Una vez que existen varias estimaciones
o acciones posibles, el problema estadístico puede expresarse como una cuestión
de consecuencias: si la cantidad desconocida es realmente \(\theta\), ¿cuál es
el costo de reportar cierta estimación \(\hat{\theta}\)?
Ese costo se representa mediante una función de pérdida.
La forma exacta de la función depende de qué tipos de errores sean relevantes
en el problema estudiado. Un caso particularmente importante, y el que destaca
el artículo, es la pérdida por error cuadrático:
\( L(\theta,\hat{\theta})=(\hat{\theta}-\theta)^2 \)
una mayor distancia entre la estimación y el parámetro desconocido produce
una pérdida desproporcionadamente mayor
Elevar el error al cuadrado tiene dos consecuencias inmediatas. Primero, las
desviaciones positivas y negativas dejan de cancelarse entre sí. Segundo, los
errores grandes reciben una penalización mayor que los pequeños. Por ello, la
pérdida esperada asociada está estrechamente conectada con el conocido
error cuadrático medio.
\( \mathrm{MSE}(\hat{\theta}) = E_{\theta}\!\left[(\hat{\theta}-\theta)^2\right] \)
error cuadrático medio como medida esperada del error de estimación
La teoría bayesiana de la decisión añade un ingrediente decisivo: en lugar de
evaluar la pérdida tratando al parámetro como un objeto fijo desconocido fuera
del cálculo probabilístico, se utiliza la distribución posterior para promediar
las posibles consecuencias de una decisión. La cantidad relevante pasa a ser
la pérdida posterior esperada.
\( \rho(a\mid x)=\int_{\Theta} L(\theta,a)\,p(\theta\mid x)\,d\theta \)
pérdida posterior esperada: consecuencias promediadas sobre la incertidumbre
actual acerca del parámetro
Una regla de decisión bayesiana selecciona la acción que minimiza esta cantidad.
Bajo pérdida por error cuadrático ocurre algo especialmente elegante: la
estimación óptima es la media posterior.
\( \hat{\theta}(x)=E(\theta\mid x)=\int_{\Theta}\theta\,p(\theta\mid x)\,d\theta \)
estimador de Bayes bajo pérdida cuadrática
La intuición es sencilla. La distribución posterior describe qué valores de
\(\theta\) siguen siendo plausibles después de observar los datos. Si lo que
queremos minimizar es la distancia al cuadrado, entonces la media posterior
es el punto que minimiza la distancia cuadrática promedio a todos esos valores
posibles.
Una distinción útil
La actualización bayesiana nos dice cómo cambia la incertidumbre
después de observar evidencia. La teoría bayesiana de la decisión
nos dice cómo convertir esa incertidumbre actualizada en una acción. La primera
produce una distribución posterior; la segunda combina esa posterior con una
función de pérdida.
Esta distinción será importante más adelante. Un modelo de mezcla gaussiana no
se limita a calcular probabilidades. Utiliza probabilidades como parte de un
problema iterativo de estimación en el que deben inferirse conjuntamente las
pertenencias desconocidas a los componentes y los parámetros desconocidos de
esos componentes.
El estudio también discute la idea estadística más amplia de
riesgo de Bayes: la pérdida esperada asociada con una regla de
decisión cuando la incertidumbre acerca del parámetro se representa ella misma
probabilísticamente. Dentro del marco de teoría de la decisión adoptado en el
artículo, un estimador de Bayes es el estimador elegido porque minimiza la
pérdida esperada pertinente.
La probabilidad describe la incertidumbre; una función de pérdida le da consecuencias a esa incertidumbre.
El puente entre inferencia y teoría de la decisión
· · ·
04 · Aprendizaje no supervisado
Por qué el agrupamiento es distinto de la clasificación
El artículo cambia entonces de escala. Pasa de la estimación de un parámetro
desconocido a una pregunta más amplia de aprendizaje automático:
¿cómo puede descubrirse estructura en un conjunto de datos cuando las
observaciones no vienen acompañadas de etiquetas de clase conocidas?
Este es el escenario definitorio del aprendizaje no supervisado.
En el aprendizaje supervisado, los datos de entrenamiento contienen un resultado
o una etiqueta que el algoritmo debe reproducir o predecir. Por ejemplo, un
modelo puede aprender si un solicitante de crédito incurrió en impago, por qué
partido votó un encuestado o qué valor numérico tomó una variable dependiente.
En el aprendizaje no supervisado no existe tal clave de respuestas. El algoritmo
recibe observaciones y sus características medidas, pero no una declaración
previa de que la observación 17 pertenece al tipo A y la observación 18 al tipo B.
La propia estructura debe inferirse a partir de patrones presentes en los datos.
Clasificación frente a agrupamiento
En la clasificación, las clases se conocen durante el entrenamiento
y el modelo aprende a asignarles nuevas observaciones. En el
agrupamiento, los grupos no se proporcionan de antemano. El método
intenta descubrir una agrupación útil a partir de similitudes, diferencias y
estructura distribucional dentro de los datos observados.
Gómez Julián sitúa el análisis de conglomerados en el centro de
este problema de aprendizaje no supervisado. En su forma más general, agrupar
significa particionar observaciones según características compartidas, de manera
que las observaciones dentro de un conglomerado sean relativamente similares y
las pertenecientes a conglomerados distintos sean relativamente disímiles.
La formulación parece simple, pero oculta una de las dificultades más profundas
del agrupamiento: no siempre existe una única manera obvia de dividir un
conjunto de datos. La misma nube de puntos puede describirse plausiblemente
como dos grupos amplios, varios subgrupos más estrechos o una jerarquía en la
que grupos mayores contienen otros menores.
El estudio utiliza esta ambigüedad para distinguir dos grandes familias. El
agrupamiento particional divide las observaciones en grupos no
superpuestos a un nivel seleccionado. El agrupamiento jerárquico,
en cambio, organiza grupos dentro de grupos y produce una estructura anidada que
con frecuencia puede representarse como un árbol.
Esto es más que una distinción técnica. Nos recuerda que un conglomerado no es
simplemente un objeto que espera dentro de los datos a ser fotografiado. Un
procedimiento de agrupamiento incorpora una definición de qué significa similitud,
cómo se mide la distancia, qué geometría se permite y a qué escala las diferencias
se consideran importantes.
Preguntar cuántos grupos hay en un conjunto de datos ya implica preguntar qué cuenta como grupo.
Por qué el agrupamiento es fundamentalmente un problema de modelización
Esto es particularmente importante para economistas y politólogos. Supongamos que
representamos países mediante desempleo, alfabetización, pobreza y gasto público
en educación. Un algoritmo de agrupamiento puede detectar configuraciones
estadísticamente distintas de esas variables. Pero los grupos resultantes no deben
tratarse automáticamente como “tipos” políticos o económicos sustantivos. La
agrupación estadística es evidencia acerca de una estructura; su interpretación
todavía requiere teoría y conocimiento del fenómeno estudiado.
Antes de agrupar, el artículo también subraya la importancia del
preprocesamiento de los datos. Los valores atípicos, las distintas
escalas de medición, las variables irrelevantes y los valores faltantes pueden
alterar la geometría aparente del conjunto de datos. La normalización puede ser
importante cuando la distancia es central para el algoritmo, mientras que la
reducción de variables puede resultar útil cuando dimensiones irrelevantes oscurecen,
en vez de aclarar, la estructura.
· · ·
05 · Un primer modelo de agrupamiento
Lo que k-means realmente supone
Para entender por qué las mezclas gaussianas son útiles, Gómez Julián introduce
primero uno de los algoritmos de agrupamiento más conocidos: k-means.
La idea básica es geométrica. Se elige un número de grupos, \(K\). A cada grupo
se le asocia un centro, o centroide. Después se asigna
cada observación al grupo cuyo centroide está más cerca. Los centroides se actualizan
a partir de las observaciones que les fueron asignadas y el proceso se repite hasta
que la configuración se estabiliza.
\( \displaystyle \min_{C_1,\ldots,C_K}\sum_{k=1}^{K}\sum_{x_i\in C_k}\lVert x_i-\mu_k\rVert^2 \)
el objetivo familiar de k-means: minimizar la distancia cuadrática dentro de
cada conglomerado entre cada observación y su centroide
Incluso quienes nunca han implementado el algoritmo pueden visualizar su lógica.
Imaginemos colocar \(K\) alfileres sobre un mapa. Cada observación se envía al
alfiler más cercano. Después los alfileres se desplazan hacia los centros de las
observaciones que les fueron asignadas y la asignación se repite. Finalmente, los
alfileres y las pertenencias dejan de cambiar de manera sustancial.
Este procedimiento es potente y computacionalmente conveniente, pero su simplicidad
impone una estructura geométrica. La lógica de distancia al centroide funciona de
manera más natural cuando los conglomerados son compactos y aproximadamente esféricos
—o circulares cuando se visualizan en dos dimensiones—.
Los datos reales no tienen por qué cooperar. Un conglomerado puede ser largo y
estrecho, inclinarse diagonalmente en el espacio de características, estar muy
concentrado en una dirección y ampliamente disperso en otra. Dos grupos también
pueden superponerse. Cuando aparecen estas posibilidades, la distancia a un único
centro puede dejar de describir adecuadamente la estructura.
Hay otra limitación que se vuelve central en el artículo. El k-means
ordinario realiza lo que se conoce como una asignación dura. Una
observación se coloca en el conglomerado 1, 2 o 3. El algoritmo no dice de forma
natural: “hay una probabilidad del 72 % de que esta observación pertenezca al
conglomerado 1 y del 28 % de que pertenezca al conglomerado 2”.
Dos limitaciones que conviene recordar
La transición de k-means a las mezclas gaussianas está motivada por dos
ideas especialmente importantes: la geometría de los conglomerados
y la incertidumbre de pertenencia. Las mezclas gaussianas pueden
modelar conglomerados con estructura de covarianzas y asignar pertenencias
probabilísticas, en lugar de puramente deterministas.
Esto prepara el giro conceptual central del estudio. En vez de pensar un
conglomerado únicamente como una colección de puntos alrededor de un centroide,
podemos pensarlo como una distribución de probabilidad.
· · ·
06 · Estructura latente
La idea central: una población puede ser una mezcla
Supongamos que observamos la distribución de alguna variable en una población
completa. A primera vista vemos un único conjunto de datos. Pero ¿qué ocurre si
esa población está compuesta en realidad por varias subpoblaciones generadas por
procesos estadísticos distintos?
Esta es la intuición fundamental detrás de un modelo de mezcla.
La distribución de probabilidad global se representa como una combinación ponderada
de varias distribuciones componentes.
\( \displaystyle f(x_i;\Psi)=\sum_{k=1}^{G}\pi_k f_k(x_i;\theta_k) \)
modelo de mezcla finita · cada componente tiene sus propios parámetros y
contribuye de acuerdo con su peso de mezcla
Aquí \(G\) es el número de componentes. \(f_k(x_i;\theta_k)\) es la densidad del
componente \(k\), determinada por sus propios parámetros \(\theta_k\). La cantidad
\(\pi_k\) es el peso de mezcla del componente y satisface
\(\pi_k>0\) y \(\sum_{k=1}^{G}\pi_k=1\).
Los pesos son importantes. Si parece que el 70 % de la población fue generado
por un componente y el 30 % por otro, ambas densidades componentes no deberían
contribuir por igual a la densidad de la población total. Los pesos de mezcla
codifican su prevalencia relativa.
Pero la característica más profunda del modelo es algo que no observamos
directamente: la identidad del componente de cada observación.
El conjunto de datos contiene \(x_i\), pero normalmente no contiene una columna
adicional proporcionada por la naturaleza que diga: “este punto fue generado por
el componente gaussiano 3”.
La pertenencia al componente es, por tanto, una variable latente.
Es una estructura oculta que se infiere a partir de los datos observados.
Cantidades observadas y latentes
Las observaciones \(x_1,\ldots,x_n\) son visibles. Las etiquetas de los componentes
que las generaron no lo son. Por ello, un modelo de mezcla finita conecta
datos observables con pertenencia no observable a grupos,
al tiempo que estima los parámetros y el peso relativo de cada componente.
Por eso el artículo considera los modelos de mezcla como naturalmente conectados
con la modelización jerárquica y de variables latentes. Existe un nivel en el que
una observación pertenece a algún componente no observado y otro nivel en el que
el valor observado se genera según la distribución de probabilidad asociada a ese
componente.
Si las distribuciones componentes son gaussianas, el modelo se convierte en un
modelo de mezcla gaussiana, o GMM:
\( \displaystyle f(x)=\sum_{k=1}^{G}\pi_k\,\mathcal{N}(x\mid\mu_k,\Sigma_k) \)
modelo de mezcla gaussiana · cada grupo latente se representa mediante una
densidad normal con su propia media y estructura de covarianzas
En una dimensión, cada componente tiene una media y una varianza. En varias
dimensiones, la media se convierte en un vector \(\mu_k\), mientras que la
dispersión y la dependencia entre variables se representan mediante la matriz
de covarianzas \(\Sigma_k\).
La matriz de covarianzas es precisamente lo que da a los modelos de mezclas
gaussianas su flexibilidad geométrica. Permite que un conglomerado sea estrecho,
otro amplio, otro alargado y otro orientado en una dirección diagonal dentro del
espacio multivariado.
El artículo presenta así las mezclas gaussianas como una generalización
probabilística de la intuición más rígida, basada en centroides, asociada con
k-means. En lugar de preguntar únicamente qué centro está más cerca, el
modelo plantea una pregunta más rica: dadas las distribuciones estimadas,
¿qué tan probable es que esta observación provenga de cada componente?
\( \displaystyle P(Z_i=k\mid x_i)=\frac{\pi_k\,\mathcal{N}(x_i\mid\mu_k,\Sigma_k)}{\sum_{j=1}^{G}\pi_j\,\mathcal{N}(x_i\mid\mu_j,\Sigma_j)} \)
probabilidad posterior de que la observación i pertenezca al componente k
Ahora la discusión anterior sobre Bayes se vuelve visiblemente relevante. El
modelo parte de pesos y densidades de los componentes y, condicionado a un punto
observado, calcula probabilidades actualizadas de pertenencia a cada componente.
Una observación cercana al centro de un componente y lejos de todos los demás
puede recibir una probabilidad de asignación próxima a uno. Una observación situada
en una región de superposición puede recibir una probabilidad sustancial bajo dos
o más componentes. Esto es clasificación blanda: la incertidumbre
sobre la pertenencia se conserva en lugar de descartarse de inmediato.
Una mezcla gaussiana no se limita a dividir los datos. Propone una explicación
probabilística de cómo varias subpoblaciones ocultas pudieron haber generado la
población observada.
La idea central de modelización del estudio de 2020
Pero ahora hemos llegado a una aparente circularidad. Para estimar la media, la
covarianza y el peso de cada componente, querríamos saber qué observaciones pertenecen
a cada componente. Sin embargo, determinar qué observaciones pertenecen a cada
componente es precisamente lo que exige conocer esas medias, covarianzas y pesos.
Resolver ese problema circular es la tarea de uno de los algoritmos más importantes
de la estadística con variables latentes: esperanza-maximización.
07 · Información oculta
EM: aprender cuando se desconoce la pertenencia a los grupos
La dificultad a la que se enfrenta un modelo de mezcla gaussiana puede expresarse
ahora con precisión. Observamos los puntos de datos, pero no observamos el componente
del que fue generado cada punto. Si esas pertenencias fueran conocidas, estimar los
parámetros de cada componente gaussiano sería relativamente sencillo. Pero las
propias pertenencias dependen de parámetros que todavía son desconocidos.
El estudio de Gómez Julián de 2020 aborda este problema mediante el clásico
algoritmo de esperanza-maximización, o EM, desarrollado
por Dempster, Laird y Rubin. El contexto más amplio es la estimación a partir de
datos incompletos: existe información que haría más sencillo el
problema de estimación, pero dicha información no se observa directamente.
En la modelización de mezclas, la pieza faltante es especialmente intuitiva.
Imaginemos que cada fila del conjunto de datos lleva secretamente una variable
adicional que indica qué componente gaussiano la generó. Si esa variable oculta
fuera visible, tendríamos lo que puede concebirse como los datos completos.
En realidad, solo se observan las variables medidas.
La interpretación en términos de datos faltantes
En un modelo de mezcla gaussiana, el punto de datos se observa, pero su componente
generador es latente. EM trata esta información oculta como la parte faltante de un
problema estadístico que, de otro modo, sería más conveniente.
La característica ingeniosa de EM es que no exige que esta información faltante se
vuelva de algún modo observable. En su lugar, alterna entre dos cálculos. Cada uno
hace posible el otro.
Paso E: estimar las pertenencias ocultas
Se comienza con unos valores actuales para los parámetros de los componentes: las
medias, las matrices de covarianzas y los pesos de mezcla. Dados esos valores, se
calcula qué tan probable es que cada observación pertenezca a cada componente.
Estas probabilidades suelen denominarse responsabilidades.
El componente \(k\) asume responsabilidad por la observación \(i\) en proporción a
cuán plausible es esa observación bajo la densidad gaussiana del componente y a cuán
prevalente es dicho componente en la mezcla.
\( \displaystyle \gamma_{ik}=P(Z_i=k\mid x_i,\Psi)=\frac{\pi_k\,\mathcal{N}(x_i\mid\mu_k,\Sigma_k)}{\sum_{j=1}^{G}\pi_j\,\mathcal{N}(x_i\mid\mu_j,\Sigma_j)} \)
intuición del paso E · estimar la probabilidad de que cada observación pertenezca
a cada componente gaussiano
Obsérvese lo que ha ocurrido. La afirmación dura y desconocida “la observación \(i\)
pertenece al conglomerado \(k\)” ha sido sustituida por un conjunto de probabilidades.
Una observación puede estar asociada abrumadoramente con un componente o puede situarse
en una región de superposición y repartir su probabilidad entre varios componentes.
Paso M: actualizar el modelo
Una vez calculadas esas pertenencias esperadas, el algoritmo da la vuelta al problema.
Ahora trata las pertenencias probabilísticas producidas por el paso E como información
para reestimar los parámetros.
Las medias, las matrices de covarianzas y los pesos de mezcla se actualizan de modo
que aumente la verosimilitud de los datos observados bajo la mezcla recién estimada.
Un ciclo de EM
Paso E: utilizando los parámetros actuales del modelo, estimar las pertenencias ocultas a los componentes.
Paso M: utilizando esas pertenencias estimadas, reestimar los parámetros del modelo maximizando el criterio de verosimilitud pertinente.
Después el algoritmo vuelve al paso E. Los nuevos parámetros implican nuevas
probabilidades de pertenencia; esas nuevas probabilidades implican nuevas estimaciones
de los parámetros; y el proceso continúa iterativamente.
\( \Psi^{(0)}\rightarrow\text{paso E}\rightarrow\text{paso M}\rightarrow\Psi^{(1)}\rightarrow\text{paso E}\rightarrow\text{paso M}\rightarrow\cdots \)
esperanza y maximización se alternan hasta que la solución ajustada se estabiliza
El proceso se detiene cuando las estimaciones de los parámetros —o, equivalentemente,
las mejoras en la verosimilitud— cambian tan poco que se considera que el algoritmo
ha alcanzado la convergencia.
Esto convierte a EM en una respuesta particularmente elegante a la aparente
circularidad encontrada al final de la sección anterior. Necesitábamos la pertenencia
a los conglomerados para estimar las distribuciones, pero necesitábamos las distribuciones
para estimar la pertenencia a los conglomerados. EM resuelve el problema alternando
entre ambas tareas condicionales.
Estime lo que está oculto utilizando el modelo actual; después mejore el modelo utilizando lo que acaba de estimar.
La lógica iterativa de esperanza-maximización
Hay una salvedad importante. EM es un algoritmo de optimización, no una garantía
mágica de que cualquier punto de partida conduzca a la mejor solución global. Las
verosimilitudes de los modelos de mezcla pueden contener múltiples óptimos locales.
Por ello, la inicialización y la especificación del modelo pueden importar. Lo que
EM garantiza a nivel operativo es un procedimiento iterativo para mejorar la
verosimilitud hasta alcanzar una solución estacionaria.
· · ·
08 · Geometría estadística
Por qué las mezclas gaussianas pueden ver elipses
El siguiente paso del argumento de Gómez Julián es geométrico. En una dimensión,
una distribución gaussiana se describe mediante una media y una varianza. Sin embargo,
al pasar a dos o más dimensiones, la varianza ya no es suficiente. También deben
representarse las relaciones entre las variables.
Este es el papel de la matriz de covarianzas, \(\Sigma_k\). Para
el componente \(k\), el vector de medias \(\mu_k\) determina su centro, mientras
que \(\Sigma_k\) determina cómo se dispersa la masa de probabilidad por el espacio
multivariado.
\( X\mid Z=k\sim\mathcal{N}(\mu_k,\Sigma_k) \)
cada componente gaussiano posee su propio centro y su propia geometría de covarianzas
En dos dimensiones, los contornos de igual densidad gaussiana forman
elipses. Esto ofrece una forma intuitiva de leer la covarianza.
Una elipse casi circular indica una dispersión similar en distintas direcciones.
Una elipse alargada indica una variación mucho mayor en una dirección que en otra.
Una elipse inclinada señala covarianza entre las variables.
Es precisamente aquí donde el agrupamiento mediante mezclas gaussianas se vuelve
más flexible que la imagen geométrica elemental proporcionada por k-means.
Un centroide solo nos dice dónde está centrado un conglomerado. Una matriz de
covarianzas también nos informa de su volumen, forma y orientación.
Piense geométricamente
Dos conglomerados pueden tener centros igualmente separados y aun así ser
estadísticamente muy distintos. Uno puede ser compacto y casi circular; otro,
amplio y fuertemente alargado. Los modelos de mezclas gaussianas pueden representar
esta diferencia porque la matriz de covarianzas forma parte del modelo.
El marco de mclust estudiado en el artículo
explota este hecho de forma sistemática. En lugar de ajustar una sola estructura de
covarianzas posible, considera una familia de modelos gaussianos obtenidos imponiendo
distintas restricciones sobre el volumen, la forma
y la orientación de los elipsoides componentes.
Gómez Julián discute los 14 modelos gaussianos multivariados disponibles en la versión
de mclust estudiada en la investigación de 2020.
Sus nombres compactos —como EEE,
VEV, VVI
o EEV— codifican restricciones sobre esas
propiedades geométricas.
| Ejemplo |
Idea geométrica |
| EEE | Volumen igual, forma igual y orientación igual entre componentes |
| VEV | Volumen variable, forma igual y orientación variable |
| VVI | Estructura diagonal de covarianzas con volumen y forma variables |
| EEV | Volumen y forma iguales, con orientación que puede variar |
Estos códigos no son jerga decorativa de software. Describen hipótesis estadísticas
rivales sobre la geometría de los grupos ocultos. ¿Deben todos los conglomerados
tener la misma dispersión? ¿Puede uno ser mayor que otro? ¿Deben sus elipses apuntar
en la misma dirección? ¿Es suficiente una matriz diagonal de covarianzas o los datos
requieren elipsoides rotados?
Visto así, el agrupamiento basado en modelos hace más que decidir dónde dibujar
fronteras. Está comparando descripciones generativas alternativas de los datos.
En el agrupamiento basado en modelos, la forma de un conglomerado no es un detalle secundario. Forma parte de la hipótesis que se está estimando.
La covarianza como geometría estadística
· · ·
09 · Selección de modelos
BIC y el problema de elegir un modelo
Las mezclas gaussianas crean un nuevo problema precisamente porque son flexibles.
Podemos ajustar distintos números de componentes y, para cada número, considerar
diferentes estructuras de covarianzas. ¿Qué modelo debe preferirse?
La verosimilitud maximizada por sí sola no basta. Añadir parámetros suele dar al
modelo más libertad para acomodar los datos observados, de modo que el ajuste bruto
puede mejorar simplemente porque el modelo se ha vuelto más complicado. Si la
complejidad nunca se penaliza, el procedimiento empuja hacia especificaciones cada
vez más elaboradas.
Esto motiva el Criterio de Información Bayesiano (BIC), introducido
por Gideon Schwarz y discutido ampliamente en el estudio de 2020. En una notación
habitual,
\( \mathrm{BIC}=-2\log \hat{L}+k\log n \)
forma convencional de minimización · el ajuste se equilibra con una penalización
que aumenta con la complejidad del modelo
Aquí \(\hat{L}\) es la verosimilitud maximizada, \(k\) es el número de parámetros
estimados y \(n\) es el tamaño de la muestra. El primer término recompensa el ajuste;
el segundo penaliza los parámetros adicionales.
Una convención de signo equivalente suele escribirse de modo que
se prefieran valores mayores:
\( \displaystyle \log \hat{L}-\frac{k}{2}\log n \)
forma de maximización de Schwarz · la misma lógica entre ajuste y complejidad,
expresada con la orientación opuesta
Una advertencia práctica sobre los signos
A veces los lectores encuentran en los manuales “elija el BIC más pequeño” y
después ven una salida de mclust donde el
modelo preferido tiene el valor BIC más grande. Es una cuestión
de convención. El criterio puede escribirse con signos opuestos. Lo importante es
usar de manera coherente la convención adoptada por el software o la fuente.
En mclust, BIC se convierte así en el mecanismo
para comparar combinaciones de número de componentes y
parametrización de la covarianza. El software puede ajustar un
conjunto de modelos candidatos de mezclas gaussianas y compararlos, en vez de obligar
al investigador a estipular de antemano una única geometría.
Conceptualmente, se trata de una competencia entre explicaciones. Un modelo de un
componente afirma que una sola población gaussiana es suficiente. Un modelo de dos
componentes sostiene que dos subpoblaciones latentes ofrecen una mejor explicación
después de tomar en cuenta los parámetros adicionales. Un modelo de cinco componentes
formula una afirmación aún más elaborada. BIC pregunta si la ganancia en verosimilitud
es suficientemente grande para justificar esa complejidad adicional.
Qué hace BIC en este artículo
BIC actúa como puente entre la estimación y la
selección de modelos. EM estima los parámetros de una mezcla
gaussiana candidata. BIC ayuda a decidir qué estructura candidata —entre distintos
números y geometrías de componentes— es comparativamente preferible.
Esta distinción es esencial. EM no responde por sí solo todas las preguntas de
modelización. Dada una estructura de mezcla especificada, proporciona una forma de
estimar sus parámetros. La selección de modelos opera en otro nivel: compara
estructuras alternativas.
El resultado es un procedimiento por capas. Primero se definen modelos de probabilidad
candidatos. Después se estiman. Luego se comparan. Finalmente, se inspecciona la
clasificación resultante y se pregunta si la estructura estadística tiene sentido
sustantivo.
\( \text{modelos candidatos}\rightarrow\text{estimación EM}\rightarrow\text{comparación BIC}\rightarrow\text{estructura de agrupamiento seleccionada} \)
flujo de trabajo del agrupamiento basado en modelos desarrollado hacia la sección
aplicada del estudio
Ya estamos listos para el último paso de la investigación de 2020: ver qué produce
realmente esta maquinaria en R. Gómez Julián cierra el análisis sustantivo con dos
tipos de aplicación. La primera utiliza el conjunto de datos canónico Iris;
la segunda pasa a datos sociales y económicos del Banco Mundial, combinando indicadores
de gasto en educación, alfabetización, desempleo y pobreza.
10 · Ejemplos aplicados en R
De las flores Iris a los indicadores del Banco Mundial
Después de más de cien páginas de preparación teórica, el estudio de Gómez Julián
de 2020 finalmente pone en marcha la maquinaria estadística. Esta última sección
sustantiva es útil precisamente porque la discusión precedente cambia el significado
de lo que, de otro modo, parecerían unas pocas líneas de código en R. Llegados a este
punto, una llamada a Mclust() ya no es simplemente
un comando de software. Invoca mezclas gaussianas finitas, pertenencia latente,
estimación por máxima verosimilitud mediante EM, geometrías alternativas de covarianza
y comparación de modelos basada en BIC.
El artículo ofrece dos tipos de ilustración. Primero aparece el conjunto de datos
canónico Iris distribuido con R. Después, el análisis pasa a un conjunto de
datos construido a partir de indicadores del Banco Mundial, acercando
el método a un contexto mucho más próximo a la economía, la ciencia política y la
investigación de políticas públicas.
Cómo leer la salida
Cuando Mclust() reporta un modelo como
VEV, EEE
o VVI, está describiendo la estructura de
covarianzas seleccionada para los componentes gaussianos. Cuando reporta un número
de componentes, está describiendo el número de componentes de mezcla preferido por
el procedimiento de selección de modelos entre los candidatos ajustados.
El ejemplo Iris
La primera aplicación utiliza las cuatro variables cuantitativas conocidas del
conjunto de datos Iris. Gómez Julián ejecuta:
mod1 <- Mclust(iris[,1:4])
summary(mod1)
agrupamiento basado en modelos gaussianos de las cuatro variables medidas de Iris
La solución reportada es una mezcla gaussiana finita
VEV con dos componentes.
Las 150 observaciones se dividen en conglomerados de 50 y
100 observaciones, respectivamente. La log-verosimilitud reportada
es \(-215.726\), mientras que la salida da un BIC de \(-561.7285\) y un ICL de
\(-561.7289\).
| Conjunto de datos |
Estructura seleccionada |
Agrupamiento |
| Iris | VEV · 2 componentes gaussianos | 50 / 100 observaciones |
Los gráficos que acompañan el ejemplo hacen visibles las dos capas del procedimiento.
Un panel compara valores BIC entre modelos candidatos de covarianza y distintos números
de componentes. Otro muestra la clasificación resultante a través de pares de variables
medidas. Por tanto, el gráfico no se limita a mostrar los conglomerados después del hecho:
también ofrece al lector una vista del problema de selección de modelos que los produjo.
Este ejemplo es deliberadamente sencillo. Su función es mostrar que la discusión teórica
sobre densidades de mezcla, EM, estructura de covarianzas y BIC puede condensarse
operativamente en un fragmento sorprendentemente corto de código en R.
· · ·
Un ejemplo de ciencias sociales con datos del Banco Mundial
La segunda aplicación está más directamente conectada con las preocupaciones de
economistas e investigadores de políticas públicas. Gómez Julián construye un ejemplo
con datos del Banco Mundial y cuatro variables correspondientes a 2018:
Variables utilizadas en la aplicación de 2020
Gasto público en educación como porcentaje del PIB;
desempleo como porcentaje de la fuerza laboral total;
incidencia de la pobreza según la línea nacional de pobreza; y la
tasa de alfabetización de adultos para personas de 15 años o más.
El flujo de trabajo en R importa los conjuntos de datos por separado, selecciona las
observaciones de 2018, los une por país, elimina las filas en las que la combinación
requerida contiene valores faltantes y, finalmente, aplica
Mclust() a las variables numéricas resultantes.
Cuando se consideran conjuntamente los cuatro indicadores, solo quedan
13 observaciones completas en el conjunto de datos utilizado por
el código. El modelo reportado es EEE con
nueve componentes: conglomerados gaussianos elipsoidales con igual
volumen, igual forma e igual orientación.
\( n=13,\qquad G=9,\qquad \text{modelo}=\mathrm{EEE} \)
ejemplo de cuatro variables del Banco Mundial reportado en el estudio
La salida reporta una log-verosimilitud de \(-77.62892\), 54 grados de libertad,
BIC \(-293.7651\) e ICL \(-293.7727\). Los tamaños de los componentes son
extremadamente pequeños: los nueve conglomerados contienen, respectivamente,
1, 2, 2, 1, 1, 1, 2, 2 y 1 observaciones.
Gómez Julián repite después el ejercicio de agrupamiento basado en modelos utilizando
combinaciones más pequeñas de variables. Esto resulta particularmente revelador porque
el tamaño de muestra disponible cambia de forma marcada según qué indicadores del Banco
Mundial deban observarse simultáneamente.
| Variables |
n |
Modelo |
Componentes |
BIC |
| Gasto en educación + alfabetización | 39 | XXI | 1 | −475.3468 |
| Gasto en educación + desempleo | 71 | VVI | 2 | −679.1997 |
| Gasto en educación + pobreza | 17 | EEV | 5 | −193.6785 |
El contraste es llamativo. Para gasto público en educación y alfabetización adulta,
la solución ajustada contiene solo un componente entre 39 observaciones
completas. Para gasto en educación y desempleo, el modelo seleccionado es
VVI con dos componentes, que
contienen 49 y 22 observaciones. Para gasto en educación y pobreza, el resultado es
una especificación EEV con
cinco componentes, cuyos tamaños son 3, 3, 4, 4 y 3.
Estos ejemplos muestran algo que puede perderse fácilmente cuando se habla de forma
abstracta del “número de conglomerados”. El número de componentes no es una cifra
intrínseca unida para siempre a un conjunto de países. Depende de las variables que
se modelizan, de las observaciones disponibles, de las estructuras de covarianzas
candidatas y del criterio estadístico utilizado para comparar esos modelos.
Un límite inferencial importante
La salida reportada en esta sección es análisis de conglomerados.
Describe estructura estadística encontrada por los modelos ajustados de mezclas
gaussianas. Por sí solo, un ejercicio de este tipo no establece que el gasto en
educación cause desempleo, alfabetización o pobreza, ni estima la magnitud de un
efecto causal. Esas serían preguntas inferenciales distintas que requerirían otro
diseño de investigación.
Esta distinción es especialmente valiosa para el análisis de políticas públicas. Un
conglomerado puede revelar que algunos países ocupan regiones similares de un espacio
estadístico multivariado. Eso puede motivar una investigación sustantiva. Pero no
explica, por sí mismo, histórica o causalmente por qué esos países ocupan esa región.
El resultado de cuatro variables merece el mismo cuidado. Nueve componentes a partir
de solo trece observaciones completas es exactamente el tipo de salida que debe leerse
conjuntamente con el tamaño muestral y la complejidad del modelo, en lugar de reducirse
a la frase “nueve tipos de países”. El estudio reporta el ajuste estadístico; la
interpretación sustantiva exige regresar del modelo al objeto empírico que se estudia.
· · ·
11 · La lección más amplia
Lo que realmente enseña el estudio de 2020
Quizá la característica más importante de la investigación de Gómez Julián sea su
negativa a comenzar por el software. El artículo podría haber sido un breve tutorial
sobre cómo llamar a Mclust(), inspeccionar BIC
y graficar una clasificación. En cambio, construye un largo recorrido conceptual desde
la probabilidad y la estimación hasta la salida final del agrupamiento.
Ese recorrido importa porque sus elementos están genuinamente conectados. El
razonamiento bayesiano introduce la probabilidad condicional y la
actualización. La teoría de la decisión explica cómo las distribuciones
de probabilidad pueden conectarse con estimadores y pérdidas. El
aprendizaje no supervisado introduce el problema de descubrir estructura
sin etiquetas conocidas. El análisis de conglomerados da a ese problema
una forma estadística. Los modelos de mezcla reinterpretan una población
aparentemente homogénea como la superposición de subpoblaciones latentes. Las
mezclas gaussianas proporcionan a esas subpoblaciones una geometría
probabilística flexible. EM estima modelos cuya información de pertenencia
está oculta. Y BIC proporciona una forma de comparar especificaciones rivales.
\( \text{Bayes}\rightarrow\text{estimación}\rightarrow\text{variables latentes}\rightarrow\text{mezclas}\rightarrow\text{EM}\rightarrow\text{BIC}\rightarrow\text{agrupamiento} \)
un mapa comprimido del recorrido conceptual reconstruido en el estudio de 2020
También puede leerse el artículo como un argumento a favor de comprender los métodos
estadísticos de manera estructural. Un modelo no es simplemente una ecuación. Incluye
supuestos sobre qué es observable, qué es latente, qué familia de probabilidad describe
los datos, cómo se estiman los parámetros, qué geometrías se permiten y cómo se comparan
especificaciones rivales.
Los modelos de mezclas gaussianas hacen este punto especialmente visible. La nube
observable de datos es solo la superficie. Debajo de ella hay una estructura generativa
propuesta: distribuciones componentes, pertenencias latentes, pesos de mezcla, medias
y matrices de covarianzas. El analista no observa directamente esta maquinaria. La infiere.
El conjunto de datos visible es el punto de partida. El modelo estadístico es una hipótesis sobre la estructura oculta capaz de producirlo.
Una intuición central que recorre el estudio
Por eso también es tan significativa la diferencia entre clasificación
dura y blanda. Decir que un país, una persona o una
flor pertenece al “conglomerado 2” suprime información. Una mezcla gaussiana puede,
en cambio, conservar el hecho de que una observación se encuentre cerca de la frontera
entre varios componentes plausibles. La probabilidad vuelve medible la ambigüedad.
Del mismo modo, la covarianza transforma el agrupamiento desde la simple idea de
distancia a un centro hacia una descripción más rica de la geometría estadística. Los
grupos pueden diferir no solo en ubicación, sino también en dispersión, forma y orientación.
Y BIC nos recuerda que una mayor flexibilidad tiene un costo: un modelo debe ganarse su
complejidad adicional mediante una mejora del ajuste.
Para economistas, econometristas y politólogos, quizá la lección más transferible sea,
por tanto, metodológica. Si una población puede contener regímenes estadísticos
cualitativamente distintos, forzar todas las observaciones dentro de una única distribución
homogénea puede ocultar estructura. Los modelos de mezcla ofrecen una forma formal de
preguntar si el patrón agregado puede ser generado, en cambio, por varios componentes latentes.
Pero la advertencia inversa es igualmente importante. Descubrir una partición preferida
estadísticamente no libera al investigador de la obligación de comprender el fenómeno real.
Un componente es un componente de un modelo estadístico. Que corresponda a una clase social
significativa, un régimen institucional, una configuración de desarrollo, una población
biológica o simplemente a una característica de la muestra disponible debe establecerse
mediante conocimiento sustantivo y evidencia adicional.
En una sola frase
La investigación de Gómez Julián de 2020 es un recorrido teórico guiado por las ideas
necesarias para comprender cómo los modelos gaussianos de mezclas finitas pueden
descubrir estructura latente en datos sin etiquetar, cómo EM estima esa
estructura y cómo criterios de selección de modelos como BIC ayudan a
decidir qué representación probabilística conservar.
· · ·
12 · Perspectiva final
Estadística antes que software
Hay una inversión útil en el corazón de este estudio. La computación estadística moderna
nos anima a comenzar con una función y descubrir después qué hace. El texto de Gómez
Julián de 2020 avanza en la dirección opuesta: primero reconstruye los conceptos
matemáticos y estadísticos y después se aproxima a la función.
Esa elección hace que el artículo sea inusualmente amplio. Probabilidad posterior,
estimadores de Bayes, funciones de pérdida, BIC, minería de datos, aprendizaje automático,
agrupamiento, estimación de densidades, cuantización vectorial, k-means, EM,
distribuciones categórica y de Dirichlet, optimización, parámetros, hiperparámetros y
mezclas gaussianas finitas aparecen porque el procedimiento final se encuentra en la
intersección de todas esas ideas.
Para un lector con formación técnica, el valor de este recorrido es que expone la
arquitectura oculta bajo un comando familiar de R. Para un lector proveniente de la
ciencia política, la economía u otro campo aplicado, ofrece algo igualmente útil: un
camino intuitivo hacia un método que, de otro modo, llega envuelto en álgebra matricial
y notación probabilística.
Y la lección práctica es sencilla. Cuando un algoritmo informa que los datos contienen
uno, dos o cinco grupos, la pregunta interesante no es simplemente ¿qué devolvió el
software? Es: ¿qué modelo estadístico hizo posible esa respuesta, qué supuestos
dieron forma a los grupos y qué tipo de afirmación sobre la realidad es realmente capaz
de sostener el resultado?
La buena práctica estadística comienza donde termina la salida automática: en el intento de comprender qué ha medido realmente el modelo.
Reflexión final sobre el estudio de Gómez Julián de 2020
José Mauricio Gómez Julián · 2020
Sobre los estimadores de Bayes, el análisis de conglomerados y las mezclas gaussianas:
un análisis teórico general de densityMclust en R y de teoría estadística
