01 · Contexto Por qué se escribió este estudio de 2020

La motivación inmediata es la investigación educativa. Gómez Julián parte de un estudio doctoral de Villegas Barahona centrado en el rendimiento académico, las dimensiones latentes, las variables estudiantiles observadas directamente, la descomposición matricial CUR y la construcción de un modelo estadístico capaz de apoyar la toma de decisiones académicas y administrativas. Ese proyecto anterior aporta el problema práctico; el estudio de 2020 pregunta qué teoría estadística debe comprenderse para seguir la maquinaria que se utiliza.

Esto importa porque un paquete estadístico puede hacer que un procedimiento difícil parezca trivial. Un investigador puede escribir un comando, obtener una clasificación, observar un gráfico y seguir adelante. Sin embargo, el comando presupone silenciosamente respuestas a preguntas difíciles. ¿Qué se está estimando? ¿Qué significa que las observaciones pertenezcan a grupos distintos? ¿Qué ocurre cuando esas pertenencias no se observan? ¿Cómo deben elegirse el número y la geometría de los grupos? ¿Qué cantidad maximiza el algoritmo? ¿Y cuánta incertidumbre queda después de asignar un punto a un conglomerado?

No son meras preguntas de programación. Son preguntas sobre probabilidad, inferencia, geometría y toma de decisiones. La estrategia distintiva del artículo es, por tanto, fundacional: en lugar de tratar los modelos de mezclas gaussianas como una caja negra, reconstruye la escalera conceptual que conduce hasta ellos.

Hay otra razón por la cual este enfoque es útil fuera de la estadística. Politólogos, economistas, sociólogos e investigadores de políticas públicas trabajan con frecuencia con poblaciones heterogéneas. Países, hogares, empresas, votantes o estudiantes pueden aparecer en un mismo conjunto de datos y, sin embargo, pertenecer en realidad a varias subpoblaciones estadísticamente distintas. Si esas subpoblaciones no vienen etiquetadas directamente, la tarea analítica ya no consiste simplemente en estimar un promedio, sino en inferir la estructura oculta que pudo haber generado las observaciones.

Es ahí donde finalmente entran el análisis de conglomerados y los modelos de mezclas gaussianas. Pero Gómez Julián comienza una capa más abajo: con Bayes y la lógica de actualizar el conocimiento cuando llega nueva evidencia.

02 · Fundamentos bayesianos Bayes como regla para aprender de la evidencia

En su forma más simple, el teorema de Bayes nos dice cómo debe cambiar una probabilidad cuando adquirimos información relevante. Supongamos que tenemos una hipótesis \(H\) y observamos unos datos \(D\). La actualización bayesiana conecta cuatro cantidades:

La previa, \(P(H)\), representa el estado de información antes de incorporar la nueva evidencia. La verosimilitud, \(P(D\mid H)\), nos indica qué tan compatible es la evidencia observada con la hipótesis. El denominador \(P(D)\) normaliza el cálculo. El resultado, \(P(H\mid D)\), es la posterior: la probabilidad condicionada a haber observado la nueva evidencia.

Para lectores provenientes de la economía hay una analogía útil. Imaginemos que partimos de un conjunto de creencias acerca de la situación probable de una economía y luego recibimos nueva información sobre empleo, inflación o producción. La actualización bayesiana no implica que la información anterior desaparezca. Más bien, la información previa y la nueva evidencia se combinan mediante una regla probabilística precisa. La posterior pasa entonces a ser el punto de partida informativo para la decisión siguiente.

Este es uno de los puentes conceptuales que da coherencia al artículo. Lo que comienza como una discusión abstracta sobre probabilidad condicional reaparecerá después de forma muy concreta: cada observación puede tener una probabilidad de pertenencia a cada componente gaussiano posible. Esto ya constituye una diferencia importante entre un modelo de mezcla gaussiana y la conocida asignación dura producida por el k-means ordinario.

03 · Toma de decisiones estadísticas De la probabilidad posterior a un estimador de Bayes

Actualizar probabilidades es solo una parte de la historia. En algún momento, el analista debe hacer algo con la distribución posterior. Debe estimarse un parámetro, producirse una predicción, seleccionarse un modelo o asignarse una observación —quizá provisionalmente— a un grupo.

Por eso el estudio de Gómez Julián de 2020 pasa del teorema de Bayes a la teoría de la decisión. Una vez que existen varias estimaciones o acciones posibles, el problema estadístico puede expresarse como una cuestión de consecuencias: si la cantidad desconocida es realmente \(\theta\), ¿cuál es el costo de reportar cierta estimación \(\hat{\theta}\)?

Ese costo se representa mediante una función de pérdida. La forma exacta de la función depende de qué tipos de errores sean relevantes en el problema estudiado. Un caso particularmente importante, y el que destaca el artículo, es la pérdida por error cuadrático:

Elevar el error al cuadrado tiene dos consecuencias inmediatas. Primero, las desviaciones positivas y negativas dejan de cancelarse entre sí. Segundo, los errores grandes reciben una penalización mayor que los pequeños. Por ello, la pérdida esperada asociada está estrechamente conectada con el conocido error cuadrático medio.

La teoría bayesiana de la decisión añade un ingrediente decisivo: en lugar de evaluar la pérdida tratando al parámetro como un objeto fijo desconocido fuera del cálculo probabilístico, se utiliza la distribución posterior para promediar las posibles consecuencias de una decisión. La cantidad relevante pasa a ser la pérdida posterior esperada.

Una regla de decisión bayesiana selecciona la acción que minimiza esta cantidad. Bajo pérdida por error cuadrático ocurre algo especialmente elegante: la estimación óptima es la media posterior.

La intuición es sencilla. La distribución posterior describe qué valores de \(\theta\) siguen siendo plausibles después de observar los datos. Si lo que queremos minimizar es la distancia al cuadrado, entonces la media posterior es el punto que minimiza la distancia cuadrática promedio a todos esos valores posibles.

Esta distinción será importante más adelante. Un modelo de mezcla gaussiana no se limita a calcular probabilidades. Utiliza probabilidades como parte de un problema iterativo de estimación en el que deben inferirse conjuntamente las pertenencias desconocidas a los componentes y los parámetros desconocidos de esos componentes.

El estudio también discute la idea estadística más amplia de riesgo de Bayes: la pérdida esperada asociada con una regla de decisión cuando la incertidumbre acerca del parámetro se representa ella misma probabilísticamente. Dentro del marco de teoría de la decisión adoptado en el artículo, un estimador de Bayes es el estimador elegido porque minimiza la pérdida esperada pertinente.

04 · Aprendizaje no supervisado Por qué el agrupamiento es distinto de la clasificación

El artículo cambia entonces de escala. Pasa de la estimación de un parámetro desconocido a una pregunta más amplia de aprendizaje automático: ¿cómo puede descubrirse estructura en un conjunto de datos cuando las observaciones no vienen acompañadas de etiquetas de clase conocidas?

Este es el escenario definitorio del aprendizaje no supervisado. En el aprendizaje supervisado, los datos de entrenamiento contienen un resultado o una etiqueta que el algoritmo debe reproducir o predecir. Por ejemplo, un modelo puede aprender si un solicitante de crédito incurrió en impago, por qué partido votó un encuestado o qué valor numérico tomó una variable dependiente.

En el aprendizaje no supervisado no existe tal clave de respuestas. El algoritmo recibe observaciones y sus características medidas, pero no una declaración previa de que la observación 17 pertenece al tipo A y la observación 18 al tipo B. La propia estructura debe inferirse a partir de patrones presentes en los datos.

Gómez Julián sitúa el análisis de conglomerados en el centro de este problema de aprendizaje no supervisado. En su forma más general, agrupar significa particionar observaciones según características compartidas, de manera que las observaciones dentro de un conglomerado sean relativamente similares y las pertenecientes a conglomerados distintos sean relativamente disímiles.

La formulación parece simple, pero oculta una de las dificultades más profundas del agrupamiento: no siempre existe una única manera obvia de dividir un conjunto de datos. La misma nube de puntos puede describirse plausiblemente como dos grupos amplios, varios subgrupos más estrechos o una jerarquía en la que grupos mayores contienen otros menores.

El estudio utiliza esta ambigüedad para distinguir dos grandes familias. El agrupamiento particional divide las observaciones en grupos no superpuestos a un nivel seleccionado. El agrupamiento jerárquico, en cambio, organiza grupos dentro de grupos y produce una estructura anidada que con frecuencia puede representarse como un árbol.

Esto es más que una distinción técnica. Nos recuerda que un conglomerado no es simplemente un objeto que espera dentro de los datos a ser fotografiado. Un procedimiento de agrupamiento incorpora una definición de qué significa similitud, cómo se mide la distancia, qué geometría se permite y a qué escala las diferencias se consideran importantes.

Esto es particularmente importante para economistas y politólogos. Supongamos que representamos países mediante desempleo, alfabetización, pobreza y gasto público en educación. Un algoritmo de agrupamiento puede detectar configuraciones estadísticamente distintas de esas variables. Pero los grupos resultantes no deben tratarse automáticamente como “tipos” políticos o económicos sustantivos. La agrupación estadística es evidencia acerca de una estructura; su interpretación todavía requiere teoría y conocimiento del fenómeno estudiado.

Antes de agrupar, el artículo también subraya la importancia del preprocesamiento de los datos. Los valores atípicos, las distintas escalas de medición, las variables irrelevantes y los valores faltantes pueden alterar la geometría aparente del conjunto de datos. La normalización puede ser importante cuando la distancia es central para el algoritmo, mientras que la reducción de variables puede resultar útil cuando dimensiones irrelevantes oscurecen, en vez de aclarar, la estructura.

05 · Un primer modelo de agrupamiento Lo que k-means realmente supone

Para entender por qué las mezclas gaussianas son útiles, Gómez Julián introduce primero uno de los algoritmos de agrupamiento más conocidos: k-means.

La idea básica es geométrica. Se elige un número de grupos, \(K\). A cada grupo se le asocia un centro, o centroide. Después se asigna cada observación al grupo cuyo centroide está más cerca. Los centroides se actualizan a partir de las observaciones que les fueron asignadas y el proceso se repite hasta que la configuración se estabiliza.

Incluso quienes nunca han implementado el algoritmo pueden visualizar su lógica. Imaginemos colocar \(K\) alfileres sobre un mapa. Cada observación se envía al alfiler más cercano. Después los alfileres se desplazan hacia los centros de las observaciones que les fueron asignadas y la asignación se repite. Finalmente, los alfileres y las pertenencias dejan de cambiar de manera sustancial.

Este procedimiento es potente y computacionalmente conveniente, pero su simplicidad impone una estructura geométrica. La lógica de distancia al centroide funciona de manera más natural cuando los conglomerados son compactos y aproximadamente esféricos —o circulares cuando se visualizan en dos dimensiones—.

Los datos reales no tienen por qué cooperar. Un conglomerado puede ser largo y estrecho, inclinarse diagonalmente en el espacio de características, estar muy concentrado en una dirección y ampliamente disperso en otra. Dos grupos también pueden superponerse. Cuando aparecen estas posibilidades, la distancia a un único centro puede dejar de describir adecuadamente la estructura.

Hay otra limitación que se vuelve central en el artículo. El k-means ordinario realiza lo que se conoce como una asignación dura. Una observación se coloca en el conglomerado 1, 2 o 3. El algoritmo no dice de forma natural: “hay una probabilidad del 72 % de que esta observación pertenezca al conglomerado 1 y del 28 % de que pertenezca al conglomerado 2”.

Esto prepara el giro conceptual central del estudio. En vez de pensar un conglomerado únicamente como una colección de puntos alrededor de un centroide, podemos pensarlo como una distribución de probabilidad.

06 · Estructura latente La idea central: una población puede ser una mezcla

Supongamos que observamos la distribución de alguna variable en una población completa. A primera vista vemos un único conjunto de datos. Pero ¿qué ocurre si esa población está compuesta en realidad por varias subpoblaciones generadas por procesos estadísticos distintos?

Esta es la intuición fundamental detrás de un modelo de mezcla. La distribución de probabilidad global se representa como una combinación ponderada de varias distribuciones componentes.

Aquí \(G\) es el número de componentes. \(f_k(x_i;\theta_k)\) es la densidad del componente \(k\), determinada por sus propios parámetros \(\theta_k\). La cantidad \(\pi_k\) es el peso de mezcla del componente y satisface \(\pi_k>0\) y \(\sum_{k=1}^{G}\pi_k=1\).

Los pesos son importantes. Si parece que el 70 % de la población fue generado por un componente y el 30 % por otro, ambas densidades componentes no deberían contribuir por igual a la densidad de la población total. Los pesos de mezcla codifican su prevalencia relativa.

Pero la característica más profunda del modelo es algo que no observamos directamente: la identidad del componente de cada observación. El conjunto de datos contiene \(x_i\), pero normalmente no contiene una columna adicional proporcionada por la naturaleza que diga: “este punto fue generado por el componente gaussiano 3”.

La pertenencia al componente es, por tanto, una variable latente. Es una estructura oculta que se infiere a partir de los datos observados.

Por eso el artículo considera los modelos de mezcla como naturalmente conectados con la modelización jerárquica y de variables latentes. Existe un nivel en el que una observación pertenece a algún componente no observado y otro nivel en el que el valor observado se genera según la distribución de probabilidad asociada a ese componente.

Si las distribuciones componentes son gaussianas, el modelo se convierte en un modelo de mezcla gaussiana, o GMM:

En una dimensión, cada componente tiene una media y una varianza. En varias dimensiones, la media se convierte en un vector \(\mu_k\), mientras que la dispersión y la dependencia entre variables se representan mediante la matriz de covarianzas \(\Sigma_k\).

La matriz de covarianzas es precisamente lo que da a los modelos de mezclas gaussianas su flexibilidad geométrica. Permite que un conglomerado sea estrecho, otro amplio, otro alargado y otro orientado en una dirección diagonal dentro del espacio multivariado.

El artículo presenta así las mezclas gaussianas como una generalización probabilística de la intuición más rígida, basada en centroides, asociada con k-means. En lugar de preguntar únicamente qué centro está más cerca, el modelo plantea una pregunta más rica: dadas las distribuciones estimadas, ¿qué tan probable es que esta observación provenga de cada componente?

Ahora la discusión anterior sobre Bayes se vuelve visiblemente relevante. El modelo parte de pesos y densidades de los componentes y, condicionado a un punto observado, calcula probabilidades actualizadas de pertenencia a cada componente.

Una observación cercana al centro de un componente y lejos de todos los demás puede recibir una probabilidad de asignación próxima a uno. Una observación situada en una región de superposición puede recibir una probabilidad sustancial bajo dos o más componentes. Esto es clasificación blanda: la incertidumbre sobre la pertenencia se conserva en lugar de descartarse de inmediato.

Pero ahora hemos llegado a una aparente circularidad. Para estimar la media, la covarianza y el peso de cada componente, querríamos saber qué observaciones pertenecen a cada componente. Sin embargo, determinar qué observaciones pertenecen a cada componente es precisamente lo que exige conocer esas medias, covarianzas y pesos.

Resolver ese problema circular es la tarea de uno de los algoritmos más importantes de la estadística con variables latentes: esperanza-maximización.

07 · Información oculta EM: aprender cuando se desconoce la pertenencia a los grupos

La dificultad a la que se enfrenta un modelo de mezcla gaussiana puede expresarse ahora con precisión. Observamos los puntos de datos, pero no observamos el componente del que fue generado cada punto. Si esas pertenencias fueran conocidas, estimar los parámetros de cada componente gaussiano sería relativamente sencillo. Pero las propias pertenencias dependen de parámetros que todavía son desconocidos.

El estudio de Gómez Julián de 2020 aborda este problema mediante el clásico algoritmo de esperanza-maximización, o EM, desarrollado por Dempster, Laird y Rubin. El contexto más amplio es la estimación a partir de datos incompletos: existe información que haría más sencillo el problema de estimación, pero dicha información no se observa directamente.

En la modelización de mezclas, la pieza faltante es especialmente intuitiva. Imaginemos que cada fila del conjunto de datos lleva secretamente una variable adicional que indica qué componente gaussiano la generó. Si esa variable oculta fuera visible, tendríamos lo que puede concebirse como los datos completos. En realidad, solo se observan las variables medidas.

La característica ingeniosa de EM es que no exige que esta información faltante se vuelva de algún modo observable. En su lugar, alterna entre dos cálculos. Cada uno hace posible el otro.

Paso E: estimar las pertenencias ocultas

Se comienza con unos valores actuales para los parámetros de los componentes: las medias, las matrices de covarianzas y los pesos de mezcla. Dados esos valores, se calcula qué tan probable es que cada observación pertenezca a cada componente.

Estas probabilidades suelen denominarse responsabilidades. El componente \(k\) asume responsabilidad por la observación \(i\) en proporción a cuán plausible es esa observación bajo la densidad gaussiana del componente y a cuán prevalente es dicho componente en la mezcla.

Obsérvese lo que ha ocurrido. La afirmación dura y desconocida “la observación \(i\) pertenece al conglomerado \(k\)” ha sido sustituida por un conjunto de probabilidades. Una observación puede estar asociada abrumadoramente con un componente o puede situarse en una región de superposición y repartir su probabilidad entre varios componentes.

Paso M: actualizar el modelo

Una vez calculadas esas pertenencias esperadas, el algoritmo da la vuelta al problema. Ahora trata las pertenencias probabilísticas producidas por el paso E como información para reestimar los parámetros.

Las medias, las matrices de covarianzas y los pesos de mezcla se actualizan de modo que aumente la verosimilitud de los datos observados bajo la mezcla recién estimada.

Después el algoritmo vuelve al paso E. Los nuevos parámetros implican nuevas probabilidades de pertenencia; esas nuevas probabilidades implican nuevas estimaciones de los parámetros; y el proceso continúa iterativamente.

El proceso se detiene cuando las estimaciones de los parámetros —o, equivalentemente, las mejoras en la verosimilitud— cambian tan poco que se considera que el algoritmo ha alcanzado la convergencia.

Esto convierte a EM en una respuesta particularmente elegante a la aparente circularidad encontrada al final de la sección anterior. Necesitábamos la pertenencia a los conglomerados para estimar las distribuciones, pero necesitábamos las distribuciones para estimar la pertenencia a los conglomerados. EM resuelve el problema alternando entre ambas tareas condicionales.

Hay una salvedad importante. EM es un algoritmo de optimización, no una garantía mágica de que cualquier punto de partida conduzca a la mejor solución global. Las verosimilitudes de los modelos de mezcla pueden contener múltiples óptimos locales. Por ello, la inicialización y la especificación del modelo pueden importar. Lo que EM garantiza a nivel operativo es un procedimiento iterativo para mejorar la verosimilitud hasta alcanzar una solución estacionaria.

08 · Geometría estadística Por qué las mezclas gaussianas pueden ver elipses

El siguiente paso del argumento de Gómez Julián es geométrico. En una dimensión, una distribución gaussiana se describe mediante una media y una varianza. Sin embargo, al pasar a dos o más dimensiones, la varianza ya no es suficiente. También deben representarse las relaciones entre las variables.

Este es el papel de la matriz de covarianzas, \(\Sigma_k\). Para el componente \(k\), el vector de medias \(\mu_k\) determina su centro, mientras que \(\Sigma_k\) determina cómo se dispersa la masa de probabilidad por el espacio multivariado.

En dos dimensiones, los contornos de igual densidad gaussiana forman elipses. Esto ofrece una forma intuitiva de leer la covarianza. Una elipse casi circular indica una dispersión similar en distintas direcciones. Una elipse alargada indica una variación mucho mayor en una dirección que en otra. Una elipse inclinada señala covarianza entre las variables.

Es precisamente aquí donde el agrupamiento mediante mezclas gaussianas se vuelve más flexible que la imagen geométrica elemental proporcionada por k-means. Un centroide solo nos dice dónde está centrado un conglomerado. Una matriz de covarianzas también nos informa de su volumen, forma y orientación.

El marco de mclust estudiado en el artículo explota este hecho de forma sistemática. En lugar de ajustar una sola estructura de covarianzas posible, considera una familia de modelos gaussianos obtenidos imponiendo distintas restricciones sobre el volumen, la forma y la orientación de los elipsoides componentes.

Gómez Julián discute los 14 modelos gaussianos multivariados disponibles en la versión de mclust estudiada en la investigación de 2020. Sus nombres compactos —como EEE, VEV, VVI o EEV— codifican restricciones sobre esas propiedades geométricas.

Estos códigos no son jerga decorativa de software. Describen hipótesis estadísticas rivales sobre la geometría de los grupos ocultos. ¿Deben todos los conglomerados tener la misma dispersión? ¿Puede uno ser mayor que otro? ¿Deben sus elipses apuntar en la misma dirección? ¿Es suficiente una matriz diagonal de covarianzas o los datos requieren elipsoides rotados?

Visto así, el agrupamiento basado en modelos hace más que decidir dónde dibujar fronteras. Está comparando descripciones generativas alternativas de los datos.

09 · Selección de modelos BIC y el problema de elegir un modelo

Las mezclas gaussianas crean un nuevo problema precisamente porque son flexibles. Podemos ajustar distintos números de componentes y, para cada número, considerar diferentes estructuras de covarianzas. ¿Qué modelo debe preferirse?

La verosimilitud maximizada por sí sola no basta. Añadir parámetros suele dar al modelo más libertad para acomodar los datos observados, de modo que el ajuste bruto puede mejorar simplemente porque el modelo se ha vuelto más complicado. Si la complejidad nunca se penaliza, el procedimiento empuja hacia especificaciones cada vez más elaboradas.

Esto motiva el Criterio de Información Bayesiano (BIC), introducido por Gideon Schwarz y discutido ampliamente en el estudio de 2020. En una notación habitual,

Aquí \(\hat{L}\) es la verosimilitud maximizada, \(k\) es el número de parámetros estimados y \(n\) es el tamaño de la muestra. El primer término recompensa el ajuste; el segundo penaliza los parámetros adicionales.

Una convención de signo equivalente suele escribirse de modo que se prefieran valores mayores:

En mclust, BIC se convierte así en el mecanismo para comparar combinaciones de número de componentes y parametrización de la covarianza. El software puede ajustar un conjunto de modelos candidatos de mezclas gaussianas y compararlos, en vez de obligar al investigador a estipular de antemano una única geometría.

Conceptualmente, se trata de una competencia entre explicaciones. Un modelo de un componente afirma que una sola población gaussiana es suficiente. Un modelo de dos componentes sostiene que dos subpoblaciones latentes ofrecen una mejor explicación después de tomar en cuenta los parámetros adicionales. Un modelo de cinco componentes formula una afirmación aún más elaborada. BIC pregunta si la ganancia en verosimilitud es suficientemente grande para justificar esa complejidad adicional.

Esta distinción es esencial. EM no responde por sí solo todas las preguntas de modelización. Dada una estructura de mezcla especificada, proporciona una forma de estimar sus parámetros. La selección de modelos opera en otro nivel: compara estructuras alternativas.

El resultado es un procedimiento por capas. Primero se definen modelos de probabilidad candidatos. Después se estiman. Luego se comparan. Finalmente, se inspecciona la clasificación resultante y se pregunta si la estructura estadística tiene sentido sustantivo.

Ya estamos listos para el último paso de la investigación de 2020: ver qué produce realmente esta maquinaria en R. Gómez Julián cierra el análisis sustantivo con dos tipos de aplicación. La primera utiliza el conjunto de datos canónico Iris; la segunda pasa a datos sociales y económicos del Banco Mundial, combinando indicadores de gasto en educación, alfabetización, desempleo y pobreza.

10 · Ejemplos aplicados en R De las flores Iris a los indicadores del Banco Mundial

Después de más de cien páginas de preparación teórica, el estudio de Gómez Julián de 2020 finalmente pone en marcha la maquinaria estadística. Esta última sección sustantiva es útil precisamente porque la discusión precedente cambia el significado de lo que, de otro modo, parecerían unas pocas líneas de código en R. Llegados a este punto, una llamada a Mclust() ya no es simplemente un comando de software. Invoca mezclas gaussianas finitas, pertenencia latente, estimación por máxima verosimilitud mediante EM, geometrías alternativas de covarianza y comparación de modelos basada en BIC.

El artículo ofrece dos tipos de ilustración. Primero aparece el conjunto de datos canónico Iris distribuido con R. Después, el análisis pasa a un conjunto de datos construido a partir de indicadores del Banco Mundial, acercando el método a un contexto mucho más próximo a la economía, la ciencia política y la investigación de políticas públicas.

El ejemplo Iris

La primera aplicación utiliza las cuatro variables cuantitativas conocidas del conjunto de datos Iris. Gómez Julián ejecuta:

La solución reportada es una mezcla gaussiana finita VEV con dos componentes. Las 150 observaciones se dividen en conglomerados de 50 y 100 observaciones, respectivamente. La log-verosimilitud reportada es \(-215.726\), mientras que la salida da un BIC de \(-561.7285\) y un ICL de \(-561.7289\).

Los gráficos que acompañan el ejemplo hacen visibles las dos capas del procedimiento. Un panel compara valores BIC entre modelos candidatos de covarianza y distintos números de componentes. Otro muestra la clasificación resultante a través de pares de variables medidas. Por tanto, el gráfico no se limita a mostrar los conglomerados después del hecho: también ofrece al lector una vista del problema de selección de modelos que los produjo.

Este ejemplo es deliberadamente sencillo. Su función es mostrar que la discusión teórica sobre densidades de mezcla, EM, estructura de covarianzas y BIC puede condensarse operativamente en un fragmento sorprendentemente corto de código en R.

Un ejemplo de ciencias sociales con datos del Banco Mundial

La segunda aplicación está más directamente conectada con las preocupaciones de economistas e investigadores de políticas públicas. Gómez Julián construye un ejemplo con datos del Banco Mundial y cuatro variables correspondientes a 2018:

El flujo de trabajo en R importa los conjuntos de datos por separado, selecciona las observaciones de 2018, los une por país, elimina las filas en las que la combinación requerida contiene valores faltantes y, finalmente, aplica Mclust() a las variables numéricas resultantes.

Cuando se consideran conjuntamente los cuatro indicadores, solo quedan 13 observaciones completas en el conjunto de datos utilizado por el código. El modelo reportado es EEE con nueve componentes: conglomerados gaussianos elipsoidales con igual volumen, igual forma e igual orientación.

La salida reporta una log-verosimilitud de \(-77.62892\), 54 grados de libertad, BIC \(-293.7651\) e ICL \(-293.7727\). Los tamaños de los componentes son extremadamente pequeños: los nueve conglomerados contienen, respectivamente, 1, 2, 2, 1, 1, 1, 2, 2 y 1 observaciones.

Gómez Julián repite después el ejercicio de agrupamiento basado en modelos utilizando combinaciones más pequeñas de variables. Esto resulta particularmente revelador porque el tamaño de muestra disponible cambia de forma marcada según qué indicadores del Banco Mundial deban observarse simultáneamente.

El contraste es llamativo. Para gasto público en educación y alfabetización adulta, la solución ajustada contiene solo un componente entre 39 observaciones completas. Para gasto en educación y desempleo, el modelo seleccionado es VVI con dos componentes, que contienen 49 y 22 observaciones. Para gasto en educación y pobreza, el resultado es una especificación EEV con cinco componentes, cuyos tamaños son 3, 3, 4, 4 y 3.

Estos ejemplos muestran algo que puede perderse fácilmente cuando se habla de forma abstracta del “número de conglomerados”. El número de componentes no es una cifra intrínseca unida para siempre a un conjunto de países. Depende de las variables que se modelizan, de las observaciones disponibles, de las estructuras de covarianzas candidatas y del criterio estadístico utilizado para comparar esos modelos.

Esta distinción es especialmente valiosa para el análisis de políticas públicas. Un conglomerado puede revelar que algunos países ocupan regiones similares de un espacio estadístico multivariado. Eso puede motivar una investigación sustantiva. Pero no explica, por sí mismo, histórica o causalmente por qué esos países ocupan esa región.

El resultado de cuatro variables merece el mismo cuidado. Nueve componentes a partir de solo trece observaciones completas es exactamente el tipo de salida que debe leerse conjuntamente con el tamaño muestral y la complejidad del modelo, en lugar de reducirse a la frase “nueve tipos de países”. El estudio reporta el ajuste estadístico; la interpretación sustantiva exige regresar del modelo al objeto empírico que se estudia.

11 · La lección más amplia Lo que realmente enseña el estudio de 2020

Quizá la característica más importante de la investigación de Gómez Julián sea su negativa a comenzar por el software. El artículo podría haber sido un breve tutorial sobre cómo llamar a Mclust(), inspeccionar BIC y graficar una clasificación. En cambio, construye un largo recorrido conceptual desde la probabilidad y la estimación hasta la salida final del agrupamiento.

Ese recorrido importa porque sus elementos están genuinamente conectados. El razonamiento bayesiano introduce la probabilidad condicional y la actualización. La teoría de la decisión explica cómo las distribuciones de probabilidad pueden conectarse con estimadores y pérdidas. El aprendizaje no supervisado introduce el problema de descubrir estructura sin etiquetas conocidas. El análisis de conglomerados da a ese problema una forma estadística. Los modelos de mezcla reinterpretan una población aparentemente homogénea como la superposición de subpoblaciones latentes. Las mezclas gaussianas proporcionan a esas subpoblaciones una geometría probabilística flexible. EM estima modelos cuya información de pertenencia está oculta. Y BIC proporciona una forma de comparar especificaciones rivales.

También puede leerse el artículo como un argumento a favor de comprender los métodos estadísticos de manera estructural. Un modelo no es simplemente una ecuación. Incluye supuestos sobre qué es observable, qué es latente, qué familia de probabilidad describe los datos, cómo se estiman los parámetros, qué geometrías se permiten y cómo se comparan especificaciones rivales.

Los modelos de mezclas gaussianas hacen este punto especialmente visible. La nube observable de datos es solo la superficie. Debajo de ella hay una estructura generativa propuesta: distribuciones componentes, pertenencias latentes, pesos de mezcla, medias y matrices de covarianzas. El analista no observa directamente esta maquinaria. La infiere.

Por eso también es tan significativa la diferencia entre clasificación dura y blanda. Decir que un país, una persona o una flor pertenece al “conglomerado 2” suprime información. Una mezcla gaussiana puede, en cambio, conservar el hecho de que una observación se encuentre cerca de la frontera entre varios componentes plausibles. La probabilidad vuelve medible la ambigüedad.

Del mismo modo, la covarianza transforma el agrupamiento desde la simple idea de distancia a un centro hacia una descripción más rica de la geometría estadística. Los grupos pueden diferir no solo en ubicación, sino también en dispersión, forma y orientación. Y BIC nos recuerda que una mayor flexibilidad tiene un costo: un modelo debe ganarse su complejidad adicional mediante una mejora del ajuste.

Para economistas, econometristas y politólogos, quizá la lección más transferible sea, por tanto, metodológica. Si una población puede contener regímenes estadísticos cualitativamente distintos, forzar todas las observaciones dentro de una única distribución homogénea puede ocultar estructura. Los modelos de mezcla ofrecen una forma formal de preguntar si el patrón agregado puede ser generado, en cambio, por varios componentes latentes.

Pero la advertencia inversa es igualmente importante. Descubrir una partición preferida estadísticamente no libera al investigador de la obligación de comprender el fenómeno real. Un componente es un componente de un modelo estadístico. Que corresponda a una clase social significativa, un régimen institucional, una configuración de desarrollo, una población biológica o simplemente a una característica de la muestra disponible debe establecerse mediante conocimiento sustantivo y evidencia adicional.

12 · Perspectiva final Estadística antes que software

Hay una inversión útil en el corazón de este estudio. La computación estadística moderna nos anima a comenzar con una función y descubrir después qué hace. El texto de Gómez Julián de 2020 avanza en la dirección opuesta: primero reconstruye los conceptos matemáticos y estadísticos y después se aproxima a la función.

Esa elección hace que el artículo sea inusualmente amplio. Probabilidad posterior, estimadores de Bayes, funciones de pérdida, BIC, minería de datos, aprendizaje automático, agrupamiento, estimación de densidades, cuantización vectorial, k-means, EM, distribuciones categórica y de Dirichlet, optimización, parámetros, hiperparámetros y mezclas gaussianas finitas aparecen porque el procedimiento final se encuentra en la intersección de todas esas ideas.

Para un lector con formación técnica, el valor de este recorrido es que expone la arquitectura oculta bajo un comando familiar de R. Para un lector proveniente de la ciencia política, la economía u otro campo aplicado, ofrece algo igualmente útil: un camino intuitivo hacia un método que, de otro modo, llega envuelto en álgebra matricial y notación probabilística.

Y la lección práctica es sencilla. Cuando un algoritmo informa que los datos contienen uno, dos o cinco grupos, la pregunta interesante no es simplemente ¿qué devolvió el software? Es: ¿qué modelo estadístico hizo posible esa respuesta, qué supuestos dieron forma a los grupos y qué tipo de afirmación sobre la realidad es realmente capaz de sostener el resultado?