Introducción

La presencia de no respuesta y valores perdidos representa un problema recurrente en el análisis estadístico; afecta tanto a las estadísticas oficiales (encuestas a hogares, datos censales, etc.) como a los registros administrativos (de empresas u organismos) y, en términos generales, a cualquier conjunto de datos sobre el cual se busque realizar algún análisis cuantitativo. A su vez, las nuevas fuentes de datos englobadas bajo el término impreciso de big data -vinculadas a la utilización de tecnologías mobile, logs de navegación de sitios web, scraping de sitios, redes sociales, etc.- se caracterizan por formatos y procesos de producción no estructurados, orígenes diversos e inconsistencias varias. La expansión en el uso de este tipo de fuentes (^{Salganik, 2018}) muestra la necesidad de contar con herramientas que permitan lidiar con la existencia de datos perdidos de manera performante. Este punto tiene particular relevancia dado que las rutinas de los paquetes estadísticos habitualmente utilizados en ciencias sociales asumen que se trabaja con datos completos y los métodos de imputación que utilizan pueden ser inapropiados (^{Medina y Galván, 2007}).

El presente trabajo expone algunos avances iniciales en la evaluación de diferentes modelos para la imputación de valores perdidos en variables de ingreso de encuestas a hogares. Continúa una línea de trabajo enmarcada en un proyecto más general³ que busca evaluar la capacidad de algunas técnicas de Machine Learning para la imputación de datos perdidos en variables cuantitativas y cualitativas. Se presentan los resultados preliminares de algunos experimentos de imputación de la variable de ingresos de la ocupación principal de la Encuesta Permanente de Hogares, basados en técnicas de Ensamble Learning y Deep Learning: Random Forest, XGBoost y Multi-Layer Perceptron. Se compara la performance de esas técnicas contrastándolas con el método llamado Hot Deck (uno de los métodos usados por el Sistema Estadístico Nacional).

Los métodos explorados resultan, en principio, aplicables para la imputación de cualquier tipo de valores perdidos (en variables cualitativas o cuantitativas) y para diversas fuentes de datos. Sin embargo, dada la relevancia particular que presenta el problema de la no respuesta de ingresos en encuestas a hogares (tanto en la Argentina como a nivel internacional) se presenta aquí una aplicación al respecto utilizando microdatos correspondientes al segundo trimestre de 2015⁴ de la Encuesta Permanente de Hogares (EPH), relevamiento elaborado por el Instituto Nacional de Estadísticas y Censos de la Argentina (INDEC).

Este problema no es nuevo y, de hecho, en la EPH se observa un incremento notable en la proporción de valores de no respuesta totales, particularmente en dichas variables de ingreso. Diversos estudios (^{Salvia y Donza, 1999}; ^{Felcman, Kidyba y Ruffo, 2004}; ^{Pacífico, Jaccoud, Monteforte y Arakaki, 2011}) parecen mostrar que la proporción de perceptores de ingresos con ingresos no declarados varió del 8% en 1995 al 24% en 2010 (luego de un descenso entre 1990 y 1994). El INDEC ha encarado el problema de diferentes formas. Durante la modalidad puntual de la EPH (hasta 2003), se optó por el método pairwise; luego, durante la primera etapa de la EPH-Continua se comenzó a utilizar el método Hot Deck combinado con la reponderación de ingresos; y, por último, desde 2016 se ha retomado el método de la reponderación (^{Camelo, 1999}; ^{Hoszowski, Messere y Tombolini, 2004}; INDEC, 2009, 2017).

La magnitud del problema se pone de manifiesto al analizar la proporción de casos imputados (a nivel individuo) en alguna de las variables de ingreso en la Encuesta Permanente de Hogares entre 2004 y 2016. Se observa una tendencia creciente que comienza en 2006 y parece consolidarse a partir de 2007: pasa de menos de un 7% en 2006 hasta casi un 15% en 2015. A partir del 2016 la tendencia al incremento parece estancarse y mostrar un leve descenso, si bien queda en valores cercanos al 14%.

En la primera y segunda parte del artículo se plantea el problema de forma más específica y se pasa revista a los principales procesos teóricos de generación de valores perdidos, sus consecuencias, ventajas y limitaciones en la imputación de datos. En la tercera parte, se presentan las técnicas propuestas y sus fundamentos teóricos-metodológicos. Finalmente, en la cuarta sección, se presentan los principales resultados de la aplicación de los métodos propuestos sobre datos de la Encuesta Permanente de Hogares.

Mecanismos de generación de datos perdidos y mecanismos habituales de resolución

En términos generales se asume que los datos perdidos y las no respuestas (NR) pueden ser generarse mediante tres procesos teóricos:

1) Missing Completely at Random (MCAR): en este caso, la probabilidad de que un registro tenga un valor perdido en la variable no está relacionada con los valores de ni con otros valores de la matriz de datos (). Es decir, los datos perdidos son una submuestra aleatoria de la muestra general.

2) Missing at Random (MAR): si la probabilidad de NR en es independiente de los valores de , luego de condicionar sobre otras variables.

3) Non Missing at Random (NMR): en este caso, la probabilidad de NR depende tanto de variables externas como de los valores de la variable con datos perdidos ().

Resulta evidente que el supuesto MCAR no se cumple si: a) algún grupo o subgrupo tiene mayor probabilidad de presentar NR en la variable ; y/o b) si alguno de los valores de tiene mayor probabilidad de NR.

El supuesto de MAR sería satisfecho si la probabilidad de no respuesta en ingresos dependiera, por ejemplo, exclusivamente del nivel educativo: es decir, si hubiera una mayor probabilidad en los niveles educativos altos de no haber respondido la variable ingresos. Bajo el proceso MAR, si bien existe esa probabilidad diferencial en cada grupo, al interior de cada uno de ellos (en el ejemplo anterior el nivel educativo) la probabilidad de no respuesta en ingresos no está relacionada con los valores del ingreso: dentro de los niveles educativos altos, todos los individuos tienen la misma probabilidad de presentar NR en la variable ingresos.

En términos generales, los datos perdidos no son generados por un proceso MAR si los casos con NR en una variable particular tienden a tener mayores o menores valores en esa variable que los casos con datos no perdidos, y se trataría de un proceso NMR.

A grandes rasgos existen dos formas genéricas de lidiar con datos perdidos⁵: la primera es proceder a la eliminación de tales datos⁶. La segunda consiste en la imputación: se busca reemplazar los valores perdidos por una estimación razonable de ellos. A su vez, es posible identificar dos tipos de mecanismos de imputación: los basados en imputación simple y los basados en imputación múltiple. Entre los primeros podemos mencionar, por ejemplo, la imputación por media, por medias condicionadas, reponderación, etc.

Uno de los más utilizados métodos de imputación simple es el llamado Hot Deck. En este se busca reemplazar los valores perdidos de una o más variables de un caso no respondente (llamado “receptor”) mediante los valores observados en un caso respondente (llamado “donante”) similar al receptor. En algunas versiones el donante es seleccionado aleatoriamente de un set de potenciales donantes (Random Hot Deck); en otros casos se selecciona un solo caso donante, generalmente a partir de un algoritmo de “vecinos cercanos” y/o usando alguna métrica (Deterministic Hot Deck). En todos los casos, la imputación del valor perdido se realiza a partir de un solo valor estimado (^{Belin y Song, 2015}).

Los métodos basados en las llamadas imputaciones múltiples (^{Van Buuren, 2018}) generan un conjunto de posibles valores como estimación de los valores a imputar, los cuales son agregados de alguna manera. En general, se utilizan métodos de simulación de Monte Carlo y se sustituyen los datos faltantes a partir de un cierto número de simulaciones: “La metodología consta de varias etapas, y en cada simulación se analiza la matriz de datos completos a partir de métodos estadísticos convencionales y posteriormente se combinan los resultados para generar estimadores robustos” (^{Medina y Galván, 2007}, p. 31).

Reseña de los métodos utilizados

Los dos primeros métodos explorados en este ejercicio presentan una lógica similar a la de imputación múltiple: generarán varias estimaciones para los valores perdidos a imputar, las cuales serán agregadas para generar el valor de imputación final. Se basan en un conjunto de técnicas englobadas bajo el nombre de ensamble learning (también llamadas ensamble de modelos, clasificadores basados en comités o sistemas de clasificadores múltiples). El objetivo general de los ensambles es incrementar la capacidad predictiva de clasificadores/modelos (base learners) a partir de la generación de submuestras de los datos originales y la estimación para cada una de esas submuestras de un modelo. Luego, las estimaciones provenientes de cada uno de esos modelos base se agregan de alguna manera y se genera la estimación final. De esta manera, se obtiene una capacidad predictiva que puede ser superior a la que presenta la aplicación de un solo clasificador base.

Los clasificadores base pueden ser de cualquier tipo (regresiones, árboles de clasificación, redes neuronales, etc.) e, incluso, puede plantearse la construcción de un ensamble con diferentes modelos base. Existen numerosos algoritmos para la construcción de ensambles de modelos y muchas aplicaciones a diversos problemas (^{Polikar, Zhang y Ma, 2012}; ^{Okun, Valentini y Re, 2011}; ^{Zhou, 2012}). Pueden identificarse dos grandes metaalgoritmos de ensamble learning: bagging y boosting.

Metodología de entrenamiento¹²

Los modelos fueron entrenados utilizando el lenguaje R y las librerías caret (para XGBoost y RandomForest), Keras (para el MLP) y hot.deck (para Hot Deck).

Para el entrenamiento de los modelos se utilizó la base usuaria de la Encuesta Permanente de Hogares correspondiente al segundo trimestre del año 2015. En todos los casos se procedió a la selección de los hiperparámetros de cada modelo mediante un esquema de validación cruzada de cinco grupos (k=5). Una vez seleccionados los mejores modelos (la mejor combinación de hiperparámetros para cada algoritmo) se procedió a dos formas de validación. Por un lado, se estimó el error de cada modelo mediante una nueva validación cruzada de k=5; dado que en este caso se particiona el dataset en 5 porciones y se estiman los errores en esta partición, esto equivale a la generación de datos perdidos de forma MAR o MCAR. En el siguiente esquema se resume el flujo de trabajo utilizado.

Los datos de entrenamiento estuvieron constituidos por los ocupados de todas las categorías ocupacionales. Por otro lado, dado que se desconocen los parámetros y la forma concreta en que el INDEC realizó la imputación de valores, la segunda estrategia de validación consistió en comparar los datos imputados vía Hot Deck por el Instituto (identificables a partir del campo IDIMPP) con las imputaciones (sobre los mismos casos) realizadas por los tres métodos trabajados en esta ponencia.

En todos los casos, se utilizó como función de pérdida la raíz cuadrada del error cuadrático medio (ver más adelante) y se tomó como variable dependiente el monto de ingresos de la ocupación principal (p21) y como predictores las siguientes variables:

A su vez, luego del proceso, los parámetros seleccionados para cada algoritmo fueron los siguientes:

Resultados

Se utilizarán dos indicadores habituales para la comparación de diferentes modelos de Machine Learning en problemas de regresión (es decir, con una variable dependiente de carácter cuantitativo, como es el caso de los ingresos de la ocupación principal). Para ello se compararán los valores observados (/) y los valores predichos (/) para cada observación (/) realizada por cada modelo a partir de las siguientes métricas:

La primera fórmula corresponde al Rooted Mean Squared Error o la raíz cuadrada del Error Cuadrático Medio, es decir, la raíz del promedio de las diferencias entre valores observados y predichos. La segunda se llama Mean Absolute Error o Error Absoluto Medio, y mide la magnitud promedio de los errores (las diferencias entre valores esperados y observados) sin tomar en cuenta su signo.

Dado que el RMSE se encuentra elevado al cuadrado, da una mayor ponderación a los errores de mayor magnitud. En cambio en el MAE todas las diferencias individuales tienen el mismo peso. Más allá de estas diferencias, ambas métricas cuantifican el error del modelo en la misma unidad que la variable a predecir (en este caso en pesos). A su vez, puede notarse de forma intuitiva que ambas decrecen a 0 cuando / = /. De forma tal que un mejor ajuste del modelo (predicciones más parecidas a los valores observados) redundará en RMSE y MAE más pequeños.

Puesto que en este trabajo se utiliza un esquema de validación cruzada para evaluar los modelos seleccionados, las métricas a evaluar serán los promedios de cada una a lo largo de las k=5 particiones del dataset:

Así, cuando se comparen los diferentes modelos, se buscará detectar las mejoras en sus respectivas performances en relación a la magnitud en que logran reducir ambas métricas.

La tabla 3 muestra la capacidad que tienen los métodos de ensamble y de aprendizaje profundo para predecir valores perdidos siguiendo un patrón MCAR o MAR.

Se observa que los métodos de ensamble superan ampliamente la performance de Hot Deck. Particularmente, si se observa el RMSE, se percibe que los tres métodos logran valores alrededor de 33-35% inferiores a Hot Deck. Valores similares se obtienen al analizar el MAE. Estos resultados son relevantes dado que el método Hot Deck era utilizado por el INDEC para la imputación de valores perdidos en variables de ingreso en la EPH hasta fines del año 2015 y sigue siendo utilizado por la Dirección General de Estadísticas y Censos (DGEyC) de la Ciudad de Buenos Aires con los mismos fines en la Encuesta Anual de Hogares (EAH)¹³.

Ahora bien, ¿qué impacto tienen las predicciones realizadas por estos modelos en la distribución de los valores imputados? ¿Cambian sustancialmente las estimaciones de ingresos según se realice una imputación vía Hot Deck o alguno de estos otros métodos? Para realizar una primera aproximación a estas preguntas se centrará la mirada en los datos imputados originalmente por el INDEC (usando el método Hot Deck) y se realizarán imputaciones alternativas mediante cada uno de los métodos analizados.

Puede verse en el gráfico anterior que Hot Deck parece ser uno de los métodos con mayor ruido en los valores extremos de la distribución. En efecto, en ambas colas de la distribución se observa una mayor densidad de casos. Algo similar, aunque en menor medida, se observa en el caso de MLP. En cambio, los métodos de Random Forest y XGBoost parecen ser los más suaves y con menor dispersión en este sentido.

Los descriptivos anteriores confirman la imagen del gráfico: similitud en el centro de la distribución y divergencia en las colas. A su vez, la dispersión es elevada en todos los métodos, pero lo es en mayor medida en el caso de Hot Deck.

Al comparar, ahora, la distribución total de la variable (es decir, casos imputados y completos), esta no parece alterarse sustancialmente. Algo similar sucede si se analiza la distribución condicionada a la categoría ocupacional. Entre asalariados y trabajadores por cuenta propia o familiares no hay diferencias notables. Solamente se observan algunas diferencias en los patrones.

Discusión

En el presente trabajo se presentaron los resultados de algunos experimentos para la estimación de modelos de imputación de datos perdidos utilizando técnicas de Machine Learning: ensambles y perceptrones multicapa. Luego de exponer los fundamentos generales de cada una de las técnicas se realizaron dos tipos de evaluación de los modelos con base en los datos de la EPH (2^do trimestre de 2015) buscando lograr la imputación de la variable correspondiente a los ingresos de la ocupación principal de los individuos.

Se mostró la mayor performance que los ensambles y el MLP tienen en comparación con la técnica habitualmente utilizada en algunas dependencias del Sistema Estadístico Nacional. En efecto, al cuantificar dos indicadores usuales para este tipo de problemas se observó que el RMSE de los modelos basados en Machine Learning oscilaba alrededor de los $3.800 y $4.000, mientras que el RMSE de Hot Deck superaba los $5.900, lo cual implica una mejora de alrededor del 33%. Valores similares mostraba el indicador MAE.

A su vez se mostró que las distribuciones en las imputaciones basadas en cada método muestran similitudes en el centro y algunas diferencias en las colas, siendo la de Hot Deck la más inestable: parece comportarse más erráticamente en los extremos de la distribución (es decir, en los casos de mayores y menores ingresos). A su vez, al observar la distribución completa de la variable ingresos (casos completos e imputados) se observan escasas diferencias en cada uno de los métodos. Esto se mantiene al condicionar según la categoría ocupacional.

Ahora bien, se abren una serie de líneas de trabajo a explorar en futuras aproximaciones. La primera de ellas tiene que ver con extender el alcance del ejercicio en dos direcciones: por un lado, incorporar mayor cantidad de información proveniente de la EPH (diferentes años y trimestres) para evaluar los modelos analizados en este trabajo; por otro, incorporar otras encuestas a hogares, incluso de otros países. También resulta relevante estudiar las propiedades de los estimadores y las estimaciones al utilizar uno u otro método de imputación: ¿cómo varían las estimaciones de indicadores clásicos basados en los ingresos como, por ejemplo, el coeficiente de Gini o las estimaciones de pobreza? ¿Qué sucede con los intervalos de confianza de tales estimadores? ¿Qué efecto tiene cada uno de los métodos de imputación sobre los valores de estos indicadores?

A su vez, específicamente en términos de los modelos analizados, queda pendiente realizar entrenamientos con grillas de hiperparámetros más exhaustivas y, dado que el tiempo de cómputo es una restricción para considerar, evaluar algoritmos de optimización más inteligentes que una búsqueda por fuerza bruta (algoritmos genéticos, optimización bayesiana). Particularmente, en el caso del MLP, será necesario probar otras combinaciones de hiperparámetros (diferentes funciones de activación, tasas de dropout, funciones de pérdida más robustas, etc.) e incluso otras arquitecturas de redes neuronales más complejas (como redes convolucionales o residuales).

Finalmente, en este trabajo se intentó mostrar que las técnicas analizadas tienden a mejorar significativamente la performance de métodos simples como Hot Deck. Sin embargo, en este ejercicio se asumió un proceso generador de datos perdidos MCAR o MAR. Queda pendiente evaluar la performance relativa comparada con Hot Deck para procesos de generación no aleatorios¹⁴.