PUNTOS CLAVE
Conocimiento actual
• Muchos modelos se han desarrollado para describir y predecir la evolución de los ca sos de COVID-19, a fin de gestionar recur sos y medidas de prevención y mitigación. Sin embargo, la evaluación exhaustiva del desempeño de estos modelos y la conside ración de sus alcances y limitaciones no ha sido tan frecuente.
Contribución del artículo al conocimiento actual
• Este artículo presenta una evaluación retrospectiva de un modelo que fuera aplicado en un municipio de Argenti na durante 2020-2021, demostrando la utilidad de modelos epidemiológicos sencillos. La metodología y criterios de evaluación presentados son de potencial aplicabilidad también a otros modelos y a otras enfermedades de interés en salud pública.
Los modelos matemáticos han sido utiliza dos para describir y predecir la evolución de enfermedades humanas desde el siglo XVIII, siendo los más utilizados los modelos de compartimientos, tales como los de tipo SIR (Sus ceptibles-Infectados-Recuperados) o SEIR (Sus ceptibles-Expuestos-Infecciosos-Recuperados)1. Durante la pandemia desatada por la aparición del virus SARS-CoV-2 a fines de 2019, muchos gobiernos han hecho uso de modelos epidemio lógicos para evaluar la dinámica y el comporta miento de la epidemia y proyectar el número de casos bajo distintos escenarios, a fin de gestio nar los recursos disponibles y decidir sobre la implementación de medidas de prevención y mitigación2,3. Existe, sin embargo, preocupación acerca de la validez de estos modelos y de su capacidad de inducir a errores, lo cual pone de manifiesto la importancia de la evaluación de su desempeño y sus limitaciones3-5. Si bien es recomendable realizar una evaluación continua de los modelos durante su utilización6, una eva luación retrospectiva puede dar indicios acerca del desempeño futuro de los modelos7, y dar información que permita mejorarlos8,9, incluso cuando el análisis se realice una vez finalizado un brote o epidemia10.
En Argentina, el gobierno ha utilizado tam bién proyecciones de casos de COVID-19 para el total del país a fin de evaluar la aplicación de diversas medidas de mitigación11, aunque no se han publicado detalles acerca de los modelos utilizados. Los modelos epidemiológicos estu vieron inicialmente enfocados en analizar los casos a nivel nacional o para la ciudad de Bue nos Aires y su área metropolitana12-18, que nuclea a más del 30% de la población del país19, los cua les, sin embargo, podrían no ser aplicables a una ciudad o municipio de menor tamaño. Contar con herramientas adaptadas a las particularida des sociales, económicas y geográficas de cada localidad permite predecir con mayor precisión la probabilidad de ocurrencia de distintos esce narios, y así poder planificar mejor la asignación de recursos y anticipar el impacto epidemiológi co de las distintas medidas de mitigación que se implementen a nivel local.
En este artículo se presenta una evaluación retrospectiva de la aplicación de un modelo epi demiológico SEIR para la predicción de casos de COVID-19 en el municipio de General Puey rredón (Provincia de Buenos Aires, Argentina), durante la primera ola de casos que tuvo lugar entre julio de 2020 y marzo de 2021. Este muni cipio tiene una población de 682 605 habitantes20 y, al estar ubicado sobre la costa atlántica, recibe una importante afluencia de turistas durante los meses de verano. El modelo mencionado se uti lizó para realizar proyecciones cuantitativas que fueron difundidas a autoridades municipales y sanitarias a través de informes de la Escuela Su perior de Medicina de la Universidad Nacional de Mar del Plata y publicadas en diferentes medios de comunicación masiva21,22. Para estas proyec ciones se fijaron distintos parámetros en base a trabajos científicos publicados, en base al ajuste del modelo a los datos previos disponibles, y en base a opiniones expertas acerca de la situación epidemiológica. En el presente trabajo se buscó evaluar de forma exhaustiva el desempeño del modelo para la predicción a corto plazo (1 a 3 semanas) de los casos reportados de COVID-19, con los parámetros que fueron utilizados para las proyecciones publicadas. Asimismo, se eva luaron distintos valores de estos parámetros, a fin de identificar los valores óptimos y cuantifi car el desempeño potencial del modelo.
Materiales y métodos
Descripción del modelo utilizado
El modelo utilizado es un modelo epidemiológico discreto, de paso diario, y de 4 compartimientos (Fig. 1): susceptibles (S): individuos que aún no han contraído el virus y son vulnerables a ser infectados; expuestos (E): in dividuos que han contraído el virus y se encuentran en la fase de incubación, por lo que aún no son infecciosos; infecciosos (I): individuos que han contraído el virus y ya se encuentran en la fase infecciosa; y removidos (R): in dividuos que ya no contagian ni pueden contraer nuevamente el virus, tanto por haber superado la enfermedad o por haber fallecido. No se consideraron aquellos indi viduos inmunizados mediante la aplicación de vacunas dado que al final del período estudiado sólo un 1% de la población se encontraba vacunada23.
El modelo inicia con un número de individuos para cada una de estos compartimientos, y diariamente se calculan los pasajes entre cada uno de ellos. Cada día, una fracción de los individuos susceptibles (S), proporcio nal a la cantidad de individuos infecciosos (I) y al valor del parámetro β, son expuestos al virus. Los individuos expuestos (E) se vuelven infecciosos a una tasa deter minada por el parámetro α. Los individuos infecciosos finalmente superan la enfermedad o fallecen a una tasa definida mediante el parámetro γ, pasando a ocupar el compartimiento de removidos (R). La tasa de transmisión (β) se deriva del valor del número reproductivo básico (R0) y la duración media del período infectivo. Las tasas α y γ pueden ser expresadas también como la inversa de la duración media en días del período de latencia y del pe ríodo infectivo.
Los valores utilizados para los períodos de latencia e infectivo fueron de 3 y 7 días, respectivamente, los cuales se basaron en estimaciones tempranas publicadas en los primeros meses de la pandemia. El valor de 3 días para el período de latencia (1/α, días desde la exposición hasta el inicio de la infectividad) se estimó considerando valo res reportados para la duración del período de incubación (días desde la exposición hasta el inicio de los síntomas) de alrededor de 5 días24,25, y teniendo en cuenta que la infectividad comienza aproximadamente 2 días antes del inicio de síntomas26. Para el valor del período infec tivo (1/γ) se tomó un valor intermedio entre el valor que se podía calcular en base a estimaciones tempranas del intervalo serial24 (del cual surgía un valor de 4.5 días), o de la duración entre el inicio y la resolución de los sín tomas27 (del cual surgía un valor de 9.9 días). El valor del número reproductivo básico utilizado fue variable, y fue el parámetro que se utilizó para ajustar el modelo a los datos observados, dado que éste representa no solo las características de transmisión propias de la enfermedad sino también el comportamiento de los individuos y la frecuencia de contactos que puede generar la exposición.
La necesidad de responder con rapidez a la demanda local motivó que las primeras proyecciones se realizaran utilizando un modelo SEIR desarrollado previamente28, disponible online. Posteriormente, se desarrolló en base a ese modelo una versión simplificada del mismo en len guaje Python, de forma tal de poder facilitar su modifica ción y adaptación. El modelo desarrollado es de código abierto, y se encuentra disponible en https://github.com/gpereyrairujo/SEIR-COVID19. Como fuente de datos de entrada del modelo se utilizó la base de datos abiertos del Sistema Integrado de Información Sanitaria Argenti no (SISA)29.
Proyecciones
Para realizar las proyecciones se utilizaron los valores de los parámetros indicados previamente, realizando un ajuste iterativo del modelo a los datos de casos observa dos variando el valor del parámetro R0. A fin de tener en cuenta las distintas tendencias en el valor de este pará metro en las semanas previas, se realizaron 3 ajustes del modelo para cada proyección, teniendo en cuenta los ca sos de las últimas 1, 2 o 3 semanas. Esta estrategia permi tió contar con 3 proyecciones que representaron distintas posibles tendencias (e.g., que continúe de forma relati vamente estable la tendencia observada en las últimas semanas, o que la tendencia refleje lo observado en los últimos días). Aún así, dado que existía la posibilidad de que el valor de R0 futuro no estuviera dentro del rango ob servado en las semanas previas, se realizaron dos proyec ciones adicionales: una representando el escenario más “optimista”, en el cual el valor de R0 de la proyección con menor número esperado de casos disminuía diariamente un cierto porcentaje; y otra representando el escenario más “pesimista”, en el cual la proyección con mayor nú mero esperado de casos aumentaba diariamente su R0. De esta forma, cada proyección no otorgaba un número exacto de casos previstos, sino un intervalo entre un mí nimo y un máximo, el cual se iba ampliando con los días desde el inicio de la proyección. En la Figura 2 se presenta un ejemplo de una proyección realizada con el modelo, donde se muestra el intervalo de casos proyectados en comparación con los casos reales observados.
Durante la primera ola de casos en el municipio de Ge neral Pueyrredón se publicaron 8 proyecciones realizadas utilizando esta metodología, en momentos que surgían de las demandas de los distintos actores locales. Estas proyecciones se realizaron con una previsión de alrede dor de 15 días, debido al error creciente en las estimacio nes a medida que se aumentaba el plazo de proyección. El valor porcentual que se utilizó para aumentar o dismi nuir diariamente el R0 para los dos escenarios extremos fue de entre 1 y 2% en las distintas proyecciones realiza das, dado que se intentaba ir ajustando el valor de este parámetro en base al grado de coincidencia con los datos observados que se había logrado en las proyecciones pre vias. Las proyecciones que fueron publicadas o utilizadas por actores del sistema de salud se realizaron en diferen tes días de la semana.
Evaluación del modelo
A fin de evaluar el desempeño del modelo se realizó un análisis retrospectivo, realizando proyecciones para cada uno de los días correspondientes a la primera ola de casos, comenzando el 31 de julio de 2020 y terminando el 11 de marzo de 2021, y comparando los casos proyec tados con los efectivamente reportados. Los indicadores utilizados para evaluar el modelo fueron: incertidumbre, definida como el porcentaje de proyecciones en las cuales el valor de casos observados al final de la proyección se encontró fuera del intervalo proyectado; inexactitud, de finida como el promedio de las diferencias entre los casos observados al final de la proyección y el valor medio del intervalo de casos proyectados (expresada como porcen taje de los casos nuevos reportados durante el período proyectado); e imprecisión, definida como el promedio de las diferencias entre el valor máximo/mínimo y el valor medio de los intervalos proyectados (½ de la amplitud, expresada como porcentaje de los casos nuevos estima dos durante el período proyectado).
La utilidad del modelo será mayor cuanto más alta sea la proporción de los datos reportados que se encuentren dentro de los intervalos predichos (menor incertidum bre), cuanto más cercano esté el valor real reportado al centro del intervalo (menor inexactitud), y cuando la am plitud de los intervalos sea lo menor posible (menor im precisión).
Esta evaluación se realizó en primer lugar con los pa rámetros del modelo utilizados en las proyecciones que fueron oportunamente publicadas. Luego, se realizó el mismo análisis, pero variando el valor de distintos pa rámetros. Los parámetros estudiados fueron: el día de la semana en que se inicia la proyección (realizando proyec ciones en distintos días de la semana, tanto con los datos originales o aplicando a los datos de entrada una “media móvil” de 7 días, tomando para cada día el promedio de casos de la última semana para mitigar un posible efecto de las fluctuaciones en el reporte de casos30); la duración del período de latencia (1/α, el cual se ha reportado que podría variar entre 2 y 6 días31); la duración del período infectivo (1/γ, el cual se ha reportado que podría variar en tre 3 y 18 días31); el porcentaje de aumento o disminución diarios del R0 durante el período proyectado (entre 0 y 5% diario); y la duración de la proyección (de 7, 14 o 21 días).
En cada uno de los casos, se utilizaron los indicado res de incertidumbre, inexactitud e imprecisión a fin de identificar si los valores utilizados originalmente fueron los óptimos, o si otros valores hubieran otorgado mejores resultados. Cuando los valores de estos indicadores va riaron en sentidos opuestos, se consideró de más utilidad una menor incertidumbre, luego una menor inexactitud, y por último una menor imprecisión.
Resultados
Situación epidemiológica
La situación epidemiológica inicial en el mu nicipio de General Pueyrredón fue de muy po cos casos activos hasta mediados del 2020, sin transmisión comunitaria, seguido de un gran crecimiento de los casos activos, el cual se es tabilizó a través de medidas de distanciamiento social y restricción de actividades. En la Figura 3 se muestra cómo la curva de casos (acumulados o diarios) del municipio analizado siguió una tendencia similar a la del promedio del país, aunque con algunas diferencias en los valores máximos de casos observados durante la prime ra ola. Asimismo, los datos de reducción porcen tual de la movilidad de la población (estimados a través de datos de dispositivos móviles) mues tran la intensidad de las medidas de restricción impuestas al inicio de la pandemia, y la poste rior tendencia a su flexibilización, con algunas diferencias entre lo observado en el municipio y los datos promedio del país.
Evaluación del modelo
El análisis del desempeño del modelo mos tró que, para ciertos parámetros, los valores utilizados no fueron los óptimos, y que valores alternativos podrían haber otorgado mejores resultados. La Figura 4 muestra un ejemplo de cuáles fueron los valores de los indicadores de desempeño del modelo (incertidumbre, inexac titud e imprecisión) obtenidos con los paráme tros originales, y cómo variaron éstos cuando los parámetros fueron modificados. Cuando las proyecciones se iniciaron en distintos días de la semana, se observó una gran dispersión en los valores de incertidumbre, inexactitud e impre cisión, la cual pudo ser revertida aplicando un filtro de media móvil a los datos de entrada (Fig. 4 A-C). La modificación de la duración del perío do de latencia (1/α) entre 2 y 6 días no afectó en gran medida el desempeño del modelo. La modificación del período infectivo (1/γ) mostró que, a valores mayores de este parámetro, se veían le vemente disminuidas la inexactitud y la impre cisión, pero a expensas de una incertidumbre levemente mayor. El parámetro que determina la variación diaria del R0 fue el que más impac to tuvo en los resultados del modelo: aumentar el valor de este parámetro redujo notablemente la incertidumbre en los resultados (indicador considerado como prioritario), obteniéndose los mejores resultados con el mayor valor eva luado (5%), aunque a expensas de un aumento en la imprecisión (debido a que se obtienen in tervalos más amplios), y un leve aumento en la inexactitud. La duración de la proyección mos tró efectos con una tendencia similar, aunque en este caso proyecciones a más largo plazo mostraron especialmente un aumento notable en la inexactitud.
En base a este análisis y a los criterios esta blecidos, se determinó que el mejor desempeño del modelo se obtendría con el siguiente con junto de “parámetros optimizados”: valores de entrada con filtro de media móvil, período de latencia de 3 días, período de infectividad de 7 días, variación diaria del R0 durante el período proyectado de 5%, y 14 días de duración de la proyección.
La Figura 5 A muestra, para el modelo con los parámetros originales, el intervalo de valores estimados al final del período proyectado para cada uno de los días del período analizado. En el gráfico pueden apreciarse claramente las fluctuaciones semanales, que resultan en una alta proporción de proyecciones en las que el valor real observado se encuentra fuera del in tervalo predicho (alta incertidumbre). La Figura 5 B muestra los intervalos proyectados median te el modelo con los parámetros optimizados, en la que se aprecia que las fluctuaciones se manales se ven notablemente reducidas, y la proporción de las proyecciones que incluyen el valor de casos reales observados es mayor. Los mayores desvíos se observan en dos períodos: a fines de septiembre y a fines de diciembre de 2020. En promedio, el modelo con los paráme tros optimizados logró disminuir desde casi 40% a menos de 15% la incertidumbre (Fig. 5 C), con valores similares de inexactitud (Figura 5 D), y con una imprecisión levemente mayor (Fig. 5 E). En términos prácticos implica que el modelo brindará intervalos de casos levemen te más amplios (predicciones menos precisas), pero con mucha mayor seguridad de que el nú mero real de casos se encontrará dentro de ese rango.
Discusión
El presente trabajo fue realizado en el con texto de un proyecto local cuyo objetivo fue aportar información para planificar acciones, asignar recursos y monitorear el impacto de las distintas medidas aplicadas por las autoridades sanitarias, en función de posibles escenarios epidemiológicos. La estrategia adoptada en este trabajo fue utilizar un modelo parsimonioso, que permitiera ser adaptado rápidamente a par ticularidades locales cambiantes. Independien temente de su grado de complejidad, todos los modelos son una representación simplificada de la realidad, por lo que usualmente se dice que “todos los modelos son incorrectos, pero algu nos modelos son útiles”32. El objetivo de esta aproximación fue que las proyecciones realiza das con el modelo tuvieran una utilidad práctica para los tomadores de decisiones: tanto las au toridades políticas o sanitarias, como también los ciudadanos que, basados en la información disponible, tomaron decisiones a diario sobre las actividades que realizaban y las medidas de pre vención que aplicaban. El modelo aquí descrip to permitió alcanzar este objetivo, permitiendo generar de forma ágil proyecciones de casos a demanda de las autoridades sanitarias locales, a pesar del contexto cambiante, difundiéndose a través de informes periódicos y de forma masiva a través de medios de comunicación.
Las proyecciones de los modelos sirven tam bién retrospectivamente para evaluar si hubo desviaciones de las tendencias esperadas y, en caso de producirse, plantear hipótesis sobre las causas. Los resultados del presente trabajo mos traron que, incluso utilizando valores optimiza dos de los parámetros, el modelo no fue capaz de predecir adecuadamente los casos en dos mo mentos puntuales del período analizado (a fines de septiembre y a fines de diciembre de 2020). En ambos casos, la discrepancia ocurrió con poste rioridad a un cambio drástico en la tendencia de casos: a principios de septiembre de 2020 se de tuvo el crecimiento exponencial de casos que se había observado desde el mes de julio, mientras que a principios de diciembre ocurrió lo contra rio, observándose un rápido crecimiento de ca sos luego de varios meses de descenso de los ca sos diarios (Fig. 3 B). Estos cambios de tendencia ocurrieron aproximadamente 10 días después de implementados cambios en las medidas de restricción a la circulación de personas en el municipio analizado: el 29 de agosto se decretó un cambio de “fase de aislamiento” que implicó una mayor restricción a la circulación, mientras que al inicio de diciembre se autorizó la activi dad turística, lo que se puede ver reflejado en los datos de movilidad de la población (Fig. 3 C). La discrepancia entre los valores predichos por el modelo (que no tiene en cuenta los valores de movilidad de la población) permite estimar qué hubiera sucedido en caso de no haber aplicado estas medidas. Esto sirvió, especialmente en el primero de los casos, como argumento para de fender ante las autoridades locales y la pobla ción en general la efectividad de las medidas de cuidado implementadas (las cuales enfrentaron grandes resistencias debido a su impacto eco nómico negativo). Estos resultados demuestran también la importancia de tener en cuenta las limitaciones de modelos sencillos cuando son aplicadas fuertes intervenciones33.
Si bien es posible construir modelos que tengan en cuenta la multiplicidad de factores que pueden impactar en la evolución de una epidemia, cada uno de estos factores que se incorporan al modelo requiere la estimación y el ajuste de los parámetros que determinan su efecto. Esto por un lado requiere la dispo nibilidad de mayor cantidad de datos, los cua les no siempre están disponibles, y por otro lado multiplica las posibles fuentes de errores. Otro aspecto a tener en cuenta es que mode los complejos son más difíciles de interpretar, y que pueden crear una “ilusión de realismo” que hace difícil identificar posibles omisio nes34. En el marco del mismo proyecto se de sarrolló de forma paralela otro modelo que incorporó la estructura de grupos etarios de la ciudad, matrices de contactos, comparti mientos según gravedad de la enfermedad, y datos de los recursos sanitarios locales35. Me diante este modelo se realizaron simulaciones de distintas estrategias de mitigación (cuaren tenas alternadas de distinta duración), pero la complejidad del modelo no permitió utilizarlo en tiempo real para la publicación de proyec ciones periódicas, lo cual sí pudo ser logrado mediante el modelo presentado en el presente trabajo.
Si bien la evaluación del presente modelo ha sido retrospectiva, los resultados obtenidos su gieren que una evaluación “en tiempo real” hu biera permitido ir mejorando los resultados ob tenidos durante el transcurso de la ola de casos analizada. Una evaluación de los modelos publi cados al inicio de la pandemia (hasta noviembre de 2020) mostró una incertidumbre promedio de un 25%36, mientras que el presente modelo con parámetros optimizados pudo lograr mejo res resultados. Si bien se encuentra fuera de los objetivos del presente trabajo, una metodología similar a la aplicada podría utilizarse para eva luar si el presente modelo sería adecuado para ser aplicado a olas de casos ocurridas con pos terioridad. En este caso, sería necesario evaluar la incorporación de otros factores que no fue ne cesario tener en cuenta en el período estudiado en el presente trabajo, a saber: el efecto de la in munización de la población mediante vacunas, la disminución de la inmunidad en los pacien tes recuperados, y la aparición de variantes del virus con mayor transmisibilidad o que evadan la respuesta inmune de pacientes recuperados o inmunizados37.
Los resultados del presente trabajo proporcio nan evidencia de que modelos epidemiológicos sencillos que no requieren grandes cantidades de datos o infraestructura de cálculo para su implementación pueden ser de utilidad para la toma de decisiones, especialmente en localida des pequeñas con recursos limitados, y cuando se requiere de proyecciones de manera urgen te para la toma de decisiones38. Los resultados también ponen de manifiesto la importancia de la evaluación exhaustiva de los modelos epide miológicos y la consideración de sus alcances y limitaciones, especialmente para la aplicación de los mismos en el contexto de una pandemia como la del COVID-193-6, siendo la metodología y criterios de evaluación presentados en este tra bajo de potencial aplicabilidad también a otros modelos y a otras enfermedades de interés en salud pública.