TRABAJOS ORIGINALES

La programación dinámica en el estudio de procesos de migración

Carolina Biscayart ^{1, *} & Mónica I de Torres Curth ²

1. Depto. de Matemática, Centro Regional Universitario Bariloche, Univ. Nac. del Comahue, Bariloche, Argentina.
2. INIBIOMA - Depto. de Matemática, Lab. Ecotono, Centro Regional Universitario Bariloche, Univ. Nac. del Comahue, Bariloche, Argentina.

*Departamento de Matemática, Centro Regional Universitario Bariloche, Universidad Nacional del Comahue, Quintral 1250, (8400)Bariloche, Argentina. Email: cbiscaya@crub.uncoma.edu.ar

Recibido: 20 de mayo de 2008;
Fin de arbitraje: 1 de octubre de 2008;
Revisión recibida: 19 de febrero de 2009;
Segunda revisión recibida: 29 de mayo de 2009;
Aceptado: 9 de junio de 2009

RESUMEN. La programación dinámica es un proceso de optimización que permite obtener una secuencia de decisiones que configuran una solución óptima a un problema determinado. Este trabajo utiliza esta técnica en el estudio de la migración de salmónidos durante la primera etapa de vida, que se desarrolla en los arroyos donde las hembras depositan sus huevos. El desplazamiento de juveniles durante su permanencia en el arroyo depende de las necesidades de cada edad y de la condición del ejemplar relativa a la oferta del ambiente. Nuestro objetivo fue modelar este proceso, con el fin de reconstruir el recorrido óptimo que permite al individuo ingresar al lago en las mejores condiciones para su supervivencia y encontrar, a partir de ello, relaciones entre la dinámica del proceso de migración y las condiciones de los individuos medidas a través del peso. El arroyo en estudio se dividió en tres sectores caracterizados a través de los tipos de sustrato y cobertura. El sector I (superior), posee mayor proporción de cubiertas, es poco profundo, con socavones, troncos, raíces y carpetas flotantes de hojas, y sustrato grueso. El sector II (medio) presenta una proporción intermedia de cubiertas: socavones, vegetación sumergida y marginal, escasos troncos y ramas, con sustrato fino. El sector III (próximo a la desembocadura) tiene escasa proporción de cubiertas, muy diversa, sustrato heterogéneo, torbellinos, correderas, y lugares de mayor profundidad. El modelo mostró la elección del sector I por parte de la mayoría de los ejemplares de bajo peso y edades tempranas, desplazamientos paulatinos al sector II, donde se observan peces de edades y pesos intermedios, y permanencia sostenida de individuos de mayor peso y edad en el sector III. Esto último respondería a una mayor capacidad de aprovechar las profundidades y mejores condiciones de adecuación a correderas y torbellinos. La programación dinámica permitió obtener la respuesta óptima al problema de reconstruir el recorrido del individuo durante su estadía en el arroyo, incorporando datos observados, procesos estocásticos y considerando simultáneamente el peso, edad, competencia, características del ambiente, y variables de comportamiento, relacionadas con alimentación y búsqueda de protección.

Palabras clave: Optimización; Migración de salmónidos juveniles; Patagonia.

ABSTRACT. Dynamic programming in migration processes studies: Dynamic programming is an optimization process that allows obtaining a decisions sequence that gives an optimal solution of a problem in study. This work applies this tool to study the displacement of young salmonids during their stay in their natal stream. This displacement depends on their needs, according to their age and physical condition, but it is also related with the environment offer. Our objective was to model this process by mean of the dynamic programming, in order to describe the optimal journey that guaranties to fishes the future survival. From the model, we could reconstruct optimal journeys; find out relations between the migration process and individual weights. We divide the stream in three sectors, characterized through substrate and cover types. Sector I (superior) has higher cover proportion, low deep; erode bank, logs, roots, floating leaves, and thick substrate. Sector II (middle) has an intermediate cover proportion: erode bank, submerged and marginal vegetation, few logs and branches, with thin substrate. Sector III (near to the estuary) has low cover proportion, very diverse, heterogeneous substrate, runners and deep sites. The model shows that sector I is chosen especially by low weights and early ages individuals, with gradual displacements to the sector II, mostly occupied by mean weight and age fishes. Sector III presents high permanency of major weight and age fishes. This fact could respond to their better adaptation capacity to profundity and runners. The model considers simultaneously weight, age, competence, individual behavior and environmental characteristics related with food and protection supply. The dynamic programming has been a suitable structure for this problem that incorporates observed data and stochastic processes.

Keywords: Optimization; Juvenile salmonids migration; Patagonia.

INTRODUCCIÓN

La programación dinámica es un proceso de optimización que, en la mayoría de los casos, consiste en una secuencia de decisiones que configuran una solución óptima a un problema en el que se deben tomar decisiones en etapas sucesivas y que condicionan la evolución futura del sistema. En este tipo de problemas se pueden obtener varias (incluso infinitas) soluciones distintas. Más que un modelo concreto es una estrategia de resolución , y la solución obtenida está estrechamente relacionada con la situación que se desea modelar. La principal ventaja de esta técnica es que mediante un esquema simple de cálculo, permite obtener la o las soluciones óptimas de un árbol de posibilidades. La programación dinámica fue desarrollada por Richard Bellman (Bellman 1957) y luego extendida en diversas áreas (Howard 1960; Bertsekas 1987; Lew & Mauch 2007). Los usos más frecuentes han sido en economía, ingeniería y robótica, y también hay antecedentes de aplicaciones en ecología. Se la utilizó en relación al forrajeo óptimo (Mangel & Clark 1988; Clark & Mangel 2000), en dinámica de reservas naturales (Strange et al. 2006; Harrison et al. 2008), en estrategias de reconstrucción de paisajes (Westphal et al. 2003), y en dinámica de poblaciones (Hanson & Ryan 1998; McCarthy et al. 2001). En procesos de migración, se la ha utilizado en aves (Weber et al. 1998, Farmer & Wiens 1999; Purcell & Brodin 2007) mientras que no conocemos trabajos de aplicación de esta técnica a procesos de migración de peces.

Para que un problema pueda resolverse por medio de la programación dinámica, debe tener una naturaleza secuencial; es decir, debe poder ser dividido en etapas (i.e., períodos de tiempo razonablemente elegidos). Cada etapa debe tener estados asociados, que representan características destacadas del proceso y dan la descripción de la condición del sistema en una etapa determinada. En cada etapa, una decisión es el resultado de una elección dentro de un conjunto predeterminado de posibilidades, que depende del estado del sistema. En conjunto, las decisiones constituyen un plan de acción cuya finalidad es obtener los mejores resultados posibles en términos del problema planteado. La decisión óptima en cada etapa depende sólo del estado actual y no de las decisiones anteriores y determina cual será el estado del sistema en la etapa siguiente. El método se basa en la optimización de una ecuación funcional que gobierna el desarrollo del proceso de optimización y que depende de manera secuencial de los cambios de estado, sobre la base de decisiones que siguen a un estado inicial. Maximiza en cada etapa la relación entre la contribución inmediata de la variable de estado elegida, y el óptimo de la ganancia total sobre resto de las etapas ya consideradas. Si bien cualquier modelo de programación dinámica presenta estas generalidades, su construcción es específica del problema que pretende resolver, y la complejidad radica, en la cantidad de variables incorporadas, en cómo se relacionan y en la posible incorporación de factores estocásticos. Este trabajo aplica la programación dinámica al estudio de la migración de salmónidos durante la primera etapa de su vida y permite predecir dónde se dirigirá un individuo en el próximo intervalo de tiempo, conociendo su edad y su peso. La reiteración de este mecanismo nos brinda un recorrido óptimo, basado en el comportamiento de los individuos en relación a la alimentación y a la búsqueda de refugio.

La primera parte del ciclo de vida de los salmónidos se desarrolla en los arroyos donde las hembras, provenientes de los lagos, depositan sus huevos. Después de permanecer un tiempo determinado en el curso de agua, los individuos ingresan al lago para completar su crecimiento y alcanzar su madurez sexual (Baiz & Bello 1997). La migración a lo largo del curso de agua está determinada genéticamente, pero está influenciada por las características del medio ambiente. Hasta el momento de ingreso al lago, cada individuo se mueve por sectores del arroyo con distintas características, y este movimiento se basa fundamentalmente en la búsqueda de alimento y protección, que determinan el estado de los individuos en cada etapa (Björnn & Reiser 1991). Algunos trabajos en los que se construyen índices de conveniencia de microhábitat para salmónidos juveniles consideran a la cobertura y al sustrato como las características del ambiente que más influyen en la elección de los sitios (Raleigh et al. 1986; Bozek & Rahel 1991). La cobertura está representada por características naturales de los arroyos que brindan protección y facilitan el ahorro de energía en relación a la fuerza de la corriente (troncos o ramas caídas, vegetación suspendida o sumergida, sombra, piedras, pozones, socavones, etc.). El sustrato guarda relación con la procura de alimento (fango, arena, grava, guijas, guijones y bloques). La elección del tipo de cobertura y sustrato depende de la edad y del tamaño de los peces y, en el caso de los distintos tipos de cobertura, también de la época del año (Cunjak & Power 1987; Mamcardz & Golonka 1989; Baltz et al. 1991; Björnn et al. 1991; Gibson 1993). Estudios experimentales muestran que los salmónidos tienden a optimizar el aprovechamiento de recursos en pro de su supervivencia. Esto lleva a suponer que cada individuo se dirigirá a lugares con mejor oferta respecto de sus necesidades (Raleigh et al. 1986).

Varios estudios han mostrado que el mejor atributo de sustrato o cobertura es el que presenta la frecuencia de uso más alta (Mortensen 1977; Keup 1988). La dieta de los peces está asociada al tipo de sustrato, y varía con la edad. Por ejemplo, la arena y la grava en general contienen alimentos más productivos para salmónidos pequeños, aunque la grava presenta mayor diversidad de alimento y, al igual que las guijas y guijones, son utilizados por individuos de todas las edades. El fango ofrece alimento adecuado para individuos de edades intermedias, y la grava para los mayores. En cuanto a la elección de cubiertas, los individuos más pequeños eligen la sombra proyectada por la vegetación y las piedras de tamaño mediano (en ese orden), los de edades intermedias prefieren las cubiertas vegetales y en segundo lugar los pozones y las piedras. Los individuos mayores usan ocasionalmente todo tipo de cubierta, y prefieren los pozones más profundos, la vegetación suspendida o sumergida y los socavones. La proporción total de cubiertas por sector no brinda información suficiente para describir la migración en los arroyos, ya que los individuos seleccionan distintos tipos de cubiertas según su edad, y no todo tipo de sustrato brinda buenas posibilidades de alimento para una edad determinada (Thorpe 1981; Heggenes 1988).

Conocer el recorrido que realiza un individuo para llegar al lago con mayor capacidad de supervivencia futura resulta de interés para un manejo adecuado de su hábitat. Este recorrido nos brinda información diferente, que completa las estadísticas clásicas en relación a las características de los individuos en los distintos sectores del arroyo y a la conveniencia de uso de los recursos, ya que muestra en forma explícita esta dinámica. En el noroeste de la Patagonia, las poblaciones de salmónidos son importantes tanto desde el punto de vista económico como de conservación de recursos naturales. A nivel regional se han realizado algunos trabajos sobre la dinámica de los salmónidos en relación a dietas y peso, y otros relativos a cambios ambientales y del manejo y conservación de las especies. Ciancio et al. (2007) encontraron una alta correlación entre la densidad de energía (Wanless et al. 2005) y el peso seco de los ejemplares vinculándolo con la oferta y la demanda de alimento en los cursos de agua. Estos estudios muestran que las distintas dietas contribuyen de manera cualitativamente diferente en el desarrollo de los organismos y en su capacidad de supervivencia. Otros trabajos estudiaron los efectos de los cambios ambientales, demográficos y de normativas de pesca de los últimos años, sobre el comportamiento, distribución, e interacción de las especies y su conservación, señalando la importancia de incluir los resultados científicos en la elaboración de los planes de manejo que favorezcan la protección de especies de salmónidos en la región (Pascual et al. 2007; Macchi el al. 2008).

Bajo el supuesto de que cada individuo ingresa al lago con un peso adecuado para garantizar su supervivencia, elaboramos un modelo que permitiera reconstruir el recorrido óptimo de los peces en el arroyo y encontrar, a partir de ello, relaciones entre la dinámica del proceso de migración y las condiciones de los individuos medidas a través de su peso. Utilizamos la programación dinámica estocástica, ya que para la optimización, el método no sólo evalúa una decisión basada en un estado y su consecuencia inmediata, sino el árbol completo de decisiones y estados sucesivos.

MATERIALES Y MÉTODOS

Los datos fueron recolectados en el arroyo Loncochinoco, tributario del lago Gutiérrez (41º10' S, 71º25' W), en el noroeste de la Patagonia, Argentina (Bello & Hougham 2001). El arroyo se dividió en tres sectores. El sector I corresponde al curso superior, posee la mayor proporción de cubiertas, es poco profundo y presenta importantes socavones. Se caracteriza por la presencia de troncos y raíces de árboles grandes y ramas caídas, y se forman carpetas flotantes de hojas. El sustrato es principalmente de material grueso (bloques y guijas), aunque existen grava y arena en cantidades moderadas, y el fango es muy escaso. El sector II corresponde al sector medio, la proporción de cubiertas es intermedia, y se caracteriza por vegetación sumergida y socavones. Presenta vegetación marginal y se producen desmoronamientos. Hay escasos troncos y ramas y no hay bloques ni guijones ni raíces grandes que se introduzcan en el arroyo desde la orilla. El sustrato es de material fino, principalmente arena y fango, los bloques son raros y hay más grava que guijas. Los sectores I y II tienen mayor proporción de remansos. El sector III, próximo a la desembocadura, tiene la menor proporción de cubiertas pero es muy diversa. Abundan la vegetación y ramas sumergidas, hay socavones, raíces de árboles costeros y grandes troncos caídos. Presenta algunos pozones y desmoronamientos y una carpeta flotante pobre y ocasional. El sustrato está formado principalmente por grava y arena con muchas guijas, los guijones son escasos, los bloques son raros y la proporción de fango es inferior a la del sector II. Es el sitio de mayor proporción de torbellinos y correderas, prácticamente ausentes en los otros sectores. Este sitio presenta los lugares de mayor profundidad (Bello & Hougham, comunicación personal).

Aproximadamente el 60% de los salmónidos juveniles del arroyo Loncochinoco se moviliza poco después de emerger de la grava. La mayoría de los ejemplares que se encuentran en el arroyo tiene una edad inferior a los dos años. Uno de los factores que determinan la pronta emigración de los individuos al lago es la limitación que impone la capacidad de carga del ambiente. Los datos (edad y peso) de los peces utilizados en este modelo corresponden a las especies trucha arco iris (Oncorhynchus mykiss), trucha marrón (Salmo trutta) y trucha de arroyo (Salvelinus fontinalis) (Bello & Hougham 2001). No hemos hecho distinciones por especie.

Estimación de parámetros y desarrollo del modelo

A partir de los datos brutos y de consideraciones teóricas respecto a las similitudes de comportamiento en la elección de alimento y tipo de cobertura (Heggenes 1988; Schiemer & Zalewski 1992) se definieron ocho grupos de edad de tres meses de duración. Para cada uno se obtuvo el peso medio de los ejemplares. La unidad de tiempo, que representa una etapa t, correspondió a un período de tres meses. Se definió la variable de estado ω(t) como el peso del individuo en cada etapa t, indicadora de la calidad de vida. Un individuo puede escoger ir al sector I, II ó III según la etapa y estado en que se encuentra. Se tomó como variable de decisión u(t) a la elección de sector. Llamamos T a la etapa final, en la cual el ejemplar abandona el arroyo. Se establecieron cinco atributos de cobertura: Pool profundo y/o pozones, Vegetación suspendida o sumergida, Piedras, Troncos y ramas no sumergidos, y Orilla socavada; y cuatro atributos de sustrato: Fango, Bloques y guijas, Grava y Arena.

Para la estimación de los parámetros del modelo se utilizaron los porcentajes de tipos de cobertura y sustrato por sector, y las frecuencias de uso de cada tipo de cobertura y sustrato por grupo de edad. Se calcularon superposiciones de dietas por sector del arroyo y por grupo de edad, teniendo en cuenta la densidad poblacional en cada sector. La productividad de los atributos de sustrato (en gramos por unidad de volumen) fueron tomados de Keup (1988).

Para la elaboración del modelo, se construyeron diversos coeficientes y funciones que constituyen en su conjunto las herramientas para el modelado de la ecuación funcional. Se realizó un ajuste a una función logística de los pesos de los ejemplares para las distintas edades. Se tomó una banda de confianza del 95% para verificar que los pesos obtenidos por el modelo en cada etapa se mantuvieran dentro de ese rango. Llamamos requerimiento mínimo de peso R(t) al extremo inferior del intervalo que para t se obtiene de esa banda de confianza. Supusimos que un individuo sobrevive a la etapa t, si su peso supera el requerimiento mínimo R(t). Algunas observaciones experimentales indican que en los arroyos se encuentran gran cantidad de peces cuyo peso es reducido y poca cantidad de individuos con un peso mayor. El peso se definió como una variable aleatoria kt con distribución exponencial negativa Φ(k_t). Por otra parte, en el arroyo los peces están expuestos a la depredación, siendo mayor su exposición si la zona en la que se mueven es de fácil acceso. Consideramos que la supervivencia en el sector u(t) en la etapa t toma valor 1 con probabilidad ß_u(t).

Durante el tiempo de permanencia en el arroyo, los peces eligen, por adecuación según edad y estado, en primer lugar sitios con abundante cobertura, y luego buscan lugares más abiertos (Schiemer & Zalewski 1992). A partir de esto se definió un coeficiente de cobertura V_u(t) que representa la ganancia óptima en peso en relación a la cobertura de cada lugar, que se obtiene escogiendo los lugares apropiados en cada edad, de modo que la cobertura brinde el mayor beneficio posible a su desempeño. La formulación de este coeficiente requirió, para cada grupo de edad, de la elaboración un índice por sector C_u(t), a partir del porcentaje disponible de cada atributo de cobertura y de la frecuencia de uso de dicho atributo.

Para medir la ganancia en peso del individuo según el alimento, se tuvo en cuenta la productividad de sustrato (Keup 1988) y el hecho de que individuos de edades próximas tienen dietas similares (Chapman 1966). Se definió un coeficiente de alimentación A_u(t), que representa la ganancia óptima en peso en relación a los atributos de sustrato y a la superposición de dietas por sector y grupo de edad. Se elaboraron dos índices por sector para cada grupo de edad: M_u(t), calculado a partir del porcentaje del tipo de sustrato en cada sector del arroyo, su productividad, y la conveniencia de uso de cada atributo, y un índice de similitud de dietas I_t. El coeficiente de alimentación resulta directamente proporcional a M_u(t) e inversamente proporcional a I_t y al número de ejemplares que compiten por el alimento. I_t se estimó a partir de datos experimentales (Bello & Hougham 2001). La cantidad de alimento disponible en el ambiente se supuso no limitante. A partir de estos dos coeficientes se construyó la ecuación que determina la progresión de pesos, es decir, el cambio de estado de un individuo de una etapa a la siguiente.

Por último, a partir de la progresión de pesos y de las consideraciones estocásticas se construyó la ecuación funcional que rige el sistema, la que en forma recursiva optimiza la ganancia en peso en función del recorrido durante la permanencia del individuo en el arroyo. La Figura 1 esquematiza el método de la programación dinámica y los elementos que lo componen.

Figura 1. Esquema conceptual del proceso de optimización mediante la programación dinámica. ω(t): estado (peso) del ejemplar en la etapa t, kt: variable aleatoria asociada a ω(t), u(t): decisión en la etapa t y gt: contribución inmediata a través de ω(t) y de u(t).
Figure 1. Conceptual diagram of the optimization process by mean of dynamic programming. ω(t): state (weight) of the individual in stage t, kt: random variable associated to ω(t), u(t): decision in stage t and gt: immediate contribution through ω(t) and u(t).

El modelo fue programado en lenguaje C. Se realizaron doscientas corridas del programa de simulación variando los parámetros de entrada como peso final y edad de ingreso al lago del ejemplar (teóricos o de interés). Para cada peso y edad ingresados, la salida proporcionó la secuencia de sectores del arroyo que describen el desplazamiento realizado por el individuo hasta su ingreso al lago, que es el interés de este trabajo, aunque también permitió obtener la progresión de pesos.

Validación y sensibilidad del modelo

Se calibró el modelo evaluando cambios cualitativos en los resultados a partir de pequeñas variaciones en los parámetros de modo que para cada etapa t, se verificase que el peso obtenido se encontrara en la banda de confianza del 95% en todas las pruebas. La calidad del modelo se certificó a través del contraste de los resultados en la migración con datos tomados en la misma época que los utilizados en el presente estudio. Consistieron en frecuencias de edades y pesos de ejemplares de Oncorhynchus mykiss en los distintos sectores del arroyo Loncochinoco (Bello & Hougham 2001).

RESULTADOS

Construcción del modelo

A partir de la bibliografía y de las características descriptivas del sitio de estudio, se construyó una tabla de distribución de porcentajes de los atributos de sustrato y cobertura en cada sector del arroyo, así como la frecuencia de uso de los mismos según el grupo de edad. También se incluyó la productividad estándar de cada atributo de sustrato y los índices de similitud de dietas para cada grupo de edad (Tablas 1 y 2) (Bello & Hougham, comunicación personal; Mortensen 1977; Keup 1988). Estos valores son los que se utilizaron para el cálculo de algunos parámetros del modelo.

Tabla 1. Porcentaje de cada atributo de cobertura (c_i) y de cada atributo de sustrato (s_i) por sector del arroyo. La productividad de sustrato (p_i) se informa entre paréntesis.
Table 1. Percentage of cover attributes (c_i) and substrate attributes (s_i) by stream sector. Substrate productivity (p_i) is showed in brackets.

Tabla 2. Frecuencia de uso por grupo de edad de cada atributo de sustrato y cobertura e índice de superposición de dietas por grupo de edad para cada sector del arroyo, en porcentaje.
Table 2. Use frequency by age group for all substrate and cover attributes and diet overlapping index by age group for each stream sector.

Los pesos de los ejemplares se ajustaron a una curva logística con parámetro K = 62.5 g, que representa el peso máximo que puede alcanzar un ejemplar durante su vida en el arroyo (R²=0.85) (Figura 2).

Figura 2. Regresión logística (R²= 0.85) entre el peso del ejemplar y la etapa t (n= 2000). Las líneas punteadas representa la banda de confianza del 95%. La línea inferior representa el requerimiento mínimo de peso para la supervivencia en la edad t, R(t). Las marcas son los pesos medios para cada grupo de edad.
Figure 2. Logistic regression (R²= 0.99) between weight and stage t (n= 2000). Dashed lines show the confidence band for 95%. Lower line represents the minimum weight requirement for survival at stage t. Marks show the mean weight for each age group.

El índice relacionado con los atributos de cobertura y su uso según la etapa t resultó:

donde c_i es el porcentaje disponible del atributo de cobertura i para el sector u(t) (Tabla 1) y f_i es la frecuencia de uso de ese atributo de cobertura i según el grupo de edad t al que pertenece el individuo (Tabla 2). Para un t dado, según u(t) sea igual a I, II ó III, el cálculo del índice anterior permite obtener tres valores. Denominamos C_m al menor y C_M al mayor.

Se definieron las funciones auxiliares:

y V₂(t) es la recta que une los puntos

siendo para este caso de estudio b = 4.8 y a₁ = 0.5, coeficientes elegidos convenientemente de modo de garantizar la supervivencia del ejemplar hasta la etapa T, y que su peso en cada etapa se encuentre en la banda de confianza del 95%.

Las funciones V₁(t), V₂(t), V₃(t) cuyos dominios corresponden a los intervalos

respectivamente, conforman una función continua. El coeficiente V_u(t) de cobertura es, para cada etapa, la imagen de esa función. De este modo, la ganancia en peso para el individuo está completamente asociada a la elección de sector del arroyo en cada etapa t, de acuerdo al supuesto de que los peces a medida que van creciendo escogen lugares cada vez más abiertos.

El índice relacionado con los atributos de sustrato, su productividad y su uso según la etapa t resultó:

donde s_i es el porcentaje del atributo de sustrato i disponible en el sector u(t), p_i es su productividad (Tabla 1) y f_i es la frecuencia de uso de ese atributo para cada etapa t (Tabla 2).

El coeficiente de alimentación resultó entonces:

donde I_t es el índice de similitud de dietas para cada etapa t (Tabla 2) y n el número de competidores por sector.

A partir de ello, la progresión de pesos de una etapa a la siguiente quedó determinada por la ecuación:

donde el factor

es el coeficiente de crecimiento en la etapa t.

 

El procedimiento debe maximizar el valor esperado de la ganancia en peso a lo largo del recorrido a través de una secuencia de decisiones óptimas, por lo que la ecuación funcional que gobierna el sistema resultó:

donde t = T-1, … 1, Φ(k_i) es la probabilidad de la variable aleatoria (k_t) asociada a la variable de estado peso del individuo para la etapa i, g(ω(i),u(i)) es la contribución inmediata a la ganancia en peso en la i-ésima etapa, siendo que el ejemplar se encuentra en el estado ω(i) y ha tomado la decisión u(i), y es, el óptimo de G en la etapa i+1.

En cada iteración, el procedimiento utiliza como dato de entrada el peso óptimo de la etapa siguiente. De este modo, el proceso comienza a partir del peso final del ejemplar (el peso de ingreso al lago), operando hacia atrás. Al maximizar la ecuación funcional sobre todas las etapas, se maximiza el valor esperado de la ganancia en peso a lo largo del recorrido y en consecuencia, se desprende la secuencia de decisiones (elecciones de sector del arroyo en cada etapa) que constituye el recorrido óptimo buscado.

El análisis de las salidas del programa se realizó sistemáticamente eligiendo individuos de diferente peso y etapa de ingreso al lago. Para cada ejemplar se obtuvo, el recorrido óptimo durante su estadía en el arroyo. La Tabla 3 muestra algunos ejemplos de la salida del programa.

Tabla 3. Ejemplos de las salidas del programa. La columna de la derecha (salida) muestra el recorrido óptimo del ejemplar desde la etapa 0 hasta la etapa T. Las primeras dos columnas son los datos de entrada del programa: etapa de ingreso al lago y peso.
Table 3. Program input (weight and stage when the individual leaves the stream, first two columns) and output examples (right column). Output is the optimal journey of an individual from stage 0 to stage T.

En relación a la certificación de calidad del modelo, la validación con los datos de frecuencias de edades y pesos de ejemplares de Oncorhynchus mykiss reforzó los resultados obtenidos. Estas observaciones mantienen las mismas relaciones respecto al uso de los diferentes sectores del arroyo para distintas etapas y pesos, que los resultados arrojados por el modelo.

Sobre la migración de salmónidos

El análisis de las salidas del programa mostró que el desplazamiento de los ejemplares juveniles en el arroyo presenta una mayor relación con la edad y la oferta del medio ambiente que con el peso de los individuos. La elección del sector del arroyo dependió más de los tipos de cobertura y de sustrato presentes, que del porcentaje disponible. El porcentaje de cobertura incidió más en las decisiones que el de sustrato. Para las corridas del programa se utilizaron diferentes valores iniciales de densidad de individuos en cada sector del arroyo. Ésta influyó en menor medida en la permanencia de los individuos en un sector que la disponibilidad de alimento y cobertura más ventajosos para su edad. Sólo se notó la influencia de la densidad en a elección del sector del arroyo para valores muy altos del número de competidores.

El sector I fue escogido con mayor frecuencia en las primeras etapas de vida de los ejemplares, de manera independiente del tiempo de permanencia en el arroyo y de su performance al momento de la salida al lago. El sector III fue fundamentalmente escogido por ejemplares de más de dieciocho meses, aunque con menos frecuencia se observaron también individuos de entre doce y dieciocho meses. Este lugar fue poco elegido por peces de edades menores a doce meses. En general, el sector II fue el más visitado y el de mayor permanencia de peces de edades entre cuatro y dieciocho meses. El aumento en la densidad poblacional implicó esporádicos desplazamientos de los ejemplares mayores de este sector al sector III, donde no permanecieron durante mucho tiempo. Por el mismo motivo, aunque en menor escala, se observaron desplazamientos de los ejemplares más pequeños de este sector al sector I, y en estos casos, la permanencia en el sector I fue mayor. Se observó que parte de los peces que dejaban el arroyo antes de los nueve meses, permanecían un tiempo en el sector III antes de su entrada al lago, mientras que otros abandonaban el arroyo sin permanecer en este sector. En cambio, los peces que se iban al lago con edades entre 9 y 15 meses, no permanecían en sector III antes de emigrar (Figura 3).

Figura 3: Distribución porcentual de los individuos de cada grupo de edad entre los tres sectores del arroyo y el ingreso al lago.
Figure 3: Individual distribution per age class among stream sectors and exit to the lake, in percentage.

Aquellos ejemplares cuyo peso fue bajo en relación a la edad en el momento de ingreso al lago (pesos próximos al requerimiento mínimo para esa etapa), eligieron reiteradamente el sector I y en ocasiones el sector II, pero sin evidenciar una regularidad respecto a la etapa en que lo hicieron. En cambio, los ejemplares cuyo peso era alto en relación a la edad, al ingresar al lago (pesos superiores al promedio) permanecieron durante las últimas etapas en el sector III. Sin embargo, cuando los pesos fueron demasiado altos para la edad (pesos próximos al límite superior de la banda de confianza), se evidenció permanencia en los sectores I y II.

Dentro de los ejemplares con peso próximo al límite superior de la banda de confianza, aquellos con edades superiores a la media presentaron una tendencia a restringir su movimiento entre los sectores del arroyo, mientras que aquellos de edades inferiores a la media presentaron un desplazamiento más activo y diverso.

DISCUSIÓN

Sobre la migración de salmónidos

Respecto a los antecedentes del uso de programación dinámica en problemas biológicos, este trabajo resulta cercano a trabajos en ecología de comportamiento. En estos trabajos se utiliza la teoría de forrajeo óptimo orientada a patrones de movimiento que subdividen el movimiento en sectores o parches y consideran que la búsqueda de alimento y de protección es oportunista y eficiente (Clark & Mangel 2000; Farmer & Wiens 1999; Purcell & Brodin 2007). El uso de programación dinámica en la migración de salmónidos se basa en estos mismos supuestos, y además presenta ventajas con respecto a los análisis estadísticos clásicos, ya que como resultado se obtiene el recorrido realizado por el individuo en el arroyo que le permite ingresar al lago en condiciones óptimas para su supervivencia. Los estudios sobre migración de salmónidos, ya sean relativos al comportamiento (Raleigth et al. 1986; Bozek & Rahel 1991; Wanless et al. 2005) o a la elaboración de planes de manejo (Pascual et al. 2007; Machi et al. 2008) obtienen resultados acerca de la preferencia de lugar de los ejemplares a partir de observaciones estáticas por sector del curso de agua, considerando su peso, edad y talla. El modelo desarrollado en el presente trabajo ofrece una visión global de la dinámica del movimiento de los peces en el arroyo, y un enfoque predictivo de la misma, a partir del peso del ejemplar en una etapa determinada, brindando nueva información que refuerza y completa los resultados estadísticos sobre migración. Trabajos realizados en otros cursos de agua (Baltz et al. 1991; Gibson 1993; Baiz & Bello 1997) describen el desplazamiento de salmónidos juveniles de diferentes edades y pesos en relación a tipo y cantidad de cobertura, y ofrecen resultados similares a los obtenidos a partir del modelo. Lo mismo ocurre en relación a dietas y oferta del ambiente, donde la descripción de los lugares escogidos se presenta en términos de sustrato (Wanless et al. 2005).

Durante su permanencia en el arroyo, los peces se desplazan continuamente de un sector, y la elección del sector más conveniente conjuga la condición del individuo, sus necesidades según el peso y la edad, y la disponibilidad de recursos de cada sector. El modelo permitió evaluar un comportamiento general en el que se consideran todos los elementos en conjunto, lo cual resulta de difícil observación práctica. En términos generales, el modelo prevé la elección del sector I del arroyo por parte de la mayoría de los ejemplares de bajo peso y edades tempranas, desplazamientos paulatinos al sector II, donde se observan principalmente peces de edades y pesos intermedios, y una mayor permanencia de los individuos de mayor peso y edad en el sector III. La permanencia sostenida de peces de mayor peso en el sector III respondería a que poseen una mayor capacidad de aprovechar las profundidades y estarían en mejores condiciones de adecuación a correderas y torbellinos (característicos de este sector). En mayor medida, los ejemplares de bajo peso eligen el sector I. Si bien no se consideró a la corriente del arroyo como una variable del modelo, la presencia de algunos de estos ejemplares en el sector III podría deberse más a un desplazamiento involuntario por arrastre que a una decisión del individuo. Estos resultados coinciden con los obtenidos por Bello & Hougham (2001), quienes describen la distribución de ejemplares de Oncorhynchus mykiss (respecto de edad, peso y talla) por sectores del mismo arroyo.

El hecho de que los peces que dejan el arroyo a corta edad permanezcan un tiempo en el sector III antes de emigrar podría ser explicado por las diferencias en los requerimientos de alimento y protección que existen entre ellos y los ejemplares de edades mayores (Thorpe 1981; Gibson 1993). Como a edades más cercanas estos requerimientos son similares, la presencia de ejemplares de mayor tamaño y edad en este sector explicaría el hecho de que los peces que abandonan el arroyo con edades intermedias no permanezcan en este sitio, ya que en la decisión incidiría la competencia por los recursos disponibles.

Tomando en cuenta los datos de edad y peso de los ejemplares en el momento en que abandonan el arroyo, se observó que estos valores eran próximos al valor esperado estimado por la curva logística. El modelo predice que algunos ejemplares con edades similares a las más frecuentes de ingreso al lago permanecen un tiempo más en el sector III antes de dejar el arroyo. Estos individuos presentan pesos próximos al límite superior de la banda de confianza de la curva logística, lo cual indicaría que en estos casos, el peso incide más que la edad como elemento decisivo para dejar el arroyo resultando el peso muy alto una condición desventajosa para la supervivencia.

En este modelo (como ocurre con cualquier modelo) se hicieron suposiciones restrictivas que lo hacen más manejable en términos matemáticos. En particular, se consideró constante el caudal del arroyo a lo largo del tiempo, aun cuando en situaciones extremas (e.g., sequías o exceso de precipitaciones) la diferencia de caudal podría modificar los resultados de manera cualitativa. No obstante, la variación de los cambios de caudal entre los distintos sectores del arroyo se ha considerado indirectamente a través de la distribución y porcentaje de sustrato y cobertura. La competencia fue incorporada en el modelo en el índice de similitud de dietas y a través del número de competidores por sector.

Sobre el método de la programación dinámica

La programación dinámica ha sido una estructura adecuada para este modelo, y resultó computacionalmente eficiente, ya que permitió obtener de forma sencilla una sucesión de decisiones que, en su conjunto, constituyen la respuesta óptima al problema global, incorporando datos observados y procesos estocásticos. Por esta razón, desde el punto de vista matemático, el desarrollo mismo del modelo es un resultado y no un proceso metodológico. En tanto un problema se ajuste a la estructura general de la programación dinámica, ésta reresulta una herramienta útil, cuya sofisticación depende del problema que se trate. Existen modelos que pese a incluir en su construcción funciones probabilísticas, se transforman en su desarrollo de modo tal que el estado en una etapa queda completamente determinado por el estado y la política de decisión en la etapa anterior, como ocurre en este trabajo. Por esta razón no es necesaria la consideración de réplicas, ya que a iguales datos de entrada se obtiene el mismo resultado.

El modelo desarrollado en este trabajo ha considerado al tiempo como una variable discreta. Biscayart (2007) desarrolló el modelo continuo que le da fundamento. Los modelos continuos por lo general son conceptuales y teóricos, y muchas veces carecen de solución analítica, aunque su existencia confiere robustez a cualquier modelo discreto que de él se desprenda. Por otra parte, la discretización de los modelos continuos permite un tratamiento matemático más sencillo. Debido a que los datos de campo necesariamente provienen de un conjunto discreto de observaciones, los modelos discretos pueden ser ajustados sin tener que resolver el problema inverso de inferir parámetros correspondientes a modelos de tiempo continuo a partir de observaciones discretas (Ellner & Rees 2007). Los resultados obtenidos en este trabajo concuerdan con los del modelo continuo, como lo hará cualquier discretización de la variable tiempo.

Este modelo podría ser aplicado sin cambios a cualquier arroyo dividido en tres sectores para describir y analizar la migración de salmónidos. Para ello sólo deben conocerse los porcentajes disponibles de sustrato y cobertura, una medida de la densidad poblacional por sector, y la progresión de pesos en el arroyo. El mismo modelo también puede ser utilizado en arroyos divididos en más sectores para lo cual sólo serían necesarias unas pocas modificaciones del programa.

AGRADECIMIENTOS

Agradecemos a la Lic. M.T. Bello y a la Téc. V. Hougham quienes nos facilitaron las bases de datos y bibliografía sobre salmónidos. También al Dr. M. Kuperman y al Dr. G. Viozzi y a los revisores por sus valiosos comentarios.

BIBLIOGRAFÍA

BAIZ, M & T BELLO. 1997. Desplazamiento de Oncorhynchus mykiss (Walb.) y de Salmo trutta L. (Pisces, Salmonidae) en el lago Nahuel Huapi, Argentina. Cuaderno Universitario N° 29. Secretaría de Investigación, Universidad Nacional del Comahue.         [ Links ]

BALTZ, DM; B VONDRACEK; LR BROWN & P MOYLE. 1991. Seasonal changes in microhabitat selection by rainbow trout in a small stream. Trans. Am. Fish. Soc. 120:166-176.         [ Links ]

BELLMAN, R. 1957. Dynamic Programming. Research Study. Princeton University Press. Princeton, New Jersey.         [ Links ]

BELLO MT & V HOUGHAM. 2001. Migraciones "lakeward" de truchas juveniles en el arroyo Loncochinocco, afluente del lago Gutiérrez. Resúmenes 1º Reunión Binacional Argentino-Chilena de Ecología. Pp 253.         [ Links ]

BERTSEKAS, D. 1987. Dynamic Programming. Prentice Hall. New Jersey.         [ Links ]

BISCAYART, C. 2007. La programación dinámica en la migración de salmónidos. Tesis de Maestría. Universidad Nacional del Comahue. Neuquén, Argentina.         [ Links ]

BJÖRNN, TC & DW REISER. 1991. Habitats requirements of salmonids streams. Am. Fish. Soc. Special Public. 19:83-138.         [ Links ]

BJÖRNN, TC; SC KIRKING & WR MEEHAN. 1991. Relation of cover alterations to the summer standing crop of young salmonids in small Southeast Alaska streams. Trans. Am. Fish. Soc. 120:562-570.         [ Links ]

BOOZEK, MA & FJ RAHEL. 1991. Assessing habitat requirements of young Colorado River cutthroat trout across sites and among years in Wyoming streams. Can. J. Fish. Aquat. Sci. 49(3):552-564.         [ Links ]

CHAPMAN, DW. 1966. Food and Space as regulators of salmonid populations in streams. Am. Nat. 100(913):345-357.         [ Links ]

CIANCIO, JE; MA PASCUAL & DA BEAUCHAMP. 2007. Energy density of Patagonian aquatic organisms and empirical predictions based on water contents. Trans. Am. Fish. Soc. 136:1415-1422.         [ Links ]

CLARK, CW & C MANGEL. 2000. Dynamic State Variable Models in Ecology. Oxford University Press. Oxford.         [ Links ]

CUNJAK, RA & G POWER. 1987. Cower use by stream-resident trout in winter: A field experiment. N. Am. J. Fish. Manage. 7:539-544.         [ Links ]

DE ANGELIS, RL; BJ SHUTER; MS RIDWAY & M SCHEFFER. 1993. Modeling growth and survival in an age-0 fish cohort. Trans. Am. Fish. Soc. 122:927-941.         [ Links ]

ELLNER SP & M REES. 2007. Stochastic stable population growth in integral projection models: theory and applications. J. Math. Biol. 54:227-256.         [ Links ]

FARMER, AH & JA WONS. 1999. Models and reality: time-energy trade-off in pectoral sand piper (Calidris Melanotos) migration. Ecology 80(8): 2566-2580.         [ Links ]

GIBSON, RJ. 1993. The Atlantic salmon in fresh water: spawning, rearing and production. Rev. Fish Biol. Fish. 3:39-73.         [ Links ]

HANSON, FB & D RYAN. 1998. Optimal harvesting with both population and price dynamic. Math. Biosci. 148:129-146.         [ Links ]

HARRISON, P; D SPRING; M MACKENZIE & R MACNALLY. 2008. Dynamic reserve design with the union find algorithm. Ecol. Model. 215:369-376.         [ Links ]

HEGGENES, J. 1988. Substrate preferences of brown trout fry in artificial stream channels. Can. J. Fish. Aquat. Sci. 45:1801-1806.         [ Links ]

HOWARD, R. 1960. Dynamic Programming and Markov Process. Massachusetts Institute of Technology Press (MIT). Cambridge, MA, USA.         [ Links ]

KEUP, LE. 1988. Invertebrate fish food resources of lotic environments. Instream flow information paper Nº 24. U.S. Fish and Wildlife Service. Biological Report 88(13). Washington.         [ Links ]

LEW, A & H MAUCH. 2007. Dynamic Programming: A Computational Tool. Springer. Berlin.         [ Links ]

MACCHI, PJ; PH VIGLIANO; MA PACUAL; M ALONSO; MA DENEGRI ET AL. 2008. Historical policy goals for fish management in northern continental Patagonia Argentina: A structuring force of actual fish assemblages? American Fisheries Society Symposium 44:331-348.         [ Links ]

MAMCARDZ, A & D GOLONKA. 1989. An attempt to determine the level of variability of morphological features of peled (Coregonus peled Gmel) during larval development. Acta Hydrobiol. 31(1-2): 97-107.         [ Links ]

MANGEL, C & CW CLARK. 1988. Dynamic Modeling in Behavioral Ecolology. Priceton University Press. Priceton, New Jersey.         [ Links ]

MCCARTHY, MA; HP POSSINGHAM & AM GILL. 2001. Using stochastic dynamic programming to determine optimal fire management for Branksia ornata. J. Appl. Ecol. 38:000-008.         [ Links ]

MORTENSEN, E. 1977. Density-dependent mortality of trout fry Salmo trutta L., and its relationship to the management of small streams. J. Fish Biol. 11: 613-617.         [ Links ]

OLLASON, JG. 1987. Foraging Theory and Design. Pp. 549-561 en Kamil, AC; J Krebs & HR Pulliam (eds.) Foraging Behavior. Plenum Publishing Corporation. USA.         [ Links ]

PASCUAL, MA; V CUSSAC; B DYER; D SOTO, P VIGLIANO ET AL. 2007. Freshwater fishes of Patagonia in the 21st. century after a hundred year of human settlement, species introductions, and environmental change. Aquat. Ecosyst. Health Manage. 10:212-227.         [ Links ]

PURCELL, J & A BRODIN. 2007. Factor influencing route choice by avian migrant: A dynamic programming model of Pacific brant migration. J. Theor. Biol. 249: 804-816.         [ Links ]

RALEIGH, RF; LD ZUCKERMAN & PC NELSON. 1986. Habitat suitability index models and instream flow suitability curves: brown trout. U. S. Fish Wild. Serv. Biol. Rep. 82:1-65.         [ Links ]

SCHIEMER, F & M ZALEWSKI. 1992. The importance of riparian ecotones for diversity and productivity of riverine fish communities. Neth. J. Zool. Rep. 42(2-3):223-335.         [ Links ]

STRANGE, N; BJ THORSEN & J BLADT. 2006. Optimal reserve selection in a dynamic model. Biol. Conserv. 131:31-41.         [ Links ]

THORPE, JE. 1981. Migration in salmonids, with special reference to juvenile movements in freshwater. En: Brannon, EL & EO Salo (eds.). Salmon and Trout Migratory Behavior Symposium. Univ. of Washington. Seattle. USA.         [ Links ]

WANLESS, S; MP HARRIS; P REDMAN & JR SPEAKMAN. 2005. Low energy values of fish as a probable cause of a major seabird breeding failure in the North Sea. Marine Ecology Progress Series 294:1-8.         [ Links ]

WESTPHAL, MI; M PICKETT; WM GETZ & HP POSSINGHAM. 2003. The use of stochastic dynamic programming in optimal landscape reconstruction for metapopulations. Ecol. Appl. 13(2):543-555.         [ Links ]

WEBER, T; BJ ENS & AI HOUSTON. 1998. Optimal avian migration: A dynamic model of fuel store and site use. Evol. Ecol. 12:377-401.         [ Links ]