TRABAJOS DEL DOSSIER

Error intraobservador en el análisis Paleohistológico de superficies craneofaciales

 

Natalia Brachetta Aporta¹²*

1 División Antropología. Facultad de Ciencias Naturales y Museo. Universidad Nacional de La Plata. La Plata. Argentina
² Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET). Buenos Aires. Argentina

Financiamiento: CONICET, PIP 0428; UNLP, PI 11/N742.

«Correspondencia a: Natalia Brachetta Aporta. División Antropología. Facultad de Ciencias Naturales y Museo. Universidad Nacional de La Plata. 122 y 60 1900 La Plata. Argentina. E-mail: n.brachetta@gmail.com

Recibido 17 Marzo 2015; aceptado 12 Mayo 2015

---

RESUMEN

En el análisis histológico de las superficies óseas craneofaciales se registran rasgos microestructurales producidos por la actividad de modelado óseo, así como otros rasgos no vinculados al crecimiento normal (alteraciones tafonómicas). La identificación de las áreas producto de la actividad celular, así como la determinación de su distribución y su extensión total, puede estar sujeta a diversas fuentes de error. En este sentido, el objetivo del presente trabajo es evaluar el error intraobservador en el relevamiento de las microestructuras correspondientes a formación y reabsorción sobre super- ficies óseas craneofaciales vinculadas al modelado óseo. Para ello se realizó un diseño observacional de bloques completos aleatrios con medidas repetidas a partir de réplicas de alta resolución de la glabela, el malar y el maxilar observadas al microscopio de luz incidente. Los resultados permitieron detectar la existencia de tendencias en las observaciones a través del tiempo, así como diferencias en el reconocimiento según el tipo de superficie ósea y la región analizada. En general, se registró un aumento de la concordancia a través de las repeticiones en la observación del tipo de actividad y en la cuantificación de la extensión de las áreas de formación y reabsorción. Asimismo, se observó que presentan mayor dificultad en su análisis los rasgos asociados a la actividad de reabsorción así como las regiones con topografía abrupta, como la región maxilar. Estos resultados proveen un marco de referencia para evaluar la confiabilidad de las observaciones en futuros estudios paleohistológicos. Rev Arg Antrop Biol 18(2), 2016. doi:10.17139/raab.2016.0018.02.07

Palabras clave: error de observación; diseño experimental; superficies de modelado óseo

ABSTRACT

Histological analysis of craniofacial bone surfaces reveals microstructural features produced by the activity of bone moeling, as well as other features not related to normal growth (taphonomic alterations). Identifying the areas produced by cell activity and determining their total size and distribution may be subject to various sources of error. In this sense, the objective of this study is to evaluate intraobserver error in the analysis of microstructures corresponding to formation and resorption on craniofacial bone surfaces linked to bone modeling. To this end an experimental random complete block design with repeated measurements was performed using high-resolution replicas of the glabella, malar and maxilla observed at incident light microscope. The type and extension of each cell activity-formation and resorptionwere registered. The results revealed the existence of trends in observations over time, as well as differences in the recognition by type of bone surface and region analyzed. In general, an increaed consistency across repetitions in the observation of the type of activity and in the quantification of formation and resorption areas was recorded. It could also be observed that the traits associated to the activity of resorption and the regions with a steep topography, such as the maxillary region, are more difficult to analyze. These results provide a framework for assessing the reliability of paleohistological observations in future studies. Rev Arg Antrop Biol 18(2), 2016. doi:10.17139/raab.2016.0018.02.07

Keywords: measurement error; experimental design; bone modeling surface

---

 

El análisis microscópico de superficies óseas craneofaciales ha sido aplicado en distintos estudios orientados, por ejemplo, al análisis de patrones de crecimiento, a la evaluación de procesos posdepositacionales y la a caracterización y determinación de especies actuales y extintas (Enlow, 1966; Bromage, 1984, 1989; O'Higgins et al., 1991; Enlow y Hans, 1996; Mowbray, 2005; Martínez Maza et al., 2006, 2011, 2013; McCollum, 2008; Rosas y Martinez-Maza, 2010). Tanto la forma como el tamaño del hueso observable a nivel morfológico, resultan de la actividad diferencial de formación de los osteoblastos y de reabsorción de los osteoclastos (Enlow y Hans, 1996). La actividad de ambos tipos celulares varía a lo largo de la ontogenia del individuo en respuesta a diversos factores, tales como hormonales, mantenimiento de la homeostasis interna, condiciones biomecánicas, reparaciones y renovación de hueso frágil, entre otros (Moss y Young, 1960; Enlow y Hans, 1996; Tiesler et al., 2006; Martínez Maza, 2007; Lieberman, 2011). Como resultado de estos procesos de formación y reabsorción se generan rasgos microestructurales característicos, posibles de identificar a partir del análisis histológico de las superficies óseas internas y externas (Enlow, 1963; Boyde, 1972; Bromage, 1989; Enlow y Hans, 1996).

El protocolo desarrollado para el análisis no invasivo de las superficies óseas consiste en la elaboración de réplicas de alta resolución que registran los rasgos microestructurales producidos por la actividad de modelado óseo, así como otros rasgos no vinculados al crecimiento normal (como alteraciones tafonómicas) (Bromage, 1984, 1989; Martínez Maza, 2007, 2010). Las réplicas obtenidas son metalizadas en su superficie para otorgarle conductividad térmica y eléctrica, posibilitando su observación al microscopio electrónico de barrido o al microscopio óptico de luz incidente, y permitiendo así la elaboración de mapas de modelado óseo específicos de las superficies de actividad celular observadas (Bromage, 1989; Martínez-Maza et al., 2010). Finalmente, la información obtenida a partir del mapa de cada individuo puede ser empleada para establecer el patrón de modelado óseo común característico de la población o especie analizada (Bromage, 1989; Enlow y Hans, 1996; McCollum, 2008; Martínez-Maza, 2007, 2010, 2011, 2013) y para inferir las dinámicas de crecimiento ocurridos en el desarrollo craneal.

La identificación de las áreas producto de la actividad celular así como la determinación de su extensión total, puede estar sujeta a diversas fuentes de error vinculadas a la preparación del material (por ejemplo las técnicas de obtención de las réplicas o materiales usados), al instrumental empleado (por ejemplo el tipo de microscopio) y al error intra e inter-observador (incluyendo el grado de entrenamiento del observador y las diferencias de criterios entre observadores) (Arnqvist y Mártensson, 1998). Reconocer, evaluar y controlar cada una de las fuentes de error permite incrementar la exactitud (es decir, una mayor aproximación al valor real de lo observado) y la precisión (es decir, disminución de la varianza introducida) en el registro de los datos; sobre todo si la variación existente entre muestras es pequeña, como en los estudios de variación intraespecífica (Arnqvist y Mártensson. 1998; Perez et al., 2004).

En general, en los estudios histológicos se remarca la importancia de establecer un aprendizaje continuo y guiado del observador inexperto para aumentar la exactitud en los datos obtenidos (Krause, 2001; Peña Amaro, 2007). Se intenta establecer así criterios comunes para el registro que permitan diferenciar los rasgos de interés de aquellos producto de factores intrínsecos a la muestra (sexo, edad, patologías, estado de conservación, sección ósea analizada) o resultado de la metodología de análisis de la muestra (técnicas de preparado, método de análisis empleado, experiencia previa del observador) (Hillier y Bell, 2007; Jindrová et al., 2012;

Steward et al., 2013; Lander et al., 2014). Sin embargo, la estimación del error introducido por el observador en el registro de los rasgos de modelado óseo ha recibido poca atención. Mientras que la falta de entrenamiento puede influir en la correcta identificación de una superficie ósea como producto de determinada actividad celular, las condiciones en que se obtienen los datos puede alterar la reproducibilidad de las mismas (Arnqvist y Mártensson, 1998).

El objetivo del presente trabajo es evaluar el error de observación introducido en el releva-miento de superficies óseas craneofaciales vinculadas al modelado óseo a partir de réplicas de alta resolución. Para ello se analizó la concordancia en el registro de superficies de formación y reabsorción celular y en la extensión de cada superficie. Se pretende así generar bases para evaluar y ajustar el error dentro de esta técnica no intrusiva.

MATERIAL Y MÉTODOS

Registro paleohistológico

Se analizaron superficies de modelado óseo a partir de la generación de réplicas de alta resolución de la glabela, el malar y el maxilar del lado izquierdo correspondientes a un individuo adulto joven de sexo femenino, de acuerdo a la estimación realizada a partir de rasgos craneofaciales (Buikstra y Ubelaker, 1994). Para ello se trazó una grilla de 5 x 5mm sobre las réplicas, obteniéndose un total de 133 celdas sobre las que se basó el análisis (glabela=38, malar=38 y maxilar=57). El individuo procede de la región de Pampa Grande (provincia de Salta, Noroeste de Argentina) y fue seleccionado de manera aleatoria de una muestra de mayor tamaño depositada en la División Antropología de la Facultad de Ciencias Naturales y Museo de la Universidad Nacional de La Plata (Buenos Aires, Argentina).

Para la generación de las réplicas de alta resolución, se limpió previamente el material con alcohol 60% y pinceles de cerdas blandas. Posteriormente se replicaron las regiones de interés mediante la elaboración de moldes negativos con silicona de baja viscosidad (Colténe® President light body) y moldes positivos con resina epoxy (Tolken®). Finalmente los moldes positivos se metalizaron en oro-paladio mediante el metalizador Termo VG Scientific SC7620. perteneciente al Museo Argentino de Ciencias Naturales Bernardino Rivadavia. Sobre la superficie metalizada se trazó una grilla con celdas de 5 x 5mm para orientar el relevamiento de las distintas estructuras de interés (Martinez-Maza, 2010) y se empleó un microscopio óptico Olympus CX31 (objetivo de 20X NA 0.40) modificado para luz incidente (Fig. 1).

En base a descripciones establecidas en trabajos anteriores (Boyde, 1972; Bromage, 1984; Mowbray, 2005; Martinez-Maza et al., 2010), se identificaron tres tipos de superficies: 1) Formación ósea: producto de la actividad de los osteoblastos (Fig. 2a). Se caracteriza por la presencia de estructuras alargadas, correspondientes a las fibrillas de colágeno que conforman en su conjunto haces de fibras paralelos. Estas presentan una orientación preferente. 2) Reabsorción ósea: resultado de la actividad de los osteoclastos (Fig. 2b). Se identifica a partir de la presencia de depresiones de distintos tamaños y con bordes definidos, correspondientes a las lagunas de Howship. Las mismas tienden a agruparse, aunque se orientan de manera desordenada en relación a los pseudópodos de los osteoclastos. 3) Superficies de reposo: producto del cese de actividad de los osteoblastos, generándose fibras de colágeno anastomosadas y menos delineadas, y del cese de la actividad de los osteoclastos, asociado a la presencia de lagunas de Howship menos profundas y con bordes menos pronunciados. En general estas superficies son de aspecto liso y brillante como consecuencia del avance y mineralización de la sustancia fundamental. Estas superficies son similares a aquellas resultantes de la abrasión, producto de diferentes procesos tafonómicos que pueden asociarse al material desde su depositación en tierra hasta su análisis (Brachetta Aporta et al., 2014). Dado que no es posible distinguir de manera no ambigua las superficies de reposo de las erosionadas, no se tuvo en cuenta la tercera categoría para el análisis.

Análisis del error de observación

Para evaluar el error intra-observador resultante del registro, se realizó un diseño experimental de bloques completos aleatorios con medidas repetidas para cada tipo de variable de actividad celular (formación y reabsorción). Cada bloque consistió en registrar las variables de interés en tres ocasiones (serie 1, serie 2 y serie 3), con un intervalo de siete días para la repetición del análisis sobre la misma réplica. En cada serie se obtuvieron 3 mapas de modelado óseo correspondientes a cada región anatómica (glabela, malar, maxilar) (Fig. 1d). La aleatoriedad se estableció modificando el punto de inicio del registro de la réplica en cada serie.

Los mapas de modelado fueron comparados de a pares de series consecutivas (serie 1 con 2 y serie 2 con 3), mediante la cuantificación de los resultados obtenidos para cada variable. Esto se debe a que se asume un incremento de la concordancia a través del tiempo como consecuencia de la mayor experiencia del observador. Se diseñaron dos análisis alternativos, estableciendo como hipótesis nula que no hay variación en el registro de las variables entre series y una probabilidad de rechazarla de 0,05.

El primer análisis consistió en registrar las actividades de formación y reabsorción como variables discretas (presencia/ausencia). Por cada mapa relevado, se registró la presencia (1) o ausencia (0) de las variables de interés, teniendo en cuenta su ubicación en la grilla (n° de fila x n° de columna). Se evaluó la concordancia en el registro entre series en base al total de celdas y para cada mapa. Esta metodología fue denominada como "Topografía de superficies óseas". El error de observación fue evaluado mediante el cálculo del índice Kappa (k) (Cohen, 1960) y la prueba de McNemar (McNemar, 1947), calculados con el paquete estadístico irr del programa R 3.1.0 (R Development Core Team, 2013). El índice de Kappa (k) permite evaluar el grado de asociación obtenido por concordancia de criterios teniendo en cuenta aquellos que se den solo por azar. Por su parte la prueba de McNemar evalúa la homogeneidad o heterogeneidad de los datos marginales, permitiendo corroborar si hubo cambios entre los datos nominales obtenidos entre series (Benavente et al., 2006). Estos dos modelos estadísticos permiten evaluar la concordancia entre los datos a nivel estadístico, la cual no siempre se corresponde con la concordancia observada en la práctica (Azzimonti Renzo, 2005). En este sentido, se pueden obtener valores de acuerdo alto asociados a un bajo índice de Kappa o, para el caso de McNemar, tener resultados similares independientemente de las proporciones de discordancia en relación al total de las observaciones (Feinstein y Cichetti, 1990; Lantz y Nebenzahl, 1996; Azzimonti Renzo, 2005; Benavente et al., 2006). Dado los problemas del índice de Kappa originados en los casos en los que la prevalencia del rasgo observado es muy baja o muy elevada, se acompañan sus resultados con los valores mínimos (k_min) y máximos (k_max) correspondientes para un nivel dado de acuerdo observado (Lantz y Nebenzahl, 1996). En relación a la prueba de McNemar, se calculó teniendo en cuenta una corrección de continuidad de -1, empleada cuando la suma de los valores marginales es menor a 10 (Benavente et al., 2006).

Fig. 1. RESUMEN de los pasos para la obtención de las réplicas, ejemplificado a partir del maxilar. a) Imagen ilustrativa de la región craneofacial replicada (con puntos); b) Fotografía del molde de silicona generado; c) Fotografía de la réplica de alta resolución realizada en resina epoxy a partir del molde de silicona, con el trazado de las celdas de 5 x 5 mm; d) Mapa del modelado óseo obtenido a partir del análisis con microscopio de luz incidente y objetivo de 20x (gris oscuro: formación, gris claro: reabsorción).

 

Fig. 2. a) Superficie de formación; b) Superficie de reabsorción. Imágenes obtenidas con microscopio de luz incidente y objetivo de 20x.

En la segunda alternativa de análisis se consideraron las actividades de formación y reabsorción como variables continuas. Los mapas de modelado obtenidos fueron escaneados y analizados mediante el programa ImageJ 1.47v (Abrámoff et al., 2004). Se calculó el área ocupada por celda para cada variable, tanto por cada mapa por serie así como por el total de celdas de las tres regiones faciales por serie. Posteriormente se compararon los datos obtenidos de la primera serie con la segunda y la segunda serie con la tercera. Esta metodología se denominó "Fracción de área". El error de observación fue evaluado a través del análisis del Coeficiente de Correlación Intraclase (CCI) y del ANOVA de medidas repetidas (Zar, 1999), con el programa R 3.1.0, paquetes estadísticos psy y base (R Development Core Team, 2013). De la variación total que se registra, parte corresponde a variaciones entre grupos (en este caso series) y la restante es producto de la variación que surge dentro del grupo, la cual se debe a la variación existente entre los objetos (es decir, diferencias en el modelado óseo, registradas por celda) y a la variación residual, aleatoria o de error de medición (Muñoz-Muñoz y Perpiñán, 2010). El CCI calcula la proporción de la variación total que se debe a la variación de los sujetos, y otorga una categoría según el grado de acuerdo, que va desde "sin acuerdo" (CCI 0) a "excelente" (CCI 0,74) (Fleiss, 1981; Müller y Büttner, 1994). Al ser en este caso medidas repetidas de un mismo objeto (en este caso el área ocupada por tipo de actividad), se puede evaluar su concordancia entre series (Müller y Büttner, 1994). Por su parte el ANOVA de medidas repetidas calcula la influencia de la variación entre grupos y la variación residual en la variación total (la variación entre objetos queda eliminada debido a que se está midiendo el mismo conjunto de datos) (Norman y Streiner, 1998). Esto nos permite evaluar la existencia de error sistemático o sesgos, es decir valores que se apartan sistemáticamente del valor real (Muñoz-Muñoz y Perpiñán, 2010).

RESULTADOS

En la Tabla 1 se presentan los resultados del análisis referido a Topografía de superficies óseas, en función de la actividad y de la región considerada. Con respecto a los resultados del índice de Kappa, en todos los casos fueron significativos, indicando que la concordancia registrada es mayor a la esperada por azar, lo que se confirma al comparar los resultados con los intervalos de dispersión mínimos y máximos de Kappa para cada caso. En general, se obtuvieron valores más elevados para formación que para reabsorción. Los valores más bajos tanto para el primer par de series como para el segundo, se registraron en la reabsorción del maxilar. Finalmente, tanto por tipo de actividad como por región, se observó un incremento en los valores a lo largo de las repeticiones.

En relación a la prueba de McNemar (Tabla 1), no se observaron valores significativos, salvo para la reabsorción en el maxilar en el primer par de series. Este valor significativo indica que las frecuencias marginales no son homogéneas. En relación a los valores por tipo de actividad, para la formación se observaron diferencias marginales menores entre las series 1 y 2, mientras que para reabsorción fueron menores entre las series 2 y 3. Sin embargo, al considerar los valores por región ósea siempre se obtuvieron diferencias marginales menores entre las series 2 y 3, independientemente de la actividad ósea considerada.

Los resultados del análisis de Fracción de área se presentan en la Tabla 2. En relación a los resultados del CCI, los valores obtenidos indican altos niveles de acuerdo en la estimación del área de cada tipo de actividad, siendo en general excelentes (Fleiss, 1981). Se observó además, una mayor concordancia en el registro de las actividades de formación y reabsorción entre las series 2 y 3, donde sólo un valor estuvo por debajo de CCI<0,74, a diferencia de las series 1 y 2 en las que tres valores se registraron por debajo. A su vez, los mayores incrementos en los valores obtenidos fueron en formación para glabela y, en reabsorción para malar y maxilar. En particular, la reabsorción del maxilar se destaca por obtenerse una mejora con las repeticiones, de moderado a excelente (Fleiss, 1981).En los resultados del ANOVA de medidas repetidas (Tabla 2), se observan resultados dispares si se comparan los obtenidos entre actividad y por región. En relación a la actividad de formación, los valores totales no fueron significativos. Sin embargo, a nivel de región, se identificaron valores significativos en formación para malar y maxilar, entre las series 1 y 2. Esto indica la presencia de un sesgo sistemático en su registro. Por el contrario, en el registro de la actividad de reabsorción considerando el total de celdas, hay una disminución del valor de significación con las repeticiones, llegando a ser significativo para un nivel de p<0,05 entre las series 2 y 3. Mientras que por región, se observa la presencia de valores significativos sólo en el registro de la reabsorción en el maxilar entre las series 1 y 2 (p<0,01) y entre las series 2 y 3 (p<0,05). Por otra parte, si se consideran los valores por región para ambos tipos de actividad, se observa un incremento en el valor de p, lo que muestra un aumento de la precisión a lo largo de las observaciones.

TABLA 1: Resultados del análisis de Topografía de superficies óseas

TABLA 2: Resultados del análisis de Fracción de área

 

DISCUSIÓN

Las comparaciones entre pares de series permitieron evaluar la existencia de tendencias en las observaciones a través del tiempo, así como diferencias en el reconocimiento según el tipo de superficie ósea y la región analizada. En general, los resultados de las pruebas estadísticas mostraron un aumento de la concordancia en la observación a través de las repeticiones, dándose en un 75% al 100% de los casos dependiendo del tipo de variable y de la prueba estadística empleada. En este sentido se remarca la importancia del entrenamiento del observador como parte de los análisis paleohistológicos. Tanto si el error es producto de la falta de entrenamiento como de las condiciones en que se obtienen los datos, la eficacia en el registro de los datos aumentará con la experiencia (González et al., 2004; Jindrová et al., 2012). Sin embargo, el aumento en la concordancia no fue homogéneo para ambos tipos de superficies óseas. En contraste con el registro de la formación ósea, la reabsorción presentó mayores dificultades en su identificación. Esto se observa tanto a nivel de la actividad sobre el total de celdas analizadas como en los resultados obtenidos por región ósea. Esta dificultad puede deberse a las características de los procesos que generan cada tipo de superficie ósea. Mientras que las superficies de formación se asocian a patrones claros, caracterizados por la presencia de fibras alargadas y con una orientación preferente, las superficies de reabsorción se asocian a la presencia de lagunas de Howship de forma y tamaño variable y de distribución irregular. Estas lagunas son la consecuencia de la actividad de los osteoclastos que desintegran el hueso y cuyo resultado es en definitiva, la pérdida ósea (Boyde, 1972; Martínez Maza, 2007). Pero otros procesos que no están asociados a la actividad celular, también tienen como consecuencia pérdida ósea. En este sentido, la erosión de las superficies por ejemplo, puede generar patrones de superficies similares al de la reabsorción dificultando el registro de la actividad celular.

Con respecto a la variación por región analizada, el maxilar presentó valores que reflejaron, en relación con la glabela y el malar, mayor dificultad en su análisis. Estas diferencias pueden atribuirse a que cada región ósea presenta particularidades en la morfología, en los tipos de inserción muscular y en la irrigación (Martínez Maza, 2007). En este sentido, el maxilar se caracteriza por presentar una topografía irregular con varios procesos óseos así como por la presencia de una concavidad correspondiente al seno maxilar o antro de Highmore (Enlow y Hans, 1996; Ruiz Vargas, 2002). Esta morfología ósea dificulta la observación de la actividad ósea al microscopio con luz incidente ya que los moldes no son superficies planas sino que replican la forma original del hueso y por lo tanto, requieren el reiterado ajuste del objetivo para una correcta observación.

En general, los estudios de paleohistología de superficies óseas se han centrado en alcanzar una mayor exactitud en el registro de los rasgos característicos de cada tipo de actividad celular. En este sentido, se ha evaluado la performance de distintas técnicas de preparación del material y de diversos instrumentos para la observación de superficies óseas en el reconocimiento de campos de modelado óseo (Bromage, 1984; Mowbray, 2005; Martinez-Maza et al, 2010). Sin embargo, es importante evaluar también la precisión con la que se obtienen los datos, para garantizar así la consistencia de las observaciones (Perez et al., 2004). El procedimiento más efectivo con este fin es generar una serie de repeticiones a partir de una submuestra (Rabinovich, 1995; Arnqvist y Mártensson, 1998), lo que permite establecer un aprendizaje controlado a través de la reiteración de la experiencia y a la vez aislar las fuentes de variación e identificar las principales dificultades (Guichón et al, 1993; Perez et al., 2004). Esto incluye reconocer la presencia de errores aleatorios y sistemáticos que influyen en la descripción de la variación, así como la posibilidad de evaluarlos a través de pruebas estadísticas adecuadas (Bernal et al, 2004). En conclusión, el presente trabajo representa el primer estudio sistemático del error de medición en el análisis paleohistológico centrado en la variación introducida por el investigador al observar réplicas de las superficies óseas al microscopio. Los resultados obtenidos remarcan la importancia de controlar esta fuente de variación y proveen un marco de referencia para evaluar la confiabilidad de las observaciones en futuros estudios paleohistológicos.

AGRADECIMIENTOS

A Héctor Pucciarelli y al personal de la División Antropología por facilitar el acceso a las colecciones del Museo de La Plata. A Fabián Tricárico por el metalizado de las muestras. A Cayetana Martínez Maza por su colaboración para el reconocimiento de las superficies óseas y por las sugerencias realizadas sobre este trabajo.

LITERATURA CITADA

Abrámoff MD, Magelhaes PJ, Ram SJ. 2004. Image processing with ImageJ. Biophotonics International 11(7):36-42.

Arnqvist G, Mártensson T. 1998. Measurement error in geometric morphometrics: empirical strategies to assess and reduce its impact on measures of shape. Acta Zool Acad Sci Hung 44 (1-2):73-96.

Azzimonti Renzo JC. 2005. La concordancia entre dos tests clínicos para casos binarios: problemas y solución. Acta Bioquím Clín Latinoam 39(4):435-444.

Barbeito Andrés J, Pucciarelli HM, Sardi ML. 2011. Ia^) ontogenetic approach to facial variation in three Native American populations. Homo 62:56-67.         [ Links ] doi:10.1016/j. jchb.2010.10.003

Benavente A, Ato M, López JJ. 2006. Procedimientos para detectar y medir el sesgo entre observadores. Anales de Psicología 22:161-167.

Bernal V, Gonzalez PN, Perez SI, Del Papa MC. 2004. Evaluación del error intraobservador en bioarqueología. Intersecciones Antropol 5:129-140.

Boyde A. 1972. Scanning bone. En: Bourne GH electron microscope studies of editor. The biochemistry and physiology of bone. New York: Academic Press. p. 259-310.

Brachetta Aporta N, Martinez-Maza C, Gonzalez P, Bernal V. 2014. Bone modeling patterns and morphometric creaniofacial variation in individuals from two prehistoric human populations from Argentina. Anat Rec 297:1829-1838. doi:10.1002/ar.22999

Bromage TG. 1984. Surface remodelling studies on fossil bone. J Dent Res 63:491.

Bromage TG. 1989. Ontogeny of the early human face. J Hum Evol 18:751-773.

Buikstra J, Ubelaker D. 1994. Standars for data collection from human skeletal remains. Arkansas Archaeological Survey Research Series. Fayetteville: Arkansas Archaeological Survey.

Cohen J. 1960. A coefficient of agreement for nominal scales. Educational Psychology Measurement 20:37-46.         [ Links ]

Enlow DH. 1963. Principles of bone remodelling. Springfield: Thomas CC Publisher.

Enlow DH. 1966. A comparative study of facial growth in Homo and Macaca. Am J Phys Anthropol 24:293-308.

Enlow DH, Hans MG. 1996. Essentials of facial growth. Philadelphia: WB Saunders Company

Feinstein AR, Cicchetti DV. 1990. High agreement but low kappa: I. The problem of two paradoxes. J Clin Epidemiol 43:543-549. doi:10.1016/0895-4356(90)90158-L

Fleiss JL. 1981. Statistical methods for rates and proportions. New York: Wiley

Guichón R, Neder S, Orellana L. 1993. Algunas consideraciones sobre los diseños de experimentos y estudios observacionales en antropología biológica. Rev Palimpsesto 3:53-61.

González PN, Bernal V, Perez SI, Del Papa M, Gordon F, Ghidini G. 2004. El error de observación y su influencia en los análisis morfológicos de restos óseos humanos. Datos de variación discreta. Rev Arg Antrop Biol 6:3546.

Gonzalez PN, Perez SI, Bernal V. 2010. Ontogeny of cranio-facial robusticity in modern humans: a study of South American populations. Am J Phys Anthropol 142:367379.         [ Links ] doi:10.1002/ajpa.21231

Gonzalez PN, Bernal V, Perez SI. 2011. Analysis of sexual dimorphism of craniofacial traits using geometric morphometric techniques. International J Osteoarch 21:8291. doi:10.1002/oa.1109

Hillier ML, Bell LS. 2007. Differentiating human bone from animal bone: a review of histological methods. J Forensic Sci 52:249-263. doi:10.1111/j.1556-4029.2006.00368.x

Jindrová A, Tuma, Sládek V. 2012. Intra-observer error of mouse long bone cross section digitization. Folia Zoologica 61 (3-4):340-349.

Krause WJ. 2001. The art of examining and interpreting histologic preparations. New York: Parthenon Publishing.

Lander SL, Brits D, Hosie M. 2014. The effects of freezing, boiling and degreasing on the microstructure of bone. Homo 65:131-142. doi:10.1016/j.jchb.2013.09.006

Lantz CA, Nebenzahl E. 1996. Behavior and interpretation of the K statistic: resolution of the two paradoxes. J Clin Epidemiol 49(4): 1^-434 doi:10.1016/08954356(95)00571-4

Lieberman DE. 2011. The evolution of the human head. Cambridge: Harvard University Press.

Martínez-Maza C, Rosas A, García-Vargas S. 2006. Bone paleohistology and human evolution. J Anthropol Sci 84:33-52.

Martínez Maza C. 2007. Ontogenia y filogenia del modelado óseo en el esqueleto facial y la mandíbula de los hominoideos. Estudio de la línea filogenética __ea_ertal a partir de las muestras de Atapuerca-SH y El Sidrón. Tesis de Doctorado. Facultad de Ciencias Biológicas. Universidad Complutense de Madrid. Disponible en: http://dialnet.unirioja.es/servlet/tesis?codigo=17577

Martinez-Maza C, Rosas A, Nieto-Diaz M. 2010. Identification of bone formation and resorption surfaces by reflected light microscopy. Am J Phys Anthropol 143:313-320. doi:10.1002/ajpa.21352

Martinez-Maza C, Rosas A, Garcia-Vargas S, Estalrrich A, de la Rasilla M. 2011. Bone remodelling in Neanderthal mandibles from the El Sidrón site (Asturias, Spain). Biol Lett 7:593-596. doi:10.1098/rsbl.2010.1188

Martinez-Maza C, Rosas A, Nieto-Diaz M. 2013. Postnatal changes in the growth dynamics of the human face revealed from the bone modelling patterns. J Anat 223:228-241.         [ Links ] doi:10.1111/joa.12075

McCollum MA. 2008. Nasomaxillary remodelling and facial form in robust Australopithecus: a reassessment. J Hum Evol 54:2-14. doi:10.1016/j.jhevol.2007.05.013

McNemar Q. 1947. Note of the sampling error of the difference between correlated proportions or percentages.

Moss ML, Young RW. 1960. A functional approach to craniology. Am J Phys Anthropol 18:281-292.         [ Links ] doi:10.1002/ ajpa.1330180406

Mowbray K. 2005. Surface bone histology of the occipital bone in humans and chimpanzees. Anat Rec 283B:14- 22. doi:10.1002/ar.b.20055

Müller R, Büttner P. 1994. A critical discussion of intra-class correlation coefficients. Stat Med 13:2465-2476. doi:10.1002/sim.4780132310

Muñoz-Muñoz F, Perpiñán D. 2010. Measurement error in morphometric studies: comparison between ma computerized methods. Ann Zool Fennici 47:

Norman GR, Streiner DL. 1998. Bioestadística. Harcourt Brace Publishers International.

O'Higgins P, Bromage TG, Johnson DR, Moore WJ, McPhie P. 1991. A study of facial growth in the sooty mangabey Cercocebus torquatus. Folia Primatologica 56:86-94.

Peña Amaro J. 2007. Competencias y habilidades en histología médica: el potencial formativo de la observación microscópica. Córdoba: Universidad de Córdoba.

Perez SI, González PN, Bernal V, Del Papa M, Barreiro A, Negro C, Martínez L. 2004. El error de observación y su influencia en los análisis morfológicos de restos óseos humanos. Datos de variación continua. Rev Arg Antrop Biol 6:61-75.

R Development Core Team. 2013. R: a language and environment for statistical computing. R Foundation for Statistical Computing. Vienna. Disponible en:http://www.Rproject.org

Rabinovich SR. 1995. Measurement errors: theory and practice. New York: American Institute of Physics.

Ruiz Vargas J. 2002. Anatomía topográfica. Ciudad Juárez: Instituto de Ciencias Biomédicas. Universidad Autónoma de Ciudad Juárez.

Rosas A, Martinez-Maza Homo heidelbergens_ sample. J Hum Evol 58:127-137. doi:10.1016/j.jhev-ol.2009.10.002

Steward MC, McCormick LE, Goliath JR, Sciulli PW, Stout SD. 2013. A comparision of histomorphometric data collection methods. J Forensic Sci 58:109-113. doi:10.1111/j.1556-4029.2012.02195.x

Tiesler V, Cucina A, Streeter M. 2006. Manual de histomor-fología en hueso no descalcificado. Mérida: Universidad Autónoma de Yucatán.

Zar JH. 1999. Biostatistical analysis. New York: Prentice Hall.