SciELO - Scientific Electronic Library Online

 
vol.24 issue1Atitudes toward retirementLeadership prototypes in civilian and military population author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

  • Have no cited articlesCited by SciELO

Related links

  • Have no similar articlesSimilars in SciELO

Share


Interdisciplinaria

On-line version ISSN 1668-7027

Interdisciplinaria vol.24 no.1 Buenos Aires Jan./July 2007

 

Construcción de un test de matemática para adolescentes y adultos

Nuria Cortada de Kohan* y Guillermo Macbeth**

* MA en Psicología. Profesora Honoraria de la Universidad de Buenos Aires (UBA). Miembro de la Comisión de Doctorado de la Facultad de Psicología y Psicopedagogía de la Universidad del Salvador (USAL). Asesora metodológica de la Universidad Argentina John F. Kennedy. E-Mail: ncortada@psi.uba.ar
** Doctor en Psicología. Becario postdoctoral del Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET).

Resumen

El propósito de este trabajo es presentar un test de matemática construido con una muestra de 564 sujetos, para evaluar los conocimientos matemáticos de jóvenes con estudios secundarios completos o que están cursando el primer año de carreras universitarias. La muestra tiene una edad promedio de 24 años (DE = 8.7 años) y está constituida por un 40% de varones y un 60% de mujeres. El instrumento consta de 50 ítem que evalúan cálculos aritméticos simples, cálculos con decimales, proporciones, regla de tres simple, algunos problemas algebraicos de pasaje de términos y algunos problemas de tipo geométrico. Todos los ítem son de opción múltiple con cuatro alternativas, de las cuales sólo una es la correcta. La media de los puntajes totales es 25.36 (DE = 8.06). Se realizó un análisis de ítem calculando el porcentaje de respuestas correctas para cada uno de ellos, se analizaron los errores y se calculó para cada ítem su correlación con el puntaje total. El resultado del alpha de Cronbach para la confiabilidad total es .936. Para obtener la validez de constructo del test se ha realizado un análisis factorial, en el que sobresale un factor muy claro que satura a una gran cantidad de ítem, en su mayoría de tipo cálculo aritmético, y otros tres factores cuya interpretación es más difícil, que saturan a los ítem en forma mínima. El test mide fundamentalmente, cálculo aritmético, pero un análisis detenido indica que los ítem implican otros procesos inferenciales.

Palabras clave: Matemática; Procesos inferenciales; Análisis de ítem; Confiabilidad.

Abstract

Construction of a mathematic test for adolescents and adults. There are three different stages that generally take place while learning mathematics: the first concrete stage is when children learn to add, usually incorporating fingers as the most common object of support; a second pictorial stage or of icons, in which children assimilate a pictorial representation of the concrete object and, finally, an abstract or symbolic stage, in which children handle symbols that represent mathematical quantities. The main goal of this paper is to discuss the construction of a mathematics test for university students administered to a sample of 564 participants. The aim of this study is to evaluate achievements in mathematic abilities of young people that have finished high school and are ready to start university studies. The sample's mean age was 24 years old with a standard deviation of 8.7 years and was 40% male and 60% female. The test has 50 items that measure simple algorithms for arithmetic problems: some items require the use of decimal numbers, some stress the use of proportions or percentages, and a few others are algebraic and geometric questions. All of the items are multiple choice tasks with four options and only one correct answer. There is no time limit to take the test, but its duration is usually not longer than one hour. The mean of the total scores is 25.36 with a standard deviation of 8.06. The exploratory item analysis shows the percentages of correct answers for each item, as well as the values of item-total correlations. Cronbach's alpha reliability index is .936. To study the construct validity we factor analyzed the results and came up with one factor that saturates many items of arithmetic calculation type and three other factors which are not very significant. The test measures, fundamentally, arithmetic calculation, but a lengthy analysis indicates that the items imply other inferential processes. The application of this test indicates that it is very difficult to differentiate mathematical abilities from the aptitude to solve new problems, and that, we are actually evaluating an individual's problem-solving abilities. Such an aptitude improves only with a mathematical instruction centered on the understanding processes, so that if the students are taught to understand the structure and the logic of mathematics, they will have more flexibility and will be more capable of remembering, adapting and organizing data. One of the difficulties observed in the test was that some participants thought that, when multiplying, the values always increase and, when dividing, they always diminish. That is the reason why they struggled so much with decimal exercises. The 50% of the examined participants had difficulties in solving problems with decimals, many had difficulties in finding percentage or interpreting a simple graph of columns. Currently, manual computers are used, but students have difficulties in the interpretation of its results, e.g. when it is presented in mathematical notation. It is very difficult, in this type of test, to differentiate mathematical abilities from mathematical knowledge because it is also important to consider a very strong inferential cognitive aspect.

Key words: Mathematics; Inferential reasoning; Item analysis; Reliability.

Introducción

En este trabajo se informan los resultados obtenidos en la construcción de un test de matemática para ser aplicado a jóvenes con estudios secundarios completos y que están en condiciones de cursar el primer año de las carreras universitarias argentinas.
Este instrumento forma parte de un proyecto que tiene por objeto analizar la formación de los jóvenes que están en condiciones de ingresar a las distintas carreras universitarias. Las tres áreas fundamentales de evaluación que abarca este proyecto son: (1) aptitud verbal, medida a través de un test de vocabulario, (2) conocimientos de matemática y (3) conocimientos generales en ciencias naturales y humanidades.
El Test de Aptitud Verbal Buenos Aires presenta las normas para jóvenes argentinos, españoles y de países de habla hispana en general (Cortada de Kohan, 1998, 2004). En esta prueba que estudia la riqueza de vocabulario a través del conocimiento de sinónimos y de definiciones, se aplica como novedad, además de los análisis psicométricos clásicos, el análisis de los ítem según la Teoría de la Respuesta al Item o TRI (Wang, Cheng & Wilson, 2005). En este trabajo se presentan como continuación del mencionado proyecto, algunos resultados de una investigación psicométrica que ha tenido como objetivo fundamental la construcción de un instrumento de evaluación de los conocimientos y aptitudes en matemática a nivel de primer año de la universidad.
La evaluación matemática de tipo psicométrica es casi inédita en Argentina. Es de público conocimiento que en las carreras no matemáticas, las materias de este tipo, como investigación cuantitativa, psicometría, estadística aplicada, etc., presentan grandes dificultades para los alumnos porque ellos, muchas veces, carecen de los conocimientos matemáticos básicos que, si bien figuran en los programas de enseñanza secundaria, rara vez son estudiados a fondo y en su totalidad. No se trata solamente de la escasez de conocimientos concretos en matemática sino que, además, muchos jóvenes no están acostumbrados a enfrentar y resolver problemas cuantitativos. Con un instrumento de evaluación objetivo y adecuado se los podría evaluar al comenzar sus carreras y proponer en consecuencia procedimientos para suplir las dificultades que solo les traen inconvenientes y provocan actitudes negativas y de rechazo hacia las materias matemáticas. Si bien en otros países los centros de orientación vocacional cuentan con instrumentos de este tipo, como ocurre en los Estados Unidos, Francia, España, Chile, etc., esto no sucede en Argentina, por lo que este test resulta oportuno.
El razonamiento cuantitativo es la aptitud que se necesita para resolver problemas matemáticos y está ubicado en lo que ahora se llama Gf o inteligencia fluida. Estos constructos se remiten a la moderna teoría de los estratos de las aptitudes cognitivas de Carroll (1993) y al modelo de Horn y Cattell (1966), que tratan acerca de la teoría de Gf y Gc (inteligencias fluída y cristalizada). Este modelo general es el que tiene mayor apoyo desde el punto de vista comprensivo y empírico sobre la estructura de las aptitudes cognitivas. Posee evidencia empírica desde: (1) los estudios factoriales sobre las diferencias individuales, (2) los cambios en el desarrollo de las aptitudes a lo largo de la vida, (3) investigaciones neurocognitivas, (4) pruebas a través del rendimiento educacional que permiten el pronóstico académico y la orientación ocupacional y (5) estudios sobre aspectos hereditarios por las relaciones halladas entre las personas emparentadas biológicamente.
De acuerdo a las recomendaciones del National Council of Teachers of Mathematics (NCTM) de los Estados Unidos, se ha centrado la atención en los ítem que apuntan a la resolución de problemas, al desarrollo conceptual y al razonamiento matemático, por lo que en este test se han incluido:

a.- Ítem que miden la aptitud para la manipulación de elementos según reglas aprendidas.

b.- Ítem para evaluar el razonamiento lógico deductivo, por ejemplo, descubrir las relaciones implícitas en un problema, determinar el valor de la verdad de algunas proposiciones e inferir conclusiones a partir de un enunciado.

c.- Ítem de interpretación simbólica con los que se pretende medir la aptitud para leer gráficos, interpretar diagramas y operar con símbolos.

d.- Ítem de razonamiento analítico que permiten comprender la información dada y resolver problemas concretos en distintos contextos.

La matemática es un sistema de conceptos y temas, pero también es un conjunto de hábitos mentales o estrategias para enfrentar los problemas.
Se presentan por primera vez los resultados del Test de Matemática, cuyo protocolo y claves de corrección se encuentran en los Anexos 1 y 2, respectivamente.
Se trata de un test de 50 ítem que ha resultado de diversos ensayos piloto y que, finalmente, se aplicó a una muestra de 564 jóvenes, casi todos estudiantes universitarios de primer año de diversas carreras de tres universidades privadas de la Ciudad Autónoma de Buenos Aires (República Argentina), Universidad Argentina John F. Kennedy, Universidad del Salvador y Universidad de Palermo. Las carreras predominantes fueron Psicología, Sociología, Ciencias de la Educación y algunos grupos menores de Ciencias Económicas y Abogacía.
La muestra no es probabilística sino incidental y estuvo formada por un 60% de mujeres y un 40% de hombres. La aplicación fue realizada en grupos de 30 alumnos aproximadamente, sin límite de tiempo, pero generalmente un máximo de una hora reloj era suficiente. La media de edad de los alumnos de la muestra resultó de 24 años, con un desvío estándar de 8.7. Se aplicó a un grupo heterogéneo pues en las universidades privadas los alumnos de las divisiones nocturnas pueden tener algunas veces 30 años o más, ya que son personas que trabajan y estudian, mientras que los alumnos de divisiones diurnas suelen ser más jóvenes.
El propósito no fue medir los conocimientos teniendo en cuenta los programas actuales de enseñanza, sino proponerles problemas matemáticos cuyos conocimientos son imprescindibles en cualquier carrera universitaria y de uso frecuente en la vida social. Ninguna pregunta supone conocimientos especiales, estrictamente hablando, más allá de lo que generalmente se considera que ha de conocer un joven que ha terminado el tercer año de la escuela secundaria. Además, las preguntas no implican solamente el conocimiento de los algoritmos usuales para los cálculos aritméticos, sino que suponen cierta aptitud matemática y procesos cognitivos de razonamiento abstracto para saber qué debe hacerse. Esto hace que problemas aparentemente muy fáciles desde el punto de vista del conocimiento matemático, no hayan resultado tan fáciles porque implican un razonamiento inferencial complejo. Los problemas propuestos en los ítem comprenden:
a.- cálculos aritméticos simples (18 ítem), por ejemplo el ítem 45,

b.- operaciones con decimales (5 ítem), por ejemplo el ítem 29,

c.- proporciones, porcentajes, regla de tres simple (8 ítem), por ejemplo el ítem 7,

d.- pasaje de términos algebraicos (9 ítem), por ejemplo el ítem 3,

e.- problemas geométricos de cálculo de ángulos, conocimiento del teorema de Pitágoras, etc. (10 ítem), por ejemplo el ítem 21 (ver Anexo 1).

Todos los ítem son de selección múltiple, con una pregunta o enunciado y cuatro alternativas como respuestas, de las cuales sólo una es correcta. El puntaje total del test es la suma de respuestas correctas.

Resultados estadísticos

Ningún examinado obtuvo el puntaje máximo de 50 puntos (valor máximo obtenido: 48 puntos) y un porcentaje muy pequeño obtuvo valores por debajo de la estimación por azar que correspondía a 12.5 puntos. Se obtuvo una diferencia significativa al 1% entre las medias de los puntajes totales de los varones y las mujeres (varones: M = 28.40, DE = 8.27; mujeres: M = 23.63, DE = 7.53; t = 6.40; p < .000). La distribución de los puntajes totales resultó normal y homocedástica por las pruebas de Kolmogorov-Smirnov (Z = 1,186; p < .120) y Levene (F = 1,628; p < .203), respectivamente.
El resultado de la confiabilidad es elevado, con un alpha de Cronbach de .936. El análisis de los ítem demostró que la ordenación de los mismos por orden de dificultad lograda con los primeros estudios piloto, era adecuada. Se presentan en la Tabla 1 los resultados para cada ítem sobre el porcentaje de respuestas correctas y la correlación ítem / total. Como podrá observarse, el 48% de las correlaciones ítem / total está entre .40 y .50 y el 56% de los ítem presenta dificultades entre el 30% y el 70%. Sólo hay 10 ítem que han resultado muy difíciles al final de la prueba y 10 ítem muy fáciles al comienzo. Las 1.225 correlaciones inter / ítem arrojaron un valor promedio de .196 lo que explica en parte, la elevada confiabilidad del test. Un estudio de los errores en un conjunto de 50 ítem tomados al azar de todo el grupo demostró que en casi todos ellos, las respuestas dadas a las tres alternativas incorrectas se distribuían con igual proporción.
Para establecer la validez de constructo del test se realizó un Análisis Factorial de Componentes Principales con rotación Varimax que permitió la extracción de 13 factores que explicaban el 61% de la variancia de los puntajes (KMO = .90, Bartlett = 11782; p < .000).

Tabla 1
Correlación ítem / total para el Test de Matemática

En el gráfico de Scree (Figura 1) se observa que los tres primeros factores eran los más importantes, tal como puede verse por la saturación de los ítem presentada en la Tabla 2. El factor 1 incluye los ítem que han resultado más difíciles y generalmente son los de cálculo numérico, cálculos con decimales y operaciones básicas de aritmética. El factor 2 parece saturar a los problemas geométricos. El factor 3 es menos claro y parece que comprende operaciones de pasaje de términos.

Figura 1
Gráfico de Scree para establecer la validez de constructo del Test de Matemática

Tabla 2
Saturación factorial para los ítem del Test de Matemática

Discusión y conclusiones

Los resultados de este test sugieren que la formación en matemática de los alumnos que ingresan a la universidad resulta incompleta. Recientemente el Diario La Nación de Buenos Aires informó que:

"... en la evaluación general del curso de ingreso a la Facultad de Astronomía y Ciencias Geofísicas de la Universidad Nacional de La Plata, ninguno de los 50 alumnos que se presentaron a rendir la prueba logró resolver positivamente los contenidos mínimos necesarios para aprobarla" (2006, p. 9).

Con la aplicación del Test de Matemática a una población similar a la mencionada se encontró que sólo el 61% de los jóvenes conoce el resultado de dividir 0,0036 por 6 (ítem 29) y que solo el 50% puede dividir correctamente 0,06 por 0,20 (ítem 38). estos resultados demuestran pobreza en matemática e incapacidad para resolver problemas nuevos, por ejemplo, solo el 26% ha resuelto correctamente el ítem 50 (Anexo 1).
La aplicación de este test indica que es muy difícil diferenciar habilidad matemática de aptitud para pensar problemas nuevos y que, en definitiva, se está evaluando la aptitud para resolver problemas. Tal aptitud mejora sólo con una instrucción matemática centrada en la comprensión (Jacobini & Wodewotski, 2006). Esto ha sido considerado por algunos autores, por ejemplo Crown (1993, p. 504), quien señala:

"Enseñar para la comprensión debe acentuar la relación entre las aptitudes matemáticas y los conceptos y debe llevar a los alumnos a enfocar las matemáticas con una actitud de sentido común que les haga comprender no el cómo, sino el por qué se usan ciertos algoritmos."

Si a los estudiantes se les enseña a comprender la estructura y la lógica de la matemática tendrán más flexibilidad y serán más capaces de recordar, adaptar y organizar los datos que se les dan.
Bruner (1963) señala que en el aprendizaje de la matemática existe una primera etapa concreta en la que los niños se apoyan al aprender a sumar y naturalmente, el objeto más común de apoyo concreto son los dedos, no en vano se llama a los números, dígitos. El segundo nivel es el de los íconos o etapa pictórica, punto en el cual el niño se apoya en la representación pictórica de los objetos concretos o en representaciones mentales y finalmente, la última etapa es la abstracta o simbólica en la cual el aprendiz puede manejarse con los símbolos que representan las cantidades matemáticas.
Resulta interesante analizar las dificultades específicas. Se solicitó a los sujetos que hicieran las cuentas necesarias al lado de cada pregunta y las dejaran escritas en el protocolo. Esto permitió saber, además de los resultados objetivos de las respuestas equivocadas, que un 50% de los examinados no sabía resolver las sencillas cuentas de dividir con decimales, muchos tuvieron dificultades en hallar porcentajes o interpretar un sencillo gráfico de columnas. En la actualidad utilizan calculadoras manuales, aunque también se observó en los participantes que al dividir dos valores y obtener un resultado como 8-03, es decir, en notación matemática, tampoco supieron interpretarlo, por lo que en este caso la calculadora les resulta totalmente inútil.
Así, uno de los aspectos más útiles e interesantes que surgen de la aplicación del test es el estudio de los errores cometidos, de modo que esto conlleva un gran potencial diagnóstico (Ashlock, 1986; Cox, 1975). Por ejemplo, se advierte que al realizar simples cálculos con decimales algunos sujetos pensaron que al multiplicar, los valores siempre aumentan y al dividir, siempre disminuyen y así, no se dan cuenta de la corrección de ciertas cuentas simples como:

40 x 0,2 = 8 ó 40 / 0,2 = 200

Es por esto que el ítem 48 (ver Anexo 1) ha resultado tan difícil, sólo el 11% lo ha contestado bien por el prejuicio de pensar que siempre, al extraer una raíz cuadrada de un número, el resultado será menor.
Sugiere claramente este test, tanto desde los resultados cuantitativos psicométricos, como desde el análisis cualitativo a través del estudio de la dificultad de sus ítem y de los errores que se cometieron más usualmente, que hay que dar más importancia a las nuevas tendencias en investigación psicométrica. Muestra claramente que para comprender una realización personal sobre una tarea particular hay que introducirse más profundamente en la configuración de sus constituyentes, esto es, del conocimiento, de las habilidades y de los componentes que subyacen a ciertas respuestas y esto exige el uso de nuevas teorías sobre los tests que, por otro lado, ya están surgiendo en la actualidad como lo señalan acertadamente algunos autores (Snow & Lohrman, 1993).

Anexo 1
Protocolo del Test de Matemática "Buenos Aires"







Anexo 2
Claves para la corrección del Test de Matemática

Referencias bibliográficas

1 Ashlock, R.B. (1986). Error patterns in computation. Ohio: Charles E. Merrill.        [ Links ]

2 Bruner, J.S. (1963). Toward a theory of instruction. Cambridge, MA: Harvard University Press.        [ Links ]

3 Carroll, J.B. (1993). Human cognitive habilities. A survey of factor analytic studies. NY: Cambridge University Press.        [ Links ]

4 Cortada de Kohan, N. (1998). La Teoría de la Respuesta al Item y su aplicación al "Test Verbal Buenos Aires" [Item Response Theory and its application to the "Verbal Test Buenos Aires"]. Interdisciplinaria, 15 (1-2), 101-129.        [ Links ]

5 Cortada de Kohan, N. (2004). BAIRES. Test de aptitud verbal "Buenos Aires". Madrid: TEA.        [ Links ]

6 Cox, L.S. (1975). Using research in teaching. Arithmetic Teacher, 22(2), 151-157.        [ Links ]

7 Crown, W.D. (1993). Assessment of Mathematics ability. En C.K. Reynolds & R. Kamthaus (Eds.), Handbook of psychological & educational assessment of children (pp. 504-523). NY: The Guilford Press.        [ Links ]

8 Horn, J.L. & Cattell, R.B. (1966). Refinement and test of the theory of fluid and crystallized intelligence. Journal of Educational Psychology, 57, 253-270.        [ Links ]

9 Jacobini, O.R. & Wodewotzki, M.L.L. (2006). Mathematical modelling: A path to political reflection in the mathematics class. Teaching Mathematics and its Applications, 25(1), 33-42.        [ Links ]

10 La Nación (2006, Enero, 25). En Astronomía ningún estudiante aprobó el ingreso. Sección Cultura. Extraído de la World Wide Web el 25 de enero de 2006: http://www.lanacion.com.ar/774977        [ Links ]

11 Snow, R.E. & Lohrman, D.F. (1993). Cognitive Psychology. New test design and new test theory. En N. Frederiksen, R.J. Mislevy & N. Bejar (Eds.), Test theory for a new generation of tests (pp. 1-18). Hillsdale, NJ: Lawrence Erlbaum & Associates.        [ Links ]

12 Wang, W.C., Cheng, Y.Y. & Wilson, M. (2005). Local item dependence for items across tests connected by common stimuli. Educational and Psychological Measurement, 65(1), 5-27.        [ Links ]

Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET).
Instituto de Investigaciones Psicológicas de la Universidad del Salvador (IIPUS). Marcelo T. de Alvear 1312 - (C1058AAV) Ciudad Autónoma de Buenos Aires - República Argentina.

Fecha de recepción: 6 de marzo de 2006
Fecha de aceptación: 18 de julio de 2006

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License