ARTÍCULOS

Cambios en el desempeño de estudiantes de pensamiento matemático desde la evaluación formativa con un banco de preguntas en línea

Changes in the performance of students of a mathematical thinking course through formative assessment with an online question bank

 

Adelina Ocaña G.*, Diana Angélica Pulido L.**, Sonia Milena Gil S.*** y Mónica María Zuluaga L.****

*Licenciada en Matemática. Magister en Investigación y Docencia Universitaria. Magister en Modelado y Simulación. Coordinadora y profesora en el Area de Matemática del Departamento de Ciencias Básicas y Modelado de la Universidad Jorge Tadeo Lozano. Miembro de los grupos de Investigación en Didáctica de las Ciencias y Evaluación de la Educación y del Grupo Innovación Pedagógica de la Oficina de Innovación Educativa y Apoyo Académico de la Universidad Jorge Tadeo Lozano. E-mail: ocana@utadeo.edu.co
**Licenciada en Matemática. Magister en Ciencias - Matemática Aplicada. Docente catedrática del Area de Matemática del Departamento de Ciencias Básicas y Modelado de la Universidad de Bogotá Jorge Tadeo Lozano. Miembro del Grupo de Innovación Pedagógica de la Oficina de Innovación Educativa y Apoyo Académico de la Universidad Jorge Tadeo Lozano
***Matemática y Magister en Ciencias - Astronomía. Docente Catedrática del Area de Matemática del Departamento de Ciencias Básicas y Modelado de la Universidad de Bogotá Jorge Tadeo Lozano. Miembro del Grupo de Innovación Pedagógica de la Oficina de Innovación Educativa y Apoyo Académico de la Universidad Jorge Tadeo Lozano.
****Ingeniera de Control. Magister en Ingeniería con énfasis en Tecnologías de la Información para la Educación. Asesora en innovación pedagógica para la Oficina de Innovación Educativa y Apoyo Académico de la Universidad Jorge Tadeo Lozano en Bogotá, Colombia.
Fundación Universidad de Bogotá Jorge Tadeo Lozano. Bogotá, Colombia.

---

Resumen

El uso de entornos digitales en línea en la Universidad Jorge Tadeo Lozano ha permitido implementar una base de preguntas con retroalimentación para apoyar al estudiante en el proceso de aprendizaje en la asignatura Pensamiento Matemático. Se desarrolló un proyecto de innovación pedagógica en dos semestres académicos, con el fin de observar si el uso de una base de preguntas con retroalimentación en línea mejora el proceso de apropiación de los conceptos matemáticos de los estudiantes. Las preguntas que conformaron la base se diseñaron siguiendo indicaciones sobre elaboración de preguntas de múltiples opciones con única respuesta; se utilizaron exámenes modelo con los temas vistos en cada uno de los tres momentos en que se divide un periodo académico de la Universidad; dichas evaluaciones formativas fueron puestas a disposición de los estudiantes dos semanas antes de cada evaluación. Debido al carácter del examen -en línea-, con múltiples intentos y accediendo desde cualquier dispositivo, el estudiante podía preparar sus evaluaciones con mayor autonomía y al ritmo que él estableciera. Se realizaron encuestas, entrevistas y grupos focales para identificar algunas características cualitativas que han permitido realizar ajustes y mejoras a la base de preguntas. Los datos obtenidos de cada modelo de examen y los resultados de los estudiantes durante los semestres fueron analizados estadísticamente. Los resultados, tanto cualitativos como cuantitativos, indican que en general, sí hay mejora en el desempeño y apropiación de los conceptos matemáticos en aquellos estudiantes que acceden a los exámenes en línea frente a aquellos que no los usan.

Palabras clave: Evaluación formativa; Retroalimentación; Pensamiento matemático; Base de preguntas; Entornos digitales en línea.

Abstract

The use of online digital environments atJorge Tadeo Lozano University has allowed the implementation of a question bank, with feedback, with the purpose of supporting students in their learning process for the subject of Mathematical Thinking; this subject is taught through lectures and workshops that are interrelated and leaded by different professors, one lecture session and two workshop sessions per week. A pedagogical innovation project was developed along two academic periods with the purpose of observing if the use of this online question bank with feedback improved the appropriation of mathematical concepts.
The questions that are part of this bank were designed following recommendations for elaborating multiple choice questions with one answer; the selection of distractors for each question was made following conceptual or procedural reasons, which is where most of the difficulties for students are when solving an evaluation on this subject. For each question a detailed description was made, including conceptual aspects and key features such as type of question, question statement, answer choices, reasons for each choice, key information that must be included in feedback (graphics, concepts, solved examples, etc.), cognitive and conceptual domain, level of difficulty, date of elaboration and revision, name of who elaborated the question and name of who reviewed it.
Each question was made available on this bank, located at the Virtual Classrooms System at Jorge Tadeo Lozano University (AVATA is the name of this Learning Management System working over Moodle) and corresponding to the Mathematical Thinking course, organized on folders separated by topics and levels of difficulty, according to the available syllabus of the subject. Evaluation models that gathered the topics covered on each of the three segments that form the academic period were used; such formative assessment was made available for students two weeks before each course evaluation. Due to the features of this evaluation, online, with multiple attempts and accessible from multiple devices, students were able to prepare their evaluations with a higher level of autonomy and at the pace, they would establish.
Surveys, interviews and focus groups from students and professors that were part of the Mathematical Thinking course were carried out, with the purpose of identifying qualitative features that could eventually lead to adjustments and improvements to the question bank, although not many students participated in these interviews and surveys. Among the qualitative aspects that were highlighted is the fact that students felt comfortable when using this kind of evaluation, as they did not feel the pressure of the results; they also pointed out the role of workshop professors as a motivating element to consult the question bank in order to prepare the evaluations and strengthen mathematical concepts.
The data obtained from each evaluation model and the results from students during the academic periods were analyzed statistically, allowing to conclude that there is a significant difference on course grades, both partial and finals, for students who used the evaluation models and students who did not. Results, both qualitative and quantitative, indicated that in general terms there is an improvement in performance for students who access to these online evaluation models compared to students who don’t.
In order to continue progressing on the work presented here, it is necessary to feed the bank with more questions, considering the aspects indicated from students and professors and also as a way of expanding the possibilities of randomizing the questions as students use the bank. It is also important to carry out statistical analysis to questions, with the purpose of establishing with better precision their levels of difficulty and the levels of difficulty of the evaluation models themselves.

Key words: Formative assessment; Feedback; Mathematical thinking; Online digital environments; Questions bank.

---

Introducción

En la Universidad Jorge Tadeo Lozano se ha implementado, en los dos últimos años, la modalidad de clase con grupos grandes en varias de las asignaturas del plan de estudio de diferentes programas. Una de ellas es Pensamiento Matemático, asignatura dirigida a una importante cantidad de programas académicos de la Universidad y que normalmente se cursa en los primeros semestres. Dentro de los aspectos positivos de las clases con grupos grandes, está el hecho de que se han logrado homogeneizar los contenidos para los 6 grupos de la asignatura, conformados en promedio por 100 estudiantes cada uno, divididos en aproximadamente 27 grupos de 24 estudiantes para el taller, espacio en el cual se resuelven dudas y los estudiantes son evaluados.
Otro aspecto que interesa homogeneizar es la evaluación que se realiza en esta asignatura. Para lograrlo se planteó, en el marco de una Convocatoria de Innovación Pedagógica lanzada por la Universidad en el año 2015, un proyecto de investigación en la línea de pedagogía y evaluación, para elaborar una base de preguntas con retroalimentación que facilite la apropiación y afianzamiento de los contenidos matemáticos de los estudiantes, que está disponible en un entorno digital en línea.
En una primera experiencia piloto, se tenía una base de preguntas que no estaba diseñada atendiendo a los parámetros de elaboración de preguntas cerradas, pues las opciones de respuesta no respondían a una razón específica para incluirla y no contaban con retroalimentación. El proyecto planteado concentró su atención en dos puntos importantes; el primero atendió al hecho de que cada opción de respuesta surgiera de una posible dificultad, error o duda que puedieran tener los estudiantes, y el segundo, a incluir en cada opción de respuesta una retroalimentación que le indicara al estudiante dónde estaban las fallas y qué podía hacer para superar el error o duda.
Así se elaboraron cerca de 350 preguntas con retroalimentación, las cuales se crearon con base en los objetivos de aprendizaje de cada uno de los tres momentos en que está dividido el semestre. Las preguntas estuvieron a disposición de los estudiantes para la preparación de los exámenes de los momentos II y III del segundo semestre de 2015 y de los tres momentos del primer semestre de 2016. El entorno digital en línea que se utilizó fue la plataforma Moodle de la Universidad, Ambiente de Aprendizaje Tadeísta -AVATA-, donde los estudiantes encontraron un modelo de examen (ME) que incluyó los contenidos del momento correspondiente; pudieron acceder a este examen las veces que quisieron, desde cualquier parte y con diferentes tipos de dispositivos gracias al diseño web-responsive de la plataforma. Cada vez que el estudiante realizaba un nuevo intento, podía obtener preguntas diferentes sobre los temas que debía repasar.
Para evaluar los resultados de la implementación del proyecto se realizaron diferentes acciones: recolección de datos relacionados con los resultados, tanto de los ME para ejercitación como de los exámenes que presentaron los estudiantes en cada momento, junto con las notas definitivas del momento y del curso. Se organizaron reuniones con estudiantes en grupos focales para recibir de primera mano las observaciones que tenían sobre la base de preguntas y se hicieron entrevistas y encuestas a estudiantes del curso y a profesores que están a cargo de los grupos de taller.
Al observar la base de preguntas a través del grupo focal y de las entrevistas a los estudiantes, se obtuvieron diferentes percepciones que permitieron mejorar la forma de presentar la retroalimentación y observar qué es lo que más favorece a los estudiantes de las retroalimentaciones, y cómo facilitarlas para su comprensión.
Con el análisis de la información recogida, se presentan los efectos que tiene en el desempeño en la asignatura, el acceso a esta base de preguntas con retroalimentación para preparar los exámenes. De igual manera se proponen algunas recomendaciones con el fin de fortalecer en número y calidad el banco de preguntas, al igual que incluir en la retroalimentación otros formatos para llegar al estudiante.
Los ME se continuarán ofreciendo a los estudiantes como apoyo a la preparación de las evaluaciones del semestre. El análisis estadístico de los resultados junto con las valoraciones cualitativas que emitan los estudiantes se emplearán para realizar los ajustes correspondientes, de modo que la base continúe siendo utilizada.

La evaluación formativa en matemática y el uso de recursos digitales

La evaluación en matemática ha tomado diferentes matices con el paso del tiempo. A comienzos del siglo XX se consideraba que el uso de pruebas técnicas y cuantitativas era útil para mejorar los resultados y para diagnosticar y clasificar a los estudiantes según sus necesidades de aprendizaje (Symonds,1927; Thorndike, 1913). Sin embargo, al final del siglo XX había un nuevo enfoque que pensaba en la evaluación como una herramienta del proceso de aprendizaje, útil para mejorar la comprensión del estudiante (Black & William, 1998; Gipps, 1999; Shepard, 2000), promoviendo así la evaluación formativa.
La revisión constante de la comprensión que los estudiantes tienen de los temas abordados hace que los profesores refuercen y adecúen el proceso de aprendizaje eficazmente, y permite que ellos asuman la responsabilidad de reflexionar y supervisar su propio proceso. Un análisis de Black y William (1998) determinó que la evaluación formativa produce mejores beneficios que otras herramientas de enseñanza, como por ejemplo, la enseñanza intensiva de lectura, las clases particulares, entre otras.
Sadler (1989) señaló que no es suficiente que los profesores den una retroalimentación simple a sus estudiantes, en la cual se indique si la respuesta es correcta o incorrecta. Para que una retroalimentación sea efectiva, debe estar relacionada con los objetivos de aprendizaje del curso y mostrar al estudiante posibles estrategias de mejoramiento. Atkin, Black y Coffey (2001) incluyeron preguntas clave para evaluar el proceso de aprendizaje: ¿a dónde tratas de ir? (objetivo), ¿dónde estás ahora? (dificultades), ¿cómo puedes llegar ahí? (estrategias de mejoramiento), las cuales dieron una orientación diferente a la evaluación.
En el proceso de la creación de recursos para la evaluación formativa existen algunos elementos fundamentales (Shepard, 2006): (a) selección del contenido, (b) establecer criterios, (c) progresiones del aprendizaje, (d) evaluación del conocimiento previo, (e) criterios explícitos y el uso de guías de calificación (rúbricas), (f) retroalimentación.
El modelo de evaluación formativa demuestra que la retroalimentación es más eficaz cuando se centra en cualidades particulares del trabajo del estudiante en relación con criterios establecidos y presenta una guía sobre qué hacer para mejorar (Shepard, 2006). Esto implica que la retroalimentación debe ocurrir durante el proceso de aprendizaje, y tanto el profesor como los estudiantes deben comprender que la finalidad de la retroalimentación es facilitar el aprendizaje y puede significar que la calificación queda en suspenso durante la etapa formativa (Kluger & DeNisi, 1996).
En un estudio de intervención, Elawar & Corno (1985) encontraron que los profesores mejoraban extraordinariamente la eficacia de la retroalimentación cuando se concentraban en estas preguntas: ¿cuál es el error principal? ¿Cuál es la razón probable de que el estudiante cometiera este error?¿Cómo puedo guiar al estudiante para que evite el error en un futuro? Así se logró entender la retroalimentación como una experiencia que incrementa el aprendizaje, necesaria en el aula para comprobar la comprensión de los estudiantes y asegurar que ellos se orienten para no persistir en los mismos errores (Elawar & Corno, 1985).
La evaluación formativa basada en la definición de Black y William (2009) se puede adaptar al contexto de aprendizaje en línea. La retroalimentación puede llegar a realizarse en un espacio de interés como las plataformas virtuales para crear un acercamiento más directo por parte de los estudiantes con los contenidos de las asignaturas. Los beneficios que se pueden identificar incluyen el aumento en la participación del estudiante y centralidad en el proceso como factores claves, incluyendo la posibilidad de desarrollo de una comunidad de aprendizaje.
Según Gikandi y colaboradores (2011), la evaluación formativa en línea puede funcionar como una estrategia pedagógica innovadora mediante las siguientes posibilidades: retroalimentación formativa e inmediata, compromiso con la crítica de los procesos de aprendizaje y promoción de la educación equitativa. Estas proporcionan a los estudiantes, con una variedad de necesidades individuales, diversas oportunidades de aprendizaje, en las que ellos centren su interés en conocerse, observarse y reflexionar sobre su aprendizaje y no en obtener una buena calificación (Díaz Barriga Cásales & Pacheco Méndez, 1997). La retroalimentación formativa puede promover el compromiso del estudiante, así como mejorar su motivación para aprender (Sancho-Vinuesa & Escudero Viladoms, 2012).
Diversos resultados se han reportado en relación con el uso de bancos de preguntas en línea como herramienta de apoyo a la evaluación formativa. En el trabajo de Blanco y Ginovart (2012) se concluye que los quizzes construidos en Moodlepara estudiantes de primer año en cursos de Matemática pueden ser considerados como una herramienta adecuada para informar a los estudiantes sobre su desempeño a lo largo de su proceso de aprendizaje, contribuyendo además a la promoción de su autorregulación y trabajo frecuente durante el período académico. Otro de los aspectos de gran valoración fue que se permitió llevar a cabo una evaluación formativa para grupos grandes de estudiantes sin sobrecargar a los profesores.
En otros contextos de aprendizaje por fuera de la educación universitaria, los procesos de evaluación formativa a través de herramientas en línea han mostrado también interesantes resultados, como es el caso del trabajo de Lawton y colaboradores (2012), donde el análisis de dos cursos de aprendizaje en línea para un ambiente de trabajo en ingeniería mostró que la posibilidad de contar con evaluación formativa apoyada por retroalimentación con recursos tipo video, así como un diseño instruccional detallado, representa una diferencia sustancial y favorable en el aprendizaje, sin tanta dependencia del conocimiento previo.
Por otro lado, una de las dificultades identificadas en el uso y apropiación de herramientas en línea para la evaluación formativa se relaciona con que el acceso a estos recursos aún no sucede de forma espontánea por parte de los aprendices (Lawton et al., 2012), dejando abierto un campo de análisis para las formas de promoción de estas herramientas que favorezcan su uso.
Como recurso de diagnóstico para el diseño curricular, la evaluación formativa apoyada por recursos en línea también ha mostrado resultados destacables. En el trabajo realizado por Tempelaar y colaboradores (2012), se indica cómo la aplicación de la evaluación formativa en cursos de matemática durante los primeros años de universidad ha permitido identificar los diferentes estados de preparación de los estudiantes, brindando así importante información para atender esta franja preparatoria y mostrando mejores resultados en quienes participan de estos cursos.
En el estudio que se presenta, la atención se centró en el fortalecimiento de la evaluación formativa, haciendo que el banco de preguntas diseñado llegara a un público amplio de estudiantes, les permitiera reconocer sus dificultades y les diera la posibilidad de reflexionar sobre su proceso de aprendizaje con el fin de llegar mejor preparados al momento evaluativo de los objetivos de aprendizaje propuestos.

Participantes

La población considerada para el presente estudio está conformada por todos los estudiantes de la asignatura Pensamiento Matemático del tercer periodo de 2015 (2015-III) y del primer periodo de 2016 (2016-I). Un segmento de estos estudiantes respondió una encuesta¹ que permitió caracterizar la población objeto de estudio, con el propósito de conseguir un diseño del banco de preguntas pertinente para la audiencia objetivo. En el 2015-III se inscribieron al curso 587 estudiantes, de los cuales 504 (85.9%) participaron en la encuesta,en tanto que de los 601 estudiantes inscritos en el primer semestre de 2016, 342 (56%) lo hicieron. En la Tabla 1 se muestran algunas características de la población de estudiantes de los dos semestres considerados en el estudio. La Tabla 2 muestra otros aspectos académicos de la población objeto de estudio, incluidos en la encuesta. En ambos periodos de investigación, las actividades que más realizaban eran: leer, comunicarse por internet y navegar por internet.

 

 

Tabla 1. Características generales de la población estudiantil

 

 

 

Tabla 2. Descripción de algunos aspectos académicos tomados de la encuesta

 

Aunque la población que respondió la encuesta en el 2016-I fue solo del 56%, las características son muy similares en los dos semestres, como lo muestran las descripciones anteriores.

Instrumento

Diseño del banco de preguntas en línea.

Dado que la plataforma AVATA de la Universidad J. T. Lozano permite apoyar el proceso enseñanza-aprendizaje entre estudiantes y profesores para integrar a toda la comunidad por medio del uso de tecnología, y además promueve la autonomía del estudiante para las diferentes actividades académicas en sus estudios, el proyecto se enfocó en crear una base de preguntas con retroalimentación utilizando AVATA.
Esta base de preguntas se construyó en relación con los contenidos de la asignatura Pensamiento Matemático, que están distribuidos en tres momentos y que desarrollan el concepto de función, sus generalidades, tipos de función y problemas de aplicación. Para su desarrollo se hizo una revisión de los objetivos de aprendizaje de la asignatura para establecer sobre cuáles se elaborarían preguntas que fueran útiles, tanto para la preparación de los exámenes de cada momento como para el afianzamiento y consolidación conceptual de la matemática.
La base de preguntas se elaboró a partir de las directrices del Instituto Nacional para la Evaluación de la Educación en México (INEE, 2005) para el diseño de preguntas cerradas. Se creó un formato de hoja de vida para cada pregunta en el cual se mencionan aspectos fundamentales de cada una, como dominio conceptual, dominio cognitivo, tipo de pregunta, fecha de construcción, persona responsable, fecha de última revisión, persona que la revisa, clave de la pregunta, enunciado de la pregunta, opciones de respuesta, justificación del porqué de cada opción, información y ayudas a incluir en la retroalimentación de cada opción de respuesta. Cada pregunta tiene cuatro opciones de respuesta, cada una de las cuales responde al análisis realizado para los diferentes contenidos, información plasmada en su hoja de vida, que orientó la elaboración de la retroalimentación de cada opción.
Una vez acordados los temas sobre los cuales se iban a elaborar las preguntas, se estableció la cantidad de preguntas atendiendo a los dominios conceptuales y a los niveles de dificultad. Se ingresaron las preguntas para cada uno de los contenidos de los tres momentos en que se divide el semestre, elaboradas con el formato, las imágenes y los textos necesarios. En la retroalimentación se explicaba al estudiante el tipo de error que cometía al marcar una respuesta incorrecta; se utilizaron imágenes, en las cuales se presentaban ejemplos similares o ideas básicas del concepto estudiado, para que pudiera relacionar los procesos y conceptos vistos con la pregunta que debía responder.
En la Figura 1 se muestra el ejemplo de una pregunta publicada en AVATA y su respectiva retroalimentación.

 

Figura 1. Ejemplo de pregunta y retroalimentación en la plataforma AVATA

 

Procedimiento

La elaboración de esta base de preguntas en línea con retroalimentación tenía como objetivo observar su efecto, por un lado, sobre el desempeño de los estudiantes en las evaluaciones aplicadas durante el semestre, y por otro, sobre la consolidación de estructuras conceptuales matemáticas en ellos.
Todas las preguntas, alrededor de 350, se publicaron en la plataforma AVATA de la Universidad y se pusieron a disposición de los estudiantes dos semanas antes de la fecha de presentación del examen de cada momento o periodo. Se diseñaron modelos de examen que incluían los temas a evaluar en cada momento y a los cuales era posible acceder las veces que lo desearan; estos exámenes se programan para ser calificados en línea y para emitir la nota correspondiente tan pronto se envía el examen.
En el 2015-III se dispusieron en la plataforma cinco modelos de examen: cuatro en el momento dos (M2) y uno en el momento tres (M3). De los cuatro modelos de examen del M2, uno se elaboró incluyendo todos los temas vistos y los otros tres por temas separados. En el M3 se diseñó un solo examen atendiendo a una solicitud hecha por los estudiantes de trabajar un único modelo de examen con todos los temas para realizar un mayor número de intentos sobre la misma prueba y estudiar así todo lo que se incluiría en el examen. En el 2016-I se diseñaron cuatro exámenes; uno para el momento uno (M1), dos para el segundo y uno para el tercero, que incluyeron los temas vistos en cada periodo del semestre.
El análisis de información que permitió identificar los cambios que se dieron en el desempeño y percepción de los estudiantes a partir del uso del banco de preguntas en línea, se hizo desde un enfoque mixto que consideró aspectos cualitativos y cuantitativos para enriquecer el análisis (Bishop-Clark & Dietz-Uhler, 2012). De un lado, a través de grupos focales, encuestas y entrevistas con estudiantes que accedieron o no a los ME, y de otro lado, por medio de los resultados obtenidos por los estudiantes en los ME y en las evaluaciones que presentaban en cada momento. Las calificaciones obtenidas en los exámenes en línea se obtuvieron directamente de la plataforma AVATA y las demás, de los registros de notas que hicieron los profesores en cada momento. Para procesar la información obtenida tanto cualitativa como cuantitativa, se pidió el consentimiento informado a los estudiantes en cada instancia en que se obtenía información.

Resultados y discusión

Resultados de desempeño obtenidos por los estudiantes en la asignatura Pensamiento Matemático en 2015-III y 2016-I

En la Figura 2 se muestran los resultados de las evaluaciones parciales y definitiva de cada momento, al igual que la del curso, tanto del semestre 2015-III como del 2016-I. Se observa que en ambos semestres hay una tendencia a obtener mejores resultados cuando los estudiantes acceden a los modelos de exámenes disponibles en AVATA, que cuando no los utilizan.

 

Figura 2. Comparación de los resultados en las diferentes categorías 2015-III y 2016-III

Nota: Categorías: 1. Promedio ME-M1; 2. Promedio parcial M1; 3. Promedio definitiva M1; 4. Promedio ME-M2; 5. Promedio parcial M2; 6. Promedio definitiva M2; 7. Promedio ME-M3; 8. Promedio parcial M3; 9. Promedio definitiva M3; 10. Promedio definitiva curso.

 

Para los nueve ME que se dispusieron en AVATA se realizaron diferentes análisis cuantitativos para establecer las características de cada uno. La nota promedio obtenida en cada examen, el porcentaje de aprobación, el porcentaje de intentos que obtuvieron cero, el número de intentos realizados y finalizados, al igual que el número de estudiantes que realizó por lo menos un intento en cada evaluación, se describen en la Tabla 3 y Tabla 4.

 

Tabla 3. Descripción de los modelos de examen en AVATA en el 2015-III

 

Tabla 4. Descripción de los modelos de examen en AVATA en el 2016-I

 

Entre los aspectos a destacar que se señalan en la Tabla 3 y Tabla 4, está el promedio obtenido por los estudiantes que aprobaron el examen, el cual se encuentra en el rango 3.6-3.8. Cerca de la mitad de los intentos, en ambos periodos estudiados, tienen una nota aprobatoria (mayor o igual que 3.0). En cuanto al número total de intentos realizados en los diferentes exámenes, se observa una variabilidad entre 349 y 1743. Para el M2 de 2015-III se realizaron en total 1875 intentos repartidos entre los cuatro exámenes dispuestos en AVATA, en tanto que en el M1 del 2016-I en una sola evaluación se realizaron 1470.
La diferencia entre el número de intentos registrados y finalizados está en la cantidad de estudiantes que inicia el examen y lo termina. Algunos estudiantes entran, miran el examen y contestan una o dos preguntas pero no lo envían; de esta forma no queda registrada la nota y por lo tanto no se contabiliza dentro de los intentos finalizados. En el 2016-I se observó que el número de intentos iniciados y finalizados, en tres de los cuatro exámenes puestos a disposición de los estudiantes, coincide; en esos casos, todos los estudiantes entraron, y aunque respondieron muy pocas preguntas, lo finalizaron y enviaron. Por ello, se registran más notas entre 0 y 1 en el periodo 2016-I, y así el promedio disminuye. En el 2015, la frecuencia de intentos registrados con notas en el rango 0-1.0 fue de 14.8%, en tanto que en el 2016-I dicha frecuencia fue de 17%.
Por otro lado, se realizó un análisis estadístico de las notas obtenidas en los parciales y definitivas de cada uno de los tres momentos de los dos semestres que se incluyeron en el estudio. Con la ayuda del programa Statgraphics, para análisis de datos,se compararon estas notas entre los estudiantes que utilizaron los modelos de parciales y los que no accedieron a ellos. Se aplicó una prueba de Bondad-de-Ajuste en la cual se encontró que las notas obtenidas en los parciales y en las definitivas de los dos periodos analizados, tienen una distribución normal con un 95% de confianza.
En el análisis estadístico realizado, al comparar las notas de los parciales de quienes utilizaron el modelo de examen con las de quienes no lo utilizaron, se encontró que en cada uno de los momentos tanto del 2015-III como del 2016-I la nota promedio con modelo supera a la nota promedio sin modelo. La prueba t permitió concluir que con una probabilidad del .95 se estima que el valor verdadero de la diferencia entre el promedio de nota del parcial del momento 2 con modelo de examen (PM2_CME) y el promedio de nota del parcial del momento 2 sin modelo de examen (PM2_SME) está entre .13 y .45, es decir que la nota promedio con modelo supera a la nota promedio sin modelo entre .13 y .45.

Comparación de medias:
Intervalos de confianza del 95% para la media de PM2_CME: 2.74487 +/- .0994525[2.64542; 2.84432]
Intervalos de confianza del 95% para la media de PM2_SME: 2.45417 +/- .129649[2.32452; 2.58382]
Intervalos de confianza del 95% para la diferencia de medias suponiendo varianzas iguales: .290705 +/- .162133 [.128572;.452838]

Prueba t para comparar medias:
Hipótesis nula: media PM2_CME1 = me-dia PM2_SME
Hipótesis Alterna: media PM2_CME1 >media PM2_SME
Suponiendo varianzas iguales: t = 3.52272 valor-P = .000233066
Se rechaza la hipótesis nula para alfa =.05.

El análisis anterior se realizó para todos los resultados obtenidos en los parciales, y dado que cumplen con los supuestos del procedimiento estadístico de un intervalo de confianza y una prueba de hipótesis (igualdad de varianzas y normalidad en cada muestra), las estimaciones hechas son válidas a nivel estadístico, es decir, los resultados obtenidos por los estudiantes que sí utilizaron el examen modelo como apoyo para la preparación de los parciales es significativamente mayor que los de aquellos que no accedieron a dichos exámenes; esto se verifica en los dos semestres del estudio.

Frecuencia del uso del banco de preguntas.

Se realizó el análisis de la frecuencia del número de intentos para cada ME y se seleccionaron los resultados del ME-M3 de 2015-III y ME-M1 de 2016-I para ilustrar el comportamiento general, los cuales se muestran en la Figura 3. En general, en todos los exámenes se presentaron las mayores frecuencias entre uno y cinco intentos, siendo siempre muy superior, un solo intento. En ambos semestres se exhibieron casos de estudiantes que accedieron al examen más de 8 veces, con dos casos a destacarse: un estudiante que realizó el ME-M1 de 2016-I, 27 veces, y otro estudiante que realizó 31 veces el ME-M2 de 2016-I.

 

Figura 3. Frecuencia de número de intentos en ME-M3 2015-III y 2016-I

 

 

Porcentaje de nota.

La nota obtenida en todos los intentos de cada ME se analizó a través de histogramas de frecuencia para establecer el porcentaje de nota obtenida en cada uno de los 5 rangos que se determinaron para el análisis. Los resultados en ambos periodos señalan mayor cantidad en los rangos 2.0-3.0 y 3.0-4.0; sumados los dos rangos se obtiene más del 55%. El mayor porcentaje se presentó en uno de los ME aplicados en el M2 de 2015-III, con un 42.1% en el rango de 3.0-4.0. Los registros en el rango de 4.0-5.0 estuvieron entre el 5.5% y 18.4% de los intentos realizados en cada examen. Solo se presentaron dos casos en los que los resultados del modelo de examen entre 0 y 1.0 tiene el mayor porcentaje entre los cinco rangos establecidos; ME-M2 de 2015-III con 26.1% y ME-M2 de 2016-I con 26.7%. En la Figura 4 semuestra el histograma de frecuencias para los rangos de las notas obtenidas en dos de los modelos de examen.

 

Figura 4. Histograma de frecuencia de las notas de ME-M3 de 2015-III y 2016-I

 

Nota promedio de cada número de intento en los modelos de examen.

En la Figura 5 se incluye las notas promedio obtenidas en cada uno de los intentos realizados para ME-M3 de 2016-I; una línea trazada señala el promedio de nota de todos los intentos para dicho examen. La nota promedio de todos los ME puestos a disposición de los estudiantes para el 2015 fue 2.7 y para el 2016, 2.4. En la nota promedio de los exámenes del 2016-I se observó una mejora a medida que los estudiantes realizaban más intentos, contrario a lo observado en los exámenes del 2015-III en los que no hay cambio entre las notas promedio de los cuatro primeros intentos. Por otro lado, no es concluyente el hecho de que si hacen más de 8 intentos la nota sea mejor; en algunos exámenes se observan mejores resultados cuando aumenta el número de intentos, pero en otros hay resultados bajos cuando hacen múltiples intentos.

 

Figura 5. Nota promedio por intento en ME-M3 2016-I

 

¿Cómo se percibe el banco de preguntas por diferentes grupos de estudiantes?

Durante la implementación del banco de preguntas en el primer semestre de 2016 se aplicaron instrumentos de valoración cualitativa a diferentes segmentos de estudiantes, respondiendo al número de veces que accedieron al banco de preguntas. Para el caso de un grupo de estudiantes que nunca accedieron, se aplicó una entrevista personal para indagar sobre las posibles razones; para un grupo de estudiantes que accedieron entre una y seis veces, que fue el rango general identificado, se aplicó un grupo focal que también buscaba caracterizar las razones vinculadas con el uso del recurso; finalmente se aplicó una encuesta en línea para un grupo de estudiantes que accedieron más de 6 veces.
Para participar de este ejercicio, los estudiantes fueron notificados sobre la intención de un grupo de profesores de observar los posibles efectos de usar un banco de preguntas sobre Pensamiento Matemático en su desempeño en la asignatura. Dicha notificación fue realizada de forma verbal en espacios definidos dentro del horario de clase y acompañada por un consentimiento informado.

Estudiantes que no accedieron al banco de preguntas.

Para este caso se contó con la participación de 14 estudiantes que atendieron a una entrevista individual (o en parejas) en la que se indagó por las razones de no acceso al banco de preguntas. En la generalidad de los casos, los estudiantes manifiestan que carecen de tiempo para ingresar al banco de preguntas. En algunos casos, las asignaturas propias de la carrera fueron priorizadas sobre el uso del banco de preguntas de Pensamiento Matemático y finalmente, algunos estudiantes infieren que no es necesario ingresar a los ME, pues las preguntas son percibidas con niveles diferentes (más sencillas o más difíciles) que las del examen calificable y, por lo tanto, poco útiles como herramienta de estudio.

Estudiantes que accedieron al banco de preguntas entre 1 y 6 veces.

Se contó con la participación de 18 estudiantes que atendieron a una sesión de grupo focal en donde inicialmente fueron invitados a responder unas preguntas de manera escrita y posteriormente a compartir sus respuestas a modo de plenario. Para ellos, el banco de preguntas es considerado como una herramienta útil de estudio, incluso como una alternativa en ocasiones en las cuales no se puede asistir a algunas sesiones de clase. Además, califican la experiencia de usuario como sencilla y consideran positivo que se brinden retroalimentaciones a partir del error o del acierto. Por otro lado, opinan que el banco de preguntas hace evidente la importancia que tiene el reconocimiento del lenguaje matemático.
Asimismo, estos estudiantes sugieren mejorar la calidad de las descripciones en las retroalimentaciones, especialmente en cuanto a la claridad del texto y el nivel de profundidad de las explicaciones, revisar la alineación entre el estilo y nivel de complejidad de las preguntas del banco y las preguntas del examen oficial y dejar disponible el banco con una mayor anticipación al examen oficial.

Estudiantes que accedieron al banco de preguntas más de 6 veces.

Participaron 19 estudiantes que respondieron a una encuesta en línea que fue dispuesta a través de AVATA y enviada a través de sus correos electrónicos. La mayoría de estos estudiantes está de acuerdo que hacer varias veces los modelos de examen disponibles, afecta positivamente su nota de los exámenes oficiales. Algunos de ellos consideran conveniente que el profesor reitere con frecuencia durante la clase la existencia del banco de preguntas y su carácter formativo.

Conclusiones y recomendaciones

Los cambios registrados en las calificaciones de los estudiantes en relación con el acceso a los modelos de examen, reflejaron en promedio un mejor comportamiento para los estudiantes que accedieron por lo menos una vez a alguno de los exámenes. Entre un 37% y un 60% de los estudiantes respondieron alguno de los modelos de examen puestos a disposición en la plataforma AVATA en los semestres en los que se realizó el estudio. Se hicieron entre 349 y 1473 intentos y el mayor número se ubicó en el examen del momento 1 del 2016-I con 1470 intentos finalizados de los 1473 iniciados. Una nota mayor que 3.0 se obtuvo en cerca de la mitad de los intentos de los exámenes realizados; el promedio de la nota aprobatoria se localizó entre 3.6 y 3.8.
Al realizar el análisis de los resultados obtenidos en cada examen se encontró que el número de intentos realizados por cada estudiante varió entre 1 y 31, observando mayor proporción en los intentos del 1 al 5, destacándose en todos los modelos de examen un solo intento. Muy pocos estudiantes hicieron entre 15 y 31 intentos para resolver algún modelo de examen.
En los rangos de nota de 2.0-3.0 y 3.0-4.0 se encontraron la mayor cantidad de registros; la suma del porcentaje obtenido en los dos rangos supera el 45% de los intentos de cada examen. Los registros de nota en el rango 4.0-5.0 tienen el más bajo porcentaje; entre el 5.5% y 18.4%. La nota promedio de todos los modelos de examen en el 2015-III fue de 2.7 y en el 2016-I de 2.4. A pesar de ser más baja la nota promedio del 2016-I, por influencia del número de notas registradas por debajo de 1.0, se notó una mejora en la nota promedio a medida que los estudiantes realizaban más intentos, contrario a lo observado en el 2015-III en donde en los cuatro primeros intentos no hubo un cambio importante.
Si bien solo un segmento reducido de los estudiantes participa en la encuesta, la entrevista y el grupo focal, es de interés que sus percepciones están alineadas con dichos resultados, siendo especialmente relevante el concepto favorable sobre la posibilidad de recibir retroalimentación en los casos donde tenían tanto respuestas correctas como incorrectas.
Dentro de las percepciones de los estudiantes fue recurrente encontrar la apreciación de que los profesores no fueron persistentes en recordarles la existencia de los modelos de examen o que no era clara la utilidad de su uso. Esto resalta el papel relevante del profesor como facilitador de la apropiación y uso de este tipo de recursos de aprendizaje y la importancia de ser reiterativo de su disponibilidad, especialmente considerando que se trata de una población que está comenzando su proceso de formación en la Universidad y necesita pautas para la regulación inicial de su autonomía.
La comunicación verbal durante las clases o vía correo electrónico, como principales medios de comunicación, así como la presencia explícita de estos recursos en el plan de la asignatura que los estudiantes reciben al inicio del semestre, son algunas de las acciones pertinentes para este propósito. Igualmente, el acceso por parte del profesor al banco de preguntas en algunas sesiones de clase puede detonar el interés de aquellos estudiantes que aún no han accedido al recurso y anticipar posibles inquietudes.
En adición a esto, sería recomendable que estos modelos de examen fueran introducidos dentro de la asignatura como una herramienta de autodiagnóstico que invite a los estudiantes a reconocer su nivel de preparación para los exámenes oficiales, sin la presión que implica una actividad grupal en clase o un examen calificable.
El factor manejo del tiempo es también una razón presentada por algunos estudiantes para omitir el acceso al modelo de examen. En contraste, esta misma razón podría convertirse en una oportunidad para promover su uso como una alternativa de manejo autónomo de su tiempo, con la posibilidad de ser accedido desde cualquier lugar y en su propia disponibilidad horaria.
En los semestres siguientes al estudio se espera continuar con la utilización del banco de preguntas para preparar los parciales que se programan para evaluar la asignatura.Con base en los resultados tanto cualitativos como cuantitativos que se obtuvieron del estudio, se realizarán ajustes al banco de preguntas (corrigiendo algunas, incluyendo otras, adecuando la retroalimentación, etc.), igualmente mejorar los canales de comunicación con los estudiantes y profesores, de modo que los primeros estén enterados de la disponibilidad de los modelos de examen y los segundos apoyen esta actividad en beneficio de la apropiación y afianzamiento de los conocimientos matemáticos por parte de los estudiantes que cursan Precálculo.
Para futuros semestres se puede continuar con el análisis estadístico de las preguntas con el fin de determinar el grado de dificultad y de confiabilidad de cada ítem o pregunta y la validez y confiabilidad de los exámenes modelo.

Notas:

1. La encuesta se subió a la plataforma AVATA y fue respondida en forma voluntaria por los participantes. Constaba de 26 preguntas cuyo objetivo era caracterizar a los estudiantes.

Referencias bibliográficas

1. Atkin, J. M., Black, P., & Coffey, J. (2001). Classroom Assessment and the National Science Education Standards. Washington, D. C.: National Academy Press. doi: 10.17226/9847         [ Links ]

2. Bishop-Clark, C., & Dietz-Uhler, B. (2012). Engaging in the scholarship of teaching and learning: A guide to the process, and how to develop a project from start to finish. Virginia, USA: Stylus publishing, LLC.         [ Links ]

3. Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability, 21(1),5-31. doi: 10.1007/s11092-008-9068-5         [ Links ]

4. Black, P., & William, D. (1998). Assessment and classroom learning. Assessment in Education: Principles, Policy, and Practice, 5(1), 7-74. doi: 10.1080/096959598005 0102         [ Links ]

5. Blanco, M., & Ginovart, M. (2012). On how moodle quizzes can contribute to the formative e-assessment of first-year engineering students in mathematics courses. Revista de Universidad y Sociedad del Conocimiento (RUSC), 9(1), 354-370.         [ Links ]

6. Díaz Barriga Cásales, A. R., & Pacheco Méndez, T. (1997). Universitarios: institucionalización académica y evaluación. México: UNAM-CESU: Pensamiento Universitario.         [ Links ]

7. Elawar, M. C., & Corno, L. (1985). A factorial experiment in teachers’ written feedback onstudent homework: Changing teacher behavior a little rather than a lot. Journal of Educational Psychology, 77(2), 162-173.

8. Gikandi, J. W., Davis, N., & Morrow, D. (2011). Online formative assessment in higher education: A review of the literature. Computers & Education, 57(4), 2333-2351.         [ Links ]

9. Gipps, C. (1999). Socio-cultural aspects of assessment. Review of Research in Education, 24(1), 355-392. doi: 10.3102/0091732X024001355         [ Links ]

10. Kluger, A. N., & DeNisi, A. (1996). The effect of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin, 119(2), 254-284.         [ Links ]

11. Lawton, D., Vye, N., Bransford, J., Sanders, E., Richey, M., French, D., & Stephens, R. (Abril de 2012). Online Learning Based on Essential Concepts and Formative Assessment. Journal of Engineering Education, 101(2), 244-287. doi: 10.1002/j.2168-9830.2012.tb00050.         [ Links ]

12. Sadler, R. (1989). Formative assessment and the design of instructional assessments. Instructional Science, 14, 119-144.         [ Links ]

13. Sancho-Vinuesa, T., & Escudero Viladoms, N. (2012). ¿Por qué una propuesta de evaluación formativa con feedback automático en una asignatura de matemáticas en línea? RUSC. Universities and Knowledge Society Journal, 9(2), 59-79.         [ Links ]

14. Shepard, L. A. (2000). The role of assessment in a learning culture. Educational Researcher, 29(7), 4-14.         [ Links ]

15. Shepard, L. A. (2006). Class Assessment. En R. L. Brennan (Ed.), Educational Measurement (4th ed.). Westport: American Councilon Education / Praeger.         [ Links ]

16. Symonds, P. M. (1927). Measurement in secondary education. Nueva York: The Macmillan Company.         [ Links ]

17. Tempelaar, D., Kuperus, B., Cuypers, H., Vander Kooij, H., & Van de Vrie, E. H. (2012).The Role of Digital, Formative Testing in e-Learning for Mathematics: A Case Study in the Netherlands. RUSC. Universities and Knowledge Society Journal, 9(1), 92. doi:10.7238/rusc.v9i1.1272         [ Links ]

18. Thorndike, E. L. (1913). An introduction to the theory of mental and social measurements. Nueva York: Teacher's College, Columbia University.         [ Links ]

Recibido: 7 de abril de 2017
Aceptado: 7 de marzo de 2019