SciELO - Scientific Electronic Library Online

 
 issue6Paradigm change in scientific communicationThe Foulché-Delbosc Collection of the National Library of Argentina author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

  • Have no cited articlesCited by SciELO

Related links

  • Have no similar articlesSimilars in SciELO

Share


Información, cultura y sociedad

Print version ISSN 1514-8327On-line version ISSN 1851-1740

Inf. cult. soc.  no.6 Ciudad Autónoma de Buenos Aires Jan./June 2002

 

NOTAS DE INTERÉS PROFESIONAL

Evaluación de bibliotecas: su necesidad e importancia

Necessity and importance of library evaluation

Isabel Madrid

Universidad de Buenos Áires, Facultad de Ciencias Exactas y Naturales. Correo electrónico: portevid@adinet.com.uy

Resumen:  Se expone el concepto de evaluación de bibliotecas y el contexto en el cual cobra actualidad, además de algunas definiciones básicas, las principales áreas y actividades que requieren evaluación, los criterios y factores para seleccionar indicadores, las etapas del proceso evaluador, las normas internacionales aplicables, y se formulan algunas propuesta para impulsar el tema.

Palabras clave: Evaluación de bibliotecas

Abstract: The concept of library evaluation and the context in which it becomes topical are exposed, as well as some basic definitions, the main areas and activities to be evaluated, criteria and factors for selecting indicators, the steps in evaluation process, and the applicable international standards. Some proposals to drive library evaluation are submitted.

Keywords: Library evaluation

Artículo recibido: 09-04-02.
Aprobado: 24-06-02.

1.   Introducción

A pesar de toda la bibliografía publicada sobre el tema, y del cambio de paradigma (centrado en el usuario)  preconizado por la Bibliotecología, son evidentes - al menos en nuestro medio - las carencias en cuanto a la puesta en práctica de programas sistemáticos de evaluación de las unidades de información, sus productos y servicios y el grado de satisfacción de los usuarios con los mismos. En este sentido, parece impostergable sensibilizar sobre la importancia de evaluar nuestras actividades, a fin de concretar una mejora permanente, basada en  indicadores y no en supuestos.
Evaluar, básicamente, es comparar los resultados alcanzados con los objetivos establecidos. "Evaluar es comparar la productividad o el desempeño con las metas prefijadas.  Para ello es necesario tener: a) objetivos y metas claras; b) instrumentos de medición; c) técnicas de fácil aplicación y adecuadas a los propósitos." (Nocetti, 1978)
En empresas con fines de lucro, hay una medida sencilla y clara (aunque no la única) del éxito que tiene que ver con el nivel de ganancias y la participación en el mercado. En instituciones como las bibliotecas que son, desde el punto de vista de la institución mayor, generadoras de gastos pero no de ingresos en términos monetarios, al menos en forma directa, suele haber un conflicto entre los intereses de los usuarios y las decisiones de quienes asignan los fondos.
Es imprescindible, entonces, tender un puente que acerque los dos puntos de vista, y que permita tomar decisiones basadas en hechos verificados y registrados, sin perder de vista que la razón de ser de las bibliotecas es dar satisfacción a las necesidades informativas de sus usuarios, dentro de los límites establecidos por los objetivos y las políticas de la institución.
Por otra parte, interesa enfatizar la actual concepción de la información como recurso para el desarrollo de las sociedades y de las organizaciones, además de insumo imprescindible para la toma de decisiones, recurso que es necesario gestionar adecuadamente.

"Es así que la información se convierte en un recurso estratégico, llega a ser un bien que posee un alto valor de uso, por lo que también adquiere un significativo valor de cambio, convirtiéndose consecuentemente en mercancía; pero una mercancía de tipo especial porque permite sobrevivir en el mercado (no sólo económico, sino en el neoliberalismo, donde todo es mercado, en el mercado político, científico, educativo, tecnológico, militar, etc.)." (Rendón Rojas, 2001: 14)

"Se pasa de la visión de la información como una reserva de conocimiento disponible sin limitaciones de uso, para una determinada comunidad de usuarios, al concepto de un recurso económico excepcional, comparable con los nuevos recursos naturales y humanos de un país y que como  tal debería incidir en el desarrollo de éstos.  No obstante, la información como recurso no tiene valor económico y de uso hasta que no es procesada y utilizada racionalmente, necesita ser elaborada como toda materia prima para convertirse en información útil." (Sabelli, Fernández y Pérez, 1999: 7)

La preocupación por evaluar sistemáticamente o el auge de la evaluación de unidades de información cobra actualidad en un contexto de escasez de recursos y, por lo tanto, de disminución de presupuestos, donde se hace imperativo "rendir cuentas" por la utilización de los fondos asignados.
Se suman a ello, decisiones de la organización mayor, como la implantación de programas de gestión total de calidad - incluida la certificación según la familia de Normas ISO 9000 -, la evaluación institucional en universidades públicas de la región (Argentina, Brasil, Uruguay), la acreditación en universidades privadas, y los procesos de benchmarking (comparación con las mejores prácticas).
La pregunta que surge es ¿para qué evaluar? Además de lo ya enunciado anteriormente, el objetivo principal debe ser la mejora de nuestros productos y servicios en función de la opinión y las necesidades de los usuarios. En este concepto están implícitas tanto la detección de problemas como la mejor asignación de recursos y la responsabilidad por el uso de fondos, además de la medición del efecto/impacto de un cambio y la posibilidad de elegir entre distintas alternativas.  Están en juego también la imagen y el prestigio de la unidad de información.
Los beneficios son claros.  Desde nuestro punto de vista, el principal riesgo de la evaluación consiste en no realizarla.  Alguien la hará, explícita o implícitamente y no necesariamente con criterios apropiados.
Por eso sostenemos que la evaluación debe ser, en primera instancia, autoevaluación o autodiagnóstico, realizado por la propia biblioteca. En condiciones ideales, esta primera etapa debería ir seguida de una evaluación externa, hecha por expertos en el tema.

2.   Algunas definiciones básicas

Puede ser útil identificar algunos conceptos que aparecen reiteradamente en la literatura específica.

  • Eficacia: Nivel de logros de un servicio contra las metas u objetivos que se haya propuesto para un lapso. (Páez Urdaneta, 1992).  Se refiere al grado en que se han alcanzado los objetivos planteados.
  • Eficiencia: Nivel de logros obtenidos contra los recursos que debieron ser invertidos para ello. (Páez Urdaneta, 1992).  En otras palabras, cuánto cuesta en tiempo y/o dinero cumplir con determinadas actividades.
  • Calidad: Conjunto de propiedades o características de un producto o servicio que le confieren la aptitud de satisfacer necesidades explícitas o implícitas. ( Norma ISO8402, 1986).  Aunque existe una definición posterior en la Norma ISO 9000 versión 2000, preferimos mantener la anterior, por parecernos más clara y adecuada a los objetivos de este trabajo.  El concepto de calidad que manejan estas normas, está directamente vinculado a la satisfacción del usuario.
  • Costo-efectividad: La idea es determinar la relación existente entre el nivel de los resultados obtenidos y los costos que implica alcanzarlos. (Páez Urdaneta, 1992). Mide el costo de la efectividad o eficacia.  Se trata de una medida de racionalidad de costos en el logro de objetivos: relaciona lo que cuesta dar determinados productos y servicios y cuánto sirven para alcanzar los objetivos (por ejemplo: costo por uso de una publicación periódica, costo por cita o ítem pertinente recuperado). Sirve especialmente para comparar alternativas, como en el caso de tener que optar por una misma fuente de información en distintos soportes.
  • Costo-beneficio: Se intenta determinar la relación existente entre los beneficios derivados de un servicio y el costo de su producción. (Páez Urdaneta, 1992). Se compara lo que se gasta con lo que se obtiene. Es un análisis más complejo que el anterior. Se trata de expresar ambos términos de la ecuación en la misma unidad, casi siempre monetaria. Por sus características, los beneficios de la información son prácticamente imposibles de medir en términos monetarios, por lo tanto, es discutible la aplicación de este tipo de estudios en función de su utilidad y apoyo a la gestión (toma de decisiones).
  • Indicador: Expresión (que puede consistir en una serie de números, símbolos o palabras) utilizada para describir actividades (sucesos, objetos, personas) en términos cuantitativos y cualitativos, para evaluar dichas actividades, y el método utilizado. (Norma ISO 11620, 1998).  Un dato estadístico no constituye un indicador, sino, en todo caso, parte de la materia prima para elaborarlo.  Por ejemplo: la cantidad de usuarios que concurren a la biblioteca durante un período determinado, es un dato estadístico.  Si esa cifra se divide por la cantidad de integrantes de la población objetivo de la biblioteca, se obtiene un indicador: la tasa de uso de la biblioteca, que nos informa qué proporción de la comunidad a servir es usuaria real de la unidad de información, es decir, nos da una medida del alcance o cobertura del servicio.
  • Macroevaluación: Es una comparación de los logros alcanzados con respecto a los objetivos fijados, que se limita a establecer el grado de eficacia/eficiencia del sistema.
  • Microevaluación: Incluye la macroevaluación, pero es además analítica y diagnóstica: plantea problemas, dificultades y sus causas, y posibles caminos para superarlos y mejorar.

3.   Principales criterios de evaluación

Teniendo en cuenta la función de enlace entre las necesidades de información de sus usuarios y los recursos de información disponibles o accesibles, podríamos considerar como principales criterios de éxito  en el cumplimiento de esa función, los siguientes:

  • Disponibilidad. Grado en el que los documentos de mayor demanda forman parte de la colección y están físicamente en la biblioteca cuando los usuarios los solicitan.
  • Facilidad de localización. Grado en el que esos documentos pueden ser encontrados por el usuario en el momento en que los requiere.
  • Accesibilidad.  Grado en el cual los documentos no pertenecientes a la colección de la unidad de información pueden ser identificados, localizados y suministrados al usuario solicitante.
  • Exposición, difusión.  Grado en el cual, mediante servicios de alerta bibliográfica y actividades de promoción en general, se atrae la atención de los usuarios hacia los documentos o datos relevantes para satisfacer sus necesidades de información.  Implica adelantarse a sus demandas.
  • Alcance, cobertura.  Tamaño y adecuación de la colección y variedad y pertinencia de los servicios y productos ofrecidos al usuario.

4.   Grandes áreas y/o actividades que requieren evaluación

  • Colección. La calidad y adecuación de la colección a las necesidades de sus distintos tipos de usuarios y a las funciones de la institución a la cual pertenece, su alcance o cobertura, exhaustividad y actualización, reflejando el acierto de los criterios y mecanismos de selección.
  • Procesos técnicos. Incluye la organización y control de la colección mediante la catalogación, clasificación, indización. Directamente, pueden evaluarse en términos de eficiencia, es decir mediante indicadores como tiempo medio de procesamiento por ítem; costo unitario de procesamiento técnico.  En cuanto a su eficacia, sólo pueden evaluarse indirectamente, a través del estudio del uso del catálogo y la recuperación de la información.
  • Uso del catálogo. Interesa detectar su grado de uso (y las razones de su no utilización); la satisfacción  o insatisfacción derivada de su uso y sus motivos; los problemas en su utilización. El uso del catálogo (manual o automatizado), da una medida indirecta de la calidad del procesamiento de la información (organización del conocimiento y su análisis).
  • Circulación de documentos. Incluye los criterios de disponibilidad y accesibilidad planteados con anterioridad, es decir, la disponibilidad física y las posibilidades de acceso a la información en sus distintos soportes.  Valora la capacidad de entrega de documentos del servicio de préstamo.
  • Recuperación de la información. Se evalúa la actividad de información y consulta, tanto en lo referente al servicio pregunta-respuesta, como las búsquedas bibliográficas.  Puede aplicarse el criterio de eficiencia, midiendo el tiempo de respuesta, pero es más adecuado valorar su eficacia, traducida a los conceptos de pertinencia/relevancia, actualización y capacidad de recuperación de información pertinente/relevante.
  • Satisfacción del usuario con los distintos productos y servicios que ofrece la biblioteca.  Si bien no se trata de un área o actividad, puede incluir a todas o a parte de ellas.  Es una medida netamente cualitativa, ya que se basa en las impresiones subjetivas, opiniones,  percepciones  y expectativas de los usuarios.  Tiene un gran valor diagnóstico, en especial para identificar fortalezas y debilidades y detectar problemas.

5.   Indicadores

Debemos tener en cuenta algunos factores a la hora de decidir qué indicadores utilizar, entre ellos:

a) Apoyo a la gestión.  Se apunta a establecer qué indicadores serán más útiles para medir niveles de eficacia y eficiencia, detectar problemas y logros, y servir de insumo para la toma de decisiones.
b) Disfuncionalidad.  Se trata de elaborar indicadores que permitan identificar claramente problemas en aquellas áreas o actividades que requieran un análisis particular en razón de su funcionamiento deficiente.
c) Grado de esfuerzo. Se busca trabajar en torno a la elaboración de indicadores que exijan un esfuerzo razonable, en el sentido de los recursos humanos y materiales necesarios (incluida la información) y su relación con la importancia de los resultados obtenidos para la toma de decisiones y/o solución de problemas.
d) Rendición de cuentas. Se deben identificar aquellos indicadores apropiados para dar respuesta adecuada a los pedidos de  informes sobre determinadas áreas o actividades que recibamos de las autoridades.  Esto está directamente relacionado con el tema de la responsabilidad por los fondos recibidos.

Algunos indicadores pueden elaborarse a partir de datos disponibles, básicamente registros estadísticos pero, además, registros de usuarios, información presupuestal o contable, etc.  Otros, en cambio, exigen la recopilación de información específica e, incluso, la realización de pequeñas investigaciones. A continuación incluimos, unos pocos ejemplos ilustrativos de ambas situaciones.
En el primer caso estarían:

  • Visitas per cápita anuales a una biblioteca universitaria: surge del dato estadístico de asistencia de usuarios, comparado con los registros de estudiantes, docentes y egresados del servicio universitario en cuestión.  Incluso puede obtenerse un indicador para cada tipo de usuario.
  • Tasa de incremento en el número de préstamos: se obtiene de la comparación entre el registro estadístico de préstamos del año en curso con respecto al del año anterior.

Ejemplos que requieren registros especiales:

  • Tiempo medio de procesamiento técnico: exige la medición de tiempo de las tareas correspondientes por cualquiera de las técnicas utilizables: cronometraje, registros actuales o registros históricos, y la obtención de un tiempo promedio.
  • Costo por ítem catalogado: además de la medición de tiempo, se debe transformar las horas de trabajo en costo salarial.
  • Satisfacción del usuario: es necesario relevar sus opiniones con respecto a distintos aspectos de nuestros productos, servicios, colección, instalaciones, personal, etc., mediante encuestas, entrevistas, o una combinación de ambas técnicas.

6.   Etapas en un proceso de evaluación

Siguiendo a Lancaster (1980), podemos considerar las siguientes etapas:

  1. Definición del alcance. Formulación de las preguntas fundamentales a las que se tratará de dar respuesta:  qué se quiere conocer o averiguar por medio del estudio con respecto a los puntos fuertes y débiles de un servicio o sistema de información. En general, el alcance lo define el solicitante de la evaluación.
  2. Diseño del programa. Consiste en establecer los datos necesarios para contestar a las preguntas formuladas en el paso anterior, y el procedimiento más eficiente para recopilar tales datos.  Implica escoger la técnica más apropiada.  En algunos casos, será suficiente analizar la información disponible, en otros habrá que recolectar información específica.  En muchos casos, habrá que definir una muestra. Entre esta etapa y la siguiente, no debe olvidarse realizar un  pre-test.
  3. Ejecución. Recopilación de datos, según la técnica elegida.
  4. Análisis. Procesamiento de los datos obtenidos mediante tablas, cuadros, gráficos, etc., y posterior análisis cuantitativo y cualitativo de las variables identificadas.  Interesa especialmente poder detectar las fallas y sus causas.  Al finalizar esta etapa, corresponde presentar el informe final a los solicitantes de la evaluación, incluyendo conclusiones y recomendaciones.
  5. Modificación.  Para que la evaluación no sea un mero ejercicio intelectual, a partir de sus resultados deben tomarse las decisiones pertinentes para establecer los cursos de acción que permitan mejorar el desempeño de la unidad de información en el o los aspectos estudiados.

7.   Normas

Existen normas internacionales, tanto para la compilación de estadísticas como para la evaluación del desempeño o rendimiento de la biblioteca como institución:

NORMA ISO 2789. Información y documentación: Estadísticas internacionales de bibliotecas.
"Esta Norma orienta a la comunidad bibliotecaria en el mantenimiento de estadísticas con vistas a ser recogidas a nivel internacional". Contiene un glosario, a fin de despejar las dudas originadas en el vocabulario y describe los datos estadísticos a recabar.

NORMA ISO 11620. Información y documentación: Indicadores de rendimiento bibliotecario.
"Esta Norma trata de la evaluación de cualquier tipo de biblioteca. Su objetivo principal es promover la utilización de indicadores de rendimiento en las bibliotecas y contribuir a un mejor conocimiento de las formas adecuadas de medición del mismo". Su objetivo principal es el autodiagnóstico.  Habilita comparaciones históricas en la misma unidad de información y, eventualmente, con limitaciones y precauciones, comparaciones entre bibliotecas. Contiene un glosario, criterios y marco descriptivo, pautas para la selección y uso de los indicadores. Incluye una lista de indicadores  de rendimiento bibliotecario y la descripción de cada uno de ellos. Se trata de herramientas para medir calidad, eficacia y eficiencia.

8.   Propuestas para impulsar el tema

La primera propuesta, indudablemente, es la de aplicar los principios teóricos y las herramientas técnicas a las diversas realidades de nuestras bibliotecas.  Pero para ello, creemos oportuno plantearnos previamente algunas preguntas fundamentales:

  • ¿Se realiza evaluación continuada y metódica de los productos y servicios ofrecidos a los usuarios, y de su grado de satisfacción con los mismos en nuestras bibliotecas?
  • En caso afirmativo, ¿en qué consisten estas actividades evaluadoras?
  • ¿Resultan adecuadas las prácticas empleadas y los indicadores seleccionados para apoyar la toma de decisiones, detectar problemas, mejorar la gestión?
  • ¿Son apropiados los indicadores establecidos por la Norma ISO 11620 y la literatura extranjera en general, para aplicarlos a nuestra realidad?
  • ¿Es factible diseñar y aplicar un modelo adaptado a nuestro contexto nacional/regional e institucional?

La respuesta a estas preguntas sólo puede provenir de la formación y de la investigación en esta temática, con dos objetivos principales:

  • Identificar, describir y analizar elementos teóricos y herramientas prácticas para realizar la evaluación de unidades de información, centradas en la satisfacción de las necesidades informativas de los usuarios.
  • Contribuir a la elaboración/adaptación de herramientas de evaluación de bibliotecas que estén constituídas por estándares e indicadores realistas, en consonancia con la realidad nacional/regional e institucional.                    

En este sentido, una posibilidad interesante sería la de conformar grupos de trabajo para unificar intentos aislados o dispersos en un esfuerzo sistemático, sostenido y colectivo, que ofrezca la oportunidad de compartir experiencias y ver problemas. Si bien cada unidad de información tiene sus propias características, dadas por su temática, sus usuarios y por la institución de la que forma parte, todas ellas comparten algunos cometidos y objetivos básicos que, como ya hemos reiterado, tienen que ver con cumplir con una función de enlace entre los recursos de información disponibles/accesibles y las necesidades de información de sus usuarios.
Así se podría contar con herramientas probadas y válidas de diagnóstico y mejora de la gestión de las bibliotecas que, además, faciliten la elaboración y mantenimiento de información relevante para la toma de decisiones y habiliten la identificación de las "mejores prácticas" en nuestra profesión para aprender de ellas.
Pensamos que ahí estaría el principal aporte de la evaluación de bibliotecas: el aprendizaje, tanto a partir de los logros como de las debilidades, entendiendo los errores o deficiencias como oportunidades de superación.  Si esto se potencia con el trabajo en equipo que traspase no sólo las barreras interdepartamentales sino incluso las interinstitucionales, se fortalecerán nuestros productos y servicios, y nuestra imagen tanto institucional  como profesional.

Referencias bibliográficas

1. International Organization for Standardization. 1998. Standard 11620. Information and documentation: Library performance  indicators. Ginebra, ISO        [ Links ]

2. International Organization for Standardization. 1986. Standard 8402. Quality assurance: vocabulary. Ginebra, ISO        [ Links ]

3. Lancaster , F. W.  1980. Pautas para la evaluación de sistemas y servicios de información. París: Unesco.        [ Links ]

4. Nocetti, Milton A. 1978. Técnicas de avaliaçâo nos serviços de informaçâo: notas preliminares. Brasilia: EMBRAPA.        [ Links ]

5. Páez Urdaneta, Iraset. 1992. Pautas para la investigación de los usuarios y los servicios (III). En Infolac. Vol. 5, no. 1, 2-6.        [ Links ]

6. Rendón Rojas, Miguel Angel. 2001. Un análisis del concepto sociedad de la información desde el enfoque histórico. En Información, Cultura y Sociedad. No. 4, 9-22.        [ Links ]

7. Sabelli, Martha; Fernández, José y María Cristina Pérez. 1999. El decisor en ciencia y tecnología como usuario de información estadística y/o indicadores: contribución para la elaboración de indicadores de ciencia y tecnología en Uruguay. Montevideo, CIESU; Ediciones de la Banda Oriental.         [ Links ]

8. UNE-EN-ISO 2789. 1995. Información y documentación: estadísticas internacionales de bibliotecas. En  Revista Española de Documentación Científica. Vol. 18, no. 2, 205-221        [ Links ]

Bibliografía adicional

1. Lancaster, F. W.  1993.  If you want to evaluate your library.  Champaign, Ill.: Graduate School of Library and Information Science.        [ Links ]

2. Lancaster , F. W. 1995. The evaluation of library services: a concise review of the existing literature.  En Investigación Bibliotecológica. Vol. 9, no. 18, 25-37.        [ Links ]

3. Mano González, Marta de la. 1998.  Propuesta de un sistema de evaluación para bibliotecas universitarias.  En Revista Española de Documentación Científica. Vol. 21, no. 2, 174-197.        [ Links ]

4. Onofre Fernández, Pedro.  1991. Economia da informaçâo.  En Ciencia da Informaçâo. Vol. 20, no. 2, 165-168.        [ Links ]

5. Pagaza García, Rafael. 1989. Manual para obtener indicadores como apoyo a la evaluación de servicios bibliotecarios en instituciones de enseñanza superior. México: CUIB, ANUIES.        [ Links ]

6. Ponjuán Dante, Gloria. 1998. Gestión de la información en las organizaciones: principios, conceptos y aplicaciones.  Santiago de Chile: CECAPI.        [ Links ]

7. Verdugo Sánchez, José A. 1989. Manual para evaluar la satisfacción de usuarios en bibliotecas de instituciones de enseñanza superior de la República Mexicana. México: CUIB, ANUIES.        [ Links ]

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License