Bibliografía del Grupo 3: Evaluación de Bibliotecas Académicas

En los albores del Siglo XXI, las bibliotecas académicas se vieron involucradas en una serie de cambios que modificaron el comportamiento en el uso de la información de sus usuarios. Al respecto se observó que el Internet, los dispositivos móviles, la democratización en el acceso a la información, entre otros aspectos, obligaban a replantear los indicadores bajo los cuales se consideraba que una Biblioteca Académica (BA) estaba cumpliendo con sus objetivos.  Cabe señalar  que tradicionalmente las BA se valoraban en relación a indicadores cuantitativos, como por ejemplo la frecuencia de uso o el tamaño de las colecciones. Este tipo de indicadores, sin dejar de ser importantes, no son suficientes para identificar si una BA cumple con los objetivos de apoyo a la docencia, el aprendizaje, la investigación y la difusión en las instituciones de educación superior.

A partir de las premisas anteriores se iniciaron los trabajos del tercer Grupo 3: Evaluación de Bibliotecas Académicas.  El producto final fue  la tercera de las bibliografías que  sirvieron para crear el Plan Estratégico 2010-2020 de la Biblioteca Daniel Cosío Villegas de El Colegio de México, mencionadas por Micaela Chávez en su nota Biblioteca Académica: planear porque “el tiempo y la marea no esperan a nadie . El objetivo del grupo 3, fue establecer las tendencias para la valoración de las BA, a partir del análisis de la literatura relacionada con el tema de la evaluación cualitativa y cuantitativa de los procesos y servicios de este tipo de bibliotecas.

 

En la primera fase, el Grupo  identificó más de 50 documentos publicados en monografías, artículos de revistas académicas y en sitios web de prestigio. De estos se seleccionaron veintiuno que reunían los requisitos de relevancia, actualidad y autoría; y los cuales aportaban evidencias, indicadores, metodologías e instrumentos relacionados con la valoración de BA.

En la segunda fase, al igual que en los otros grupos, por cada documento analizado se elaboró un resumen y se asignaron palabras clave. Estas últimas fueron estructuradas por rubros para tener una visión global de los temas tratados:

  • Conceptos asociados a la evaluación : Medición (measurement); Valoración; Calidad; Efectividad; Eficiencia; Administración de la calidad total.
  • Tipos de evaluación: Microevaluación (al interior de la biblioteca); Evaluación del impacto (de la BA en su institución); Macroevaluación; Benchmarketing (entre bibliotecas); Proyectos regionales o nacionales o internacionales.
  • Componentes de la evaluación: Objetivos o foco de la evaluación; Criterios (necesidades de información, etc.); Liderazgo; Evaluación participativa; Proceso de evaluación.
  • Indicadores de evaluaciónCosto-efectividad; Costo-beneficio; Control de la calidad; Clima organizacional; Desempeño laboral; Impacto (por ejemplo, de ALFIN en el aprendizaje); Servicios electrónicos y digitales.
  • Criterios de evaluaciónDesempeño:Características del servicio o producto; Confiabilidad; Ejecución del servicio de acuerdo con la normativa; Actualidad; Disponibilidad; Estética; Usabilidad; Accesibilidad; Competencias del personal (Cortesía, responsabilidad, empatía, rapidez, multifuncionalidad, percepción de la calidad).
  • Aspectos críticos de la evaluación: Cultura de la evaluación; Liderazgo; Metodología de la evaluación; Integración de los resultados en la planeación; Interpretación de los datos para la toma de decisiones; Capacitación del personal para la evaluación y Sesgos en la evaluación.
  • Metodologías y técnicasCuantitativas (transacciones, estadísticas, actividades, etc.); Cualitativas (grupos focales, entrevistas, observación, etc.); Mixta (evaluación usando diferentes metodologías y métodos).
  • Perspectivas de la evaluaciónDel evaluador, de la biblioteca (administradores, bibliotecólogos, personal administrativo); del usuario (cliente); de la institución (autoridades administrativas y académicas) y de los informantes clave (personal, usuarios asiduos, etc.)
  • Implicaciones de la evaluación:
    • En la administración: Administración basada en evidencias; Diseño y planeación, Toma de decisiones; Obtención del financiamiento; Efectividad institucional
    • En la comunidad académica: Competencias en investigación; Efectos en el aprendizaje y éxito académico; Acreditación institucional
    • En la organización: Desarrollo organizacional; Aprendizaje organizacional; Cambio organizacional; Certificación bibliotecaria y Comportamiento organizacional
  • Proyectos de evaluación (ARL y ACRL):
    • Proyectos para el diseño y aplicación de instrumentos; Measuring the Impact to Networked Electronic Services (MINESQual); LibQUAL+protocol to assess the services provided by digital libraries (DigiQUAL); Organizational Climate and Diversity Assessment (ClimateQUAL)
    • Proyectos para la compilación de estadísticas nacionales: StaQUAL (Statistical-QUAL) Annual Salary Survey

 

 

En la última fase, el Grupo  identificaron las tendencias para la evaluación de las bibliotecas académicas, las cuales fueron:

 

 

  • En la evaluación de las BA se están compilando datos que permitan valorar el desempeño del personal, la calidad en el servicio y la efectividad de las operaciones
  • En relación al personal de las BA es importante prepararlos para que sean evaluados; así como capacitarlos para que sean capaces de aplicar diferentes metodologías y técnicas; así como para que puedan interpretar los resultados estadísticos.
  • Hay una fuerte tendencia a la administración basada en evidencias para mejorar el proceso de toma de decisiones.
  • Evaluación se asume como un proceso sistémico que involucra la obtención de información de diferentes actores y sobre procesos que están interrelacionados para elaborar productos y prestar servicios.
  • El modelo propuesto por Lancaster para la microevaluación es vigente en la medida que: a) se adapte a los nuevos procesos y servicios de información; b) integre el nivel de satisfacción de los usuarios y, c) que incluya la medición del impacto en los procesos de enseñanza y aprendizaje.
  • Cada BA debe seleccionar su propio modelo de evaluación dependiendo de sus circunstancias y contextos.
  • La autosuficiencia en el uso de la información de los alumnos es un elemento que se valora de manera importante en la mejora de los procesos de investigación en la institución.
  • La valoración de los recursos de información por parte de los usuarios finales es necesaria para identificar los niveles de valor agregado a la información que son requeridos.
  • La evaluación está siendo usada como un elemento para obtener visibilidad y acceso a recursos financieros, además de la certificación de procesos y servicios
  • El análisis del clima organizacional se integra en la evaluación de las BA,  integrando aspectos como la satisfacción en el trabajo, el aprendizaje continuo, la innovación, el trabajo en equipo, entre otros (CLIMATEQUAL).

En relación con la construcción de los indicadores se observó que era necesario considerar:

  • Las normas internacionales y nacionales para definir los criterios e indicadores.
  • La evaluación de las BA a nivel nacional para comparar e identificar las mejores prácticas (Benchmarketing)
  • La valoración costo-efectividad en relación a la forma en que la BA contribuye al prestigio de la institución a la que pertenece.
  • La evaluación costo- beneficio se dirige al valor de la relación entre la inversión para la contratación de recursos de información y la producción de sus investigadores.
  • La aplicación de metodologías mixtas y la triangulación de datos para aumentar la confianza en los resultados obtenidos.

A continuación se incluye la bibliografía anotada de donde se derivaron las tendencias mencionadas.


BIBLIOGRAFÍA ANOTADA SOBRE EVALUACIÓN EN BIBLIOTECAS ACADÉMICAS


 

  • Alemna, A. (1999). Library evaluation: some options for academic libraries. Aslib Proceedings, 51(7), 243-246.

El artículo ofrece una revisión de los tipos y niveles, métodos y conceptos de evaluación, así como de los objetivos de la organización, las tareas requeridas por los individuos, la interacción con los usuarios y el impacto con la sociedad. Entre los problemas de la evaluación se identifican: la falta de criterios claros de evaluación, los efectos de los servicios bibliotecarios que no son visibles, las dificultades en el desarrollo de herramientas y métodos de medición. Se concluye que el método de evaluación depende del tipo de biblioteca y del servicio que se desea evaluar. La principal aportación son las definiciones de términos relacionados con la evaluación.

DESCRIPTORES: Evaluación, metodologías, conceptos, criterios de evaluación

Se propone el uso de la evaluación de costo beneficio y costo efectividad para determinar la forma en que la biblioteca contribuye al prestigio de la institución a la que pertenece. Incluye información sobre el proyecto nacional que la ACRL llevará a cabo bajo el liderazgo de Oakleaf, quien desarrollará y llevará a cabo una revisión de la literatura, metodologías cualitativas y cuantitativas y mejores prácticas que se llevan a cabo en el área para demostrar el valor de las bibliotecas académicas.

DESCRIPTORES: Evaluación; bibliotecas académicas; costo efectividad; costo beneficio; metodologías cuantitativas; metodologías cualitativas; proyectos nacionales.

Se describe una encuesta diseñada para entender cómo afectan los procedimientos y políticas en las percepciones que tienen los usuarios sobre la calidad de los servicios. Pretende que los resultados de la encuesta ayuden al desarrollo de una organización “saludable”. Se incluyen apartados con los antecedentes, participantes, teoría y metodología, conceptos, ejemplos de preguntas, publicaciones, presentaciones e informes del proyecto. También se incluyen los datos, así como los datos para participar. La encuesta incluye preguntas sobre el clima organizacional, la satisfacción en el trabajo, el aprendizaje continuo, la innovación y el trabajo en equipo, entre otros.

DESCRIPTORES: Evaluación, procedimientos, políticas, clima organizacional.

Encuesta desarrollada para la evaluación de bibliotecas digitales desde el punto de vista del usuario. El objetivo es proporcionar mejores recursos, accesibilidad, navegación; así como apoyo para la definición de los derechos de autor y sustentabilidad. Se considera que la aplicación de la encuesta debe ser periódica para garantizar la efectividad de los servicios por parte de la organización.

DESCRIPTORES: Evaluación, bibliotecas digitales.

Measuring the Impact of Networked Electronic Services (MINES); describe las características de  una encuesta en línea que sirve para determinar datos sobre los propósitos de uso y sobre las características de los usuarios de recursos electrónicos. El sitio oficial http://www.arl.org/stats/initiatives/mines/index.shtml ofrece información adicional sobre las formas de participación y participantes.

DESCRIPTORES: Evaluación;  servicios electrónicos en red; metodología; encuestas en línea

El sitio presenta los antecedentes de la herramienta además de un conjunto de servicios que se ofrecen a la comunidad bibliotecaria por la Asociación de Bibliotecas de Investigación (ARL).  Hay una bibliografía que se puede consultar en torno a la herramienta.

DESCRIPTORES: Herramienta LibQual, evaluación, Calidad del servicio

Integra la información de las encuestas LIBQUAL, CLIMATEQUAL, DIGIQUAL y MINES de una forma integrada e interactiva, a través de minería de datos para realizar comparaciones entre las instituciones participantes.

DESCRIPTORES: Evaluación, bibliotecas académicas, encuestas, estadísticas.

  • Chen, K. (2006). Library evaluation and organization learning: A questionnaire study. Journal of Librarianship and Information Science, 38(2), 93-104.

Se enfoca en el aprendizaje organizacional en un contexto de cambio y desde el punto de partida de las bibliotecas académicas. Se expone un modelo entre el aprendizaje organizacional y  la evaluación en una red de bibliotecas en Taiwan, en el que la herramienta del cuestionario sirve para obtener información sobre las barreras y los elementos que facilitan dicho aprendizaje.

DESCRIPTORES: Bibliotecas académicas; Cambio organizacional; Desarrollo organizacional; Aprendizaje organizacional.

  • Davies, J. E. (2002). “What gets measured, gets managed: Statistics and performance indicators for evidence based management”. Journal of Librarianship and Information Science, 34(3), 129-133.

Propone que la administración de las BA se base en la obtención de mediciones y evidencias confiables que permitan evaluar el desempeño del personal y la calidad del servicio. Las evidencias pueden ser usadas para: monitorear la efectividad de las operaciones; proveer las bases de la planeación estratégica y para mostrar la percepción de los usuarios. El autor adapta el modelo de Lancaster en relación a las características de las bibliotecas del siglo XXI, al respecto señala: inputs (recursos humanos, infraestructura y colecciones para proporcionar los servicios), outputs (servicios de suministro de documentos, número de consultas, PIB, etc.),  outcomes (medible a partir del nivel de satisfacción de los usuarios) y el impacto (referido a los macro-efectos por ejemplo en la enseñanza y el aprendizaje).

DESCRIPTORES: Administración basada en evidencias; Evidencias-Evaluación; Evidencias-Toma de decisiones; Inputs-Evaluación; Outputs-Evaluación; Outcomes-Evaluación; Impact-Evaluación

  • Hernon, P. (2002). Outcomes are key but no the whole story. The Journal of Academic Librarianship, 28(1), 54-55.

Presenta un modelo de evaluación en el que se proponen evidencias para mantener auditorías sobre la evaluación en el servicio bibliotecario en vías a procesos de certificación para una buena efectividad institucional.

DESCRIPTORES: Certificación bibliotecaria; Efectividad institucional; Comportamiento organizacional

  • Hiller, S., Kyrillidou, M., & Self, J. (2008). When the evidence is not enough : Organizational factors that influence effective and successful library assessment. Performance Measurement and Metric, 9(3), 223-230.

Se demuestra que las estadísticas de la ARL no son usadas para planeación y la toma de decisiones en las BA debido a la falta de capacitación metodológica y conceptual de los bibliotecarios para que sean capaces de interpretar datos. Esta afirmación se basa en un estudio realizado en el 2004 por Hiller, Self y Kyrillidou en 23 BA, el cual tuvo como objetivo examinar el uso práctico de los datos estadístico, en relación por ejemplo a medición de la satisfacción de los usuarios, la usabilidad de los servicios en línea y la efectividad de los procesos (catalogación, adquisición, préstamo interbibliotecario, etc.).  También se observó que no había una cultura de la evaluación y que el personal era escéptico en relación a los resultados.

DESCRIPTORES: Valoración; Métodos de evaluación; Aspectos críticos en la evaluación;  Toma de decisiones basadas en la evaluación; Evaluación-Problemas; Evaluación-Actividades; Cultura de la evaluación.

  • Kenneth R., S. (2002). New roles and responsibilities for the university library: Advancing student learning through outcomes assessment.  Journal of Library Administration, e 35(2), 29-36.

El artículo enfatiza que una BA se debe evaluar en la medida en que se obtengan resultados exitosos de los estudiantes y la universidad. Lo que implica que el personal de la biblioteca se involucre en las actividades de docencia para contribuir a la formación de investigadores con cursos de ALFIN insertos en la currícula. El autor considera que la autosuficiencia en el uso de la información de los alumnos y la comprensión de su integración de datos fiables en los procesos de investigación es lo que permitirá redituar en la calidad de aprendizaje. Este tipo de evaluación favorece la visibilidad de la biblioteca académica desde el entorno institucional.

DESCRIPTORES: Papel del bibliotecólogo; biblioteca académica; competencias para la investigación.

  • Kyrillidou, M. (2005/2006). Library assessment as a collaborative enterprise. . In W. Miller, & R. Pellen (Eds.), Library beyond their institutions: Partnerships that work (pp. 73-87) Haworth Press.

La autora describe cómo se organizan las instituciones que participan en el ARL Statistics and Measurement Program. Identifica que hay dos áreas en las cuales se compila información, la primera es la de recursos humanos y da como producto la publicación del ARL Annual Salary Survey . La otra área es la institucional en la que se valoran aspectos cualitativos y cuantitativos, y tienen como producto la publicación de ARL Statistics. Los indicadores de estas estadísticas se definen de manera consensuada a partir de los diferentes organismos y comités con los que cuenta la ARL. Se han diseñado instrumentos para compilar la información estadística, estos son: LIBQUAL, SAILS y MINES.

DESCRIPTORES: Evaluación-Colaboración entre instituciones; LIBQUAL; MINES; SAILS; Recursos humanos-Evaluación; Biblioteca como sistema-Evaluación

  • Kyrillidou, M., & Cook, C. (2008). The evolution of measurement and evaluation of libraries: A perspective from the association of research libraries. Library Trends, 56(4), 888-909.

En el artículo se identifican tres autores que han hecho aportaciones para la evaluación de las bibliotecas, estos son: a) Lancaster quien diseñó un modelo para realizar microevaluaciones, y definió los servicios a evaluar en una biblioteca; b) Gerould fue pionero en la compilación de estadísticas en los años 20’s, algunas de las cuales se usan actualmente en la ARL; c) Webster se especializó en la evaluación de los procesos de administración de recursos humanos y de administración basada en evidencias. A partir de sus aportaciones anteriores los autores estructuraron el sistema StatsQUAL para la ARL, que comprende los siguientes instrumentos: LibQual, DigiQUAL, MINES y ClimateQUAL. Los autores enfatizan que la evaluación debe ser parte de una organización dinámica en crecimiento; y que es importante contar con herramientas objetivas, colaborativas y orgánicas en las que se considere a los usuarios.

DESCRIPTORES: Bibliotecas- Evaluación-Historia.; Evaluación- Estadísticas de la ARL; Microevaluaciones; Macroevaluaciones; Bibliotecas como sistemas; Bibliotecas-Evaluación del personal; LIBQUAL; STATSQUAL; DIGIQUAL,; MINES; CLIMATEQUAL

  • Lancaster, F. W. (1988). If you want to evaluate your library…. Champaign, Ill.: University of Illinois.

Libro fundamental para el tema de la evaluación de servicios de la biblioteca. Su aporte principal al área consiste en establecer tres componentes de los servicios que deben considerarse en la evaluación: insumos (procesos), productos (servicios) y resultados. Incluye modelos y técnicas específicas para procesos y servicios.  Ampliamente citado en la literatura de la especialidad y base del desarrollo de herramientas útiles para la evaluación.

DESCRIPTORES: Evaluación; bibliotecas académicas; servicios; procesos; fórmulas; metodologías; estudios de caso; insumos; productos; resultados.

Incluye los trabajos presentados en tres conferencias de la Library Assessment Conference Building Effective, Sustainable, Practical Assessment (2005, 2006 y 2008) que se han llevado a cabo.  Incluye trabajos sobre la valoración del desempeño organizacional, servicios, métodos, colecciones, usuarios. Así como los resultados de la participación en proyectos cooperativos como LIBQUAL, CLIMATEQUAL, estudios de caso y propuestas metodológicas.

DESCRIPTORES: Evaluación; valoración; conferencias, procesos, servicios, métodos, estudios de caso

  • Munde, G., & Marks, K. (2009). Quality, assessment and evaluation. In R.  Rikowski (Ed.), Surviving the future: Academic libraries, quality and assessment (pp. 1-13). Cambridge: Chandos.

Los autores proponen cambiar el paradigma para evaluar las BA para que éste no se centre en el tamaño de las colecciones y el presupuesto, sino en una redefinición del concepto de calidad y de los procesos de valor agregado a partir las necesidades de información de los usuarios. Señalan que la evaluación de las BA implica el análisis de las circunstancias y los contextos que afectan el entorno, por ejemplo los patrones de uso de la información, las nuevas estructuras organizacionales, la inestabilidad del financiamiento, el incremento de los ambientes electrónicos y los vínculos con la educación superior. En este sentido la administración de las BA debe evolucionar hacia la toma de decisiones basada en evidencias, datos y hechos concretos; sin embargo, advierten que los bibliotecarios no están familiarizados con estos procesos por lo que deben ser capacitados.

DESCRIPTORES: Calidad-Concepto; Valoración (Assessment) –Concepto

  • Oakleaf, M. (2010). The value of academic libraries. Chicago, Il. : Association of College and Research Libraries

Esta es una obra fundamental para la evaluación para todo tipo de bibliotecas. En el caso de las BA, la autora propone una serie de elementos relacionados con el impacto de los servicios y recursos de información en el logro de la misión y de los resultados que se esperan de una institución académica. En este sentido retoma, el aprendizaje, la investigación y los aspectos generales. En el caso del aprendizaje se incluyen aspectos que van desde el enrolamiento de estudiantes, su éxito académico y la retención, entre otros aspectos. En el caso de la investigación, se vincula con la productividad académica, la obtención de premios y los financiamientos. Todo ello dirigido a aumentan el prestigio institucional.

DESCRIPTORES: Evaluación integral; Impacto de la BA; Aprendizaje ; Investigación; Administración de BA; Éxito académico;

  • Powel, R. (2006). Evaluation research: An overwiew. Library Trends, 55(1), 102-120.

Los autores destacan las razones por las que es necesario evaluar:  organizaciones, operaciones, recursos, servicios, programas y políticas. Mencionan las características, principios y métodos para una buena evaluación. Los autores enfatizan el impacto de los resultados de valoración señalados por Bertor y McClure. Es importante tener en cuenta que la evaluación es un proceso sistemático que involucra la obtención de información sobre organizaciones, procesos, programas, servicios y recursos, el cual tiene por objetivo mejorar el conocimiento y la toma de decisiones. La principal aportación de este documento es la categorización de las distintas metodologías para evaluar.

DESCRIPTORES: Evaluación; Métodos cuantitativos; Planeación; principios;  Calidad y servicios; SERV-QUAL

  • Pritchard, S. M. (1996). Determining quality in academic libraries. Library Trends, 44(3), 572.

Este artículo es el uno de los más citados en la literatura sobre evaluación de BA, incluye una amplia revisión de la literatura que incluye las definiciones de calidad y efectividad, los modelos para evaluar bibliotecas; así como los componentes. Identifica que hay dos tipos de evaluación: las microevaluaciones y las que permite la comparación entre bibliotecas; en ambos casos la normatividad es un requisito indispensable para dar significados a los datos. Pritchard identificó los aspectos en los que se ha centrado la evaluación, siendo estos: desempeño, resultados y satisfacción de los usuarios. En relación a los datos estadísticos de la ARL, señala que es necesario que se revisen en función de los contextos específicos de cada biblioteca y de la normatividad. Un último aspecto importante del artículo es sobre la necesidad de que se diseñen y validen nuevos instrumentos de manera colaborativa.

DESCRIPTORES: Calidad-Concepto; Medición de la calidad; Evaluación de la efectividad; Criterios de evaluación; Modelos de evaluación; Normatividad para la evaluación; Evaluación multidimensional; Impacto de la evaluación

  • Thebridge, S., & Dalton, P. (2003). Working towards outcomes assessment in UK academic libraries. Journal of Librarianship and Information Science, 35(2), 93-104.

Reúne información sobre artículos relevantes y proyectos sobre valoración de resultados en Estados Unidos y Europa con especial atención al Reino Unido. Muestra claramente la tendencia de los países para hacer valoraciones a nivel nacional. Incluye definiciones y conceptos relativos a la evaluación y algunos ejemplos de instrumentos usados en proyectos específicos. Es una buena revisión de la literatura de Estados Unidos y Europa. Ayuda a entender con claridad los conceptos de evaluación y valoración.

DESCRIPTORES: Evaluación; Bibliotecas académicas; Proyectos nacionales; Europa; Estados Unidos; Reino Unido; Definiciones; Conceptos.


Guadalupe Vega

Personal académico de la Biblioteca Daniel Cosío Villegas, en donde me he desempeñado como catalogadora, docente, bibliógrafa y coordinadora. Actualmente soy Coordinadora de la Coordinación de Organización de la Información en la Biblioteca. Mis áreas de interés son la catalogación, RDA, Metadatos, comportamiento para la recuperación de la información y ALFIN.

More Posts

Follow Me:
Facebook

Guadalupe Vega

Personal académico de la Biblioteca Daniel Cosío Villegas, en donde me he desempeñado como catalogadora, docente, bibliógrafa y coordinadora. Actualmente soy Coordinadora de la Coordinación de Organización de la Información en la Biblioteca. Mis áreas de interés son la catalogación, RDA, Metadatos, comportamiento para la recuperación de la información y ALFIN.

También te podría gustar...

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.