Rankings: algunas dificultades no resueltas

Creado en Domingo, 01 Mayo 2016

Nuevamente el experto en planeación universitaria, Yezid Orlando Pérez Alemán, continúa su análisis sobre los rankings internacionales, y en esta ocasión señala técnicamente por qué no son la mejor forma de medir y advierte los pronunciamientos internacionales sobre qué hacer frente a los mismos.

En la anterior contribución, publicada en esta serie de ensayos académicos (Los rankings y la calidad de las instituciones de educación superior), se analizó el impacto de los rankings y si estos son una medida adecuada de la calidad de las instituciones de educación superior. La conclusión es que los rankings difícilmente pueden dar cuenta de la diversidad y de la riqueza de estas instituciones. 

Esto tiene que ver con inquietudes de diversa índole que ponen de presente las dificultades de estas mediciones (Dill, Soo, 2005), (Usher, Savino, 2006), (Hazelkorn,2008),(Hazelkorn, 2011), (Federkeil, van Vaught, Westerheijden, 2012), (Nian, Ying, 2007). Una de las primeras y fundamental es el hecho de que no pueden existir rankings absolutamente objetivos, en la medida en que cada productor de rankings define su paradigma de excelencia o de calidad,a partir del cual construye la medición. Los resultados que arroja cada ranking deben, pues, interpretarse en función de ello. Esto plantea una pregunta en términos de la legitimidad de los rankings,en la medida en que el productor es a su vez quien establece las reglas de juego y el árbitro que las pone en práctica. Así, una buena proporción de los rankings internacionales están orientados a la investigación y no pueden dar, por tanto, muy buena cuenta de las instituciones de educación superior concentradas fundamentalmente en la docencia. Aún más, muchos de ellos han reforzado la idea de priorizar un tipo particular de investigación, en especial aquella que logra ingresar en los circuitos internacionales de citación, de las publicaciones arbitradas, etc., y es por ende mucho más cuantificable. De esta manera la condición de ser cuantificable se convierte en la principal manifestación de la calidad de la investigación y,en consecuencia, de las instituciones de educación superior. Así por ejemplo, la dificultad para medir la investigación de carácter interdisciplinario o la que obedece a otras lógicas de difusión y divulgación diferente a las publicaciones periódicas, lleva a que estas manifestaciones puedan ser poco consideradas en los rankings.   

En segundo lugar, se pone de presente la dificultad de comparar diferentes instituciones con diferentes propósitos y objetivos institucionales, que operan además en diferentes entornos socio-económicos y culturales (Chubb, 2007), (Dill, 2009), (Huisman, 2009). Así, los rankings que propenden por una mayor diferenciación vertical terminan siendo utilizados como un mecanismo inapropiado para dar cuenta de la diferenciación horizontal de las instituciones de educación superior.

En tercer lugar, muchos de ellos consideran en sus mediciones aspectos reputacionales, que tienen de por sí grandes cuestionamientos acerca de su falta de objetividad, pero que de otra parte significan privilegiar el pasado sobre el presente la trayectoria sobre la capacidad innovadora actual. Existen pues, muchos casos ya emblemáticos en donde hechos del pasado de instituciones de larga trayectoria y de reconocimiento social tienen mayor peso en algunos rankings que los esfuerzos de nuevas instituciones. Otro caso paradigmático es el de rankings internacionales que concentran la medición en un alto porcentaje en la reputación de las instituciones en el mundo académico y entre los empleadores de sus egresados apelando a prácticas sin mayor sustento metodológico o incluso cuestionables desde el punto de vista ético (Huang, 2012).        

En cuarto lugar, los rankings plantean problemas de tamaño y de escala, pues están basados en indicadores que no logran neutralizar los efectos del tamaño de las instituciones y de sus posibilidades de acceso a recursos (Zitt, Filliatreau, 2007). De esta manera los rankings fortalecen la idea de que “más grande es mejor” y que finalmente se trata de un problema de acceso a recursos de financiación, con lo cual, por regla general, las instituciones de menor tamaño, con menores posibilidades de acceso a fuentes de financiación – públicas o privadas – se encuentran en desventaja frente a las de mayor tamaño. El énfasis en los recursos, en lugar de los resultados no parece justo al momento de reconocer la contribución o el esfuerzo que hacen las instituciones de educación superior en cumplimiento de sus propósitos institucionales.   

Finalmente, existe un grupo de inquietudes relacionadas con las dificultades de orden técnico y metodológico en su construcción (Sadlak, 2004), (Nian, Ying, 2007) referidas a aspectos tales como la validez de los indicadores utilizados; la forma en que se captura la información; las ponderaciones empleadas para llegar a un solo valor asignado a cada institución, en donde resulta inevitable que entren en juego los prejuicios o las orientaciones del productor del respectivo ranking; y, la tendencia a resaltar diferencias que son realmente mínimas cuando se ordenan las instituciones de forma ascendente en función del valor único obtenido, sin preguntarse en ningún momento qué grado de diferenciación es deseable o aceptable entre ellas.

Justamente a raíz de las debilidades encontradas en los rankings universitarios, el  International Ranking Expert Group(IREG) convocado por la UNESCO, adoptó en 2006 los denominados Principios de Berlín. Se trata de dieciséis postulados acerca de la calidad de los rankings universitarios en términos de sus propósitos y objetivos, el diseño y la ponderación de los indicadores, la recolección y el procesamiento de los datos de las instituciones y la presentación de los resultados (Sadlak, Nian, 2007). Una medida de la validez y la calidad de un ranking consistiría, entonces, en verificar el cumplimiento de estos principios.

Berlin Declaration of Rankings

Purposes and Goals of Rankings

1 Be one of a number of diverse approaches to the assessment of higher education inputs, processes, and outputs.Rankings can provide comparative information and improved understanding of higher education, but should not be the main method for method for assessing what higher education is and does. Rankings provide a market-based perspective that can complement the work of government, accrediting authorities, and independent review agencies.

2 Be clear about their purpose and their target groups.Rankings have to be designed with due regard to their purpose. Indicators designed to meet a particular objective or to inform one target group may not be adequate for different purposes or target groups.

3 Recognize the diversity of institutions and take the different missions and goals of institutions into account.Quality measures for research-oriented institutions, for example, are different from those that are appropriate for institutions that provide broad access to underserved communities. Institution that are being ranked and the experts that inform the ranking process should be consulted often.

4 Provide clarity about the range of information sources for rankings and the messages each source generates.The relevance of ranking results depends on the audiences receiving the information and the sources of that information (such as databases, students, professors, employers). Good practice would be to combine the different perspectives provided by those sources in order to get a more complete view of each higher education institution included in the rankings.

5 Specify the linguistic, cultural, economic, and historical contexts of the educational systems being ranked.International ranking in particular should be aware of possible biases and be precise about their objective. Not all nations or systems share the values and beliefs about what constitutes “quality” in tertiary institutions, and ranking systems should not be devised to force such comparisons.

Design and Weighting of Indicators

1. Be transparent regarding the methodology used for creating the rankings.The choice of methods used to prepare rankings should be clear and unambiguous. This transparency should include the calculation of indicators as well as the origin of data.

2. Chose indicators according to their relevance and validity.The choice of data should be grounded in recognition of the ability of each measure to represent quality and academic and institutional strengths, and not availability of data. Be clear about why measures were included and what they are meant to represent.

3. Measure outcomes in preference to inputs whenever possible.Data on inputs are relevant as they reflect the general condition of a given establishment and area more frequently available. Measures of outcomes provide a more accurate assessment of the standing and/or quality of a given institution or program, and compilers of rankings should ensure that an appropriate balance is achieved.

4. Make the weights assigned to different indicators (if used) prominent and limit changes to them.Changes in weights make it difficult for consumers to discern whether an institution´s or program´s status changed in the rankings due to an inherent difference or due to a methodological change.

Collection and Processing of Data

1. Pay due attention to ethical standards and the good practice recommendations articulated in these Principles.In order to assure the credibility of each ranking, those responsible for collecting and using data and undertaking on-site visits should be as objective and impartial as possible.

2. Use audited and verifiable data whenever possible.Such data have several advantages, including the fact that they have been accepted by institutions and that they are comparable and compatible across institutions.

3. Include data that are collected with proper procedures for scientific data collection.Data collected from an unrepresentative or skewed subset of students, faculty, or other parties may not accurately represent an institution or program and should be excluded.

4. Apply measures of quality assurance to ranking processes themselves.These processes should take note of the expertise that is being applied to evaluate institutions and use this knowledge to evaluate the ranking itself. Rankings should be learning systems continuously utilizing this expertise to develop methodology.

5. Apply organizational measures that enhance the credibility of rankings.These measures could include advisory or even supervisory bodies, preferably with some international participation.

Presentation of Ranking Results

1. Provide consumers with a clear understanding of all of the factors used to develop a ranking, and offer them a choice in how rankings are displayed.This way, the users of rankings would have a better understanding of the indicators that are used to rank institutions or programs. In addition, they should have some opportunity to make their own decisions about how these indicators should be weighted.

2. Be compiled in a way that eliminates or reduces errors in original data, and be organized and published in a way that errors and faults can be corrected.  Institutions and the public should be informed about errors that have occurred.

Fuente: (Sadlak, Nian, 2007)

Ante la falta de adecuación de los rankings internacionales a la realidad latinoamericana y del Caribe (Ordorika, 2011), un grupo de más de 70 universidades públicas y privadas de la región adoptaron en mayo de 2012 una declaración acerca de los rankings internacionales, su impacto, sus alcances y sus límites (UNAM, 2012). Dicha declaración reconoce en primer lugar la importante expansión de los sistemas de educación superior de la región en las últimas décadas, así como su amplia diversificación en términos de su oferta y de los objetivos y la misión de sus instituciones. Esto ha llevado entonces a una creciente preocupación por la calidad de la oferta académica, lo que ha dado lugar al surgimiento y fortalecimiento de sistemas de acreditación de calidad o de rendición de cuentas en diversos países de la región. Se reconoce además, que si bien se encuentran esfuerzos por impulsar la investigación y las relaciones con los sectores sociales y productivos, las universidades latinoamericanas privilegian ante todo la función docente, lo cual se explica por el compromiso histórico de estas instituciones en ofrecer formación en educación superior a los diferentes grupos sociales de su entorno. Con este trasfondo de la educación superior en América Latina y el Caribe las universidades de la región han manifestado de tiempo atrás sus preocupaciones acerca de los efectos indeseados de los rankings universitarios y el riesgo que estos entrañan de contribuir a la pérdida de identidad de la universidad latinoamericana en la medida en que su desempeño no logra ser recogido en ellos y se han dado a la tarea de proponer alternativas para la mejor comprensión y evaluación de la realidad de la educación superior (Ordorika, 2011).

En tal sentido, la Declaración de la UNAM hace una serie de consideraciones y recomendaciones dirigidas a las autoridades gubernamentales y los órganos legislativos, a las agencias productoras de rankings, a los medios de comunicación y las oficinas de comunicación al interior de las instituciones de educación superior y a éstas últimas en particular. Así, a las autoridades gubernamentales y a los órganos legislativos se les recomienda:(UNAM, 2012)

- Desarrollar políticas estratégicas y de largo alcance para fortalecer a las universidades de la región, contribuyendo a recrear identidades y proyectos universitarios acordes con las tradiciones históricas y los proyectos de desarrollo nacionales, manteniendo el acento sobre la prioridad formativa de la educación superior como herramienta para promover la inclusión, acortar brechas de desigualdad y, simultáneamente, promover el desarrollo económico.

- Impulsar el establecimiento de bases de datos públicas de información de alcance nacional y regional que permitan un conocimiento bien fundado de los sistemas, subsistemas e instituciones; que faciliten el establecimiento de análisis comparativos, cuando los casos sean contrastables, y que hagan posible diagnosticar tanto los problemas más relevantes como las áreas de oportunidad para el diseño de políticas públicas de largo aliento.

- Evitar tomarlos resultados de los rankings como elemento de evaluación del desempeño de las instituciones, para el diseño de políticas públicas para la educación superior, para el financiamiento y del sistema de estímulos e incentivos a las instituciones y al personal académico.

Al reconocer que las agencias productoras de los rankings se han convertido en un actor cada vez más importante en la educación superior la Declaración emite las siguientes recomendaciones para ellas:

-  Apegarse a los Principios de Berlin sobre los rankings de instituciones de educación superior.

- Considerar la inclusión, en los indicadores de calidad, de actividades y atributos tales como: la innovación en herramientas didácticas, las horas de especialización docente de los profesores, el número de profesores con posgrados o maestrías en educación superior y/o en formación didáctica avanzada; acciones de interventoría pública e intervención mediante proyectos, arbitraje, transferencia de conocimientos, evaluación de proyectos públicos y auditorías de calidad institucional y/o rigor metodológico sobre organismos públicos; proyectos de investigación aplicada y/o de innovación tecnológica involucrados en gestiones multiparte de desarrollo local, o con resultados en la agregación de valor y competitividad sobre la producción económica nacional y regional.

- Ampliar y profundizar la relación con las oficinas institucionales productoras de información estadística universitaria.

- Abrir periódicamente foros regionales e internacionales de debate sobre los rankings, a través de los cuales se convoque a las instituciones, a las comunidades académicas y a los especialistas interesados para la discusión de los métodos, datos e indicadores incluidos en los sistemas de clasificación, de modo que se aproveche esta instancia en la mejora sistemática de los rankings.

- Informar oportunamente sobre cualquier cambio introducido en la metodología del ranking, la ponderación de indicadores, la inclusión de nuevos datos, los cambios de fuentes, así como cualquier otra modificación que pueda implicar cambios en las posiciones ocupadas por las instituciones, atribuibles a modificaciones de diseño de los rankings.

La forma en que se difunden los resultados de los rankings es también determinante del impacto que estos tienen y es por ello que los medios de comunicación masivos, así como los internos de las instituciones cumplen una función crucial. A ellos la Declaración hace las siguientes recomendaciones:

- Una de las funciones principales de las universidades es contribuir a la información, análisis y comprensión de diversos fenómenos que afectan a la sociedad. Es por ello una obligación de las instituciones de educación superior brindar al público, a través de los medios, elementos que permitan un mejor entendimiento de las razones por las que se producen los rankings, sus características, objetivos alcances y limitaciones. También es fundamental una amplia divulgación de las tareas, actividades, productos y servicios que estas realizan y prestan.                              

- A los medios de comunicación se les solicita una aproximación informativa matizada y profunda al tema de los rankings. Es conveniente hacer compatible el interés y manejo periodístico sobre ellos, con una mayor capacidad explicativa y acotamiento del significado de cada una de las clasificaciones.

- Con el fin de contribuir y apoyar a los medios de comunicación en esta tarea informativa, se plantea la necesidad de un mayor acercamiento entre las oficinas de comunicación de las universidades y los diversos medios.

Finalmente, la declaración hace las siguientes recomendaciones a las instituciones de educación superior signatarias:

- Convocar a las instituciones de educación superior de la región para que, en el marco de la autonomía, generen y consoliden políticas y procesos de transparencia, rendición de cuentas, y acceso abierto a los productos, recursos materiales y servicios que se generan a través de las funciones de docencia, investigación, difusión, extensión, vinculación y servicios social, así como a aquellos de los que las instituciones son depositarias.

- Esta disposición abierta y de apoyo irrestricto debe ser una política estratégica que actualice la vocación de responsabilidad social de las instituciones, además de ser un medio propicio para incrementar la visibilidad internacional, la cooperación y el impacto académico y social; así,como un vehículo fundamental para ampliar los beneficios e impactos sociales de las tareas universitarias. Este enfoque no deberá tener más limitante que la debida protección a los derechos autorales y de datos personales.

Se aprecia entonces que los rankings internacionales cuentan aún con dificultades no resueltas, que deben ser tenidas en cuenta al momento de considerar sus resultados. Estas dificultades se hacen especialmente evidentes en el contexto latinoamericano, en donde los rankings no están en capacidad de reflejar el aporte que hacen las instituciones de educación superior, en ocasiones difícilmente cuantificable, y la riqueza de las mismas en nuestro medio. Es por ello que se impone una lectura crítica de los rankings a la luz de criterios objetivos como los que establece la Declaración de Berlín o los planteamientos de las universidades latinoamericanas signatarias de la Declaración de la UNAM.      

Referencias

Chubb, I. Distinguishing (Between) Universities. p. 245-256. En: Sadlak J. Nian, L. (eds.) The  World-Class University and Ranking: Aiming Beyond Status. Bucarest: UNESCO-CEPES, 2007.

Dill, D.D., Soo, M. Academic Quality, League Tables, and public Policy: A Cross-National Analysis of University Ranking Systems. En: Higher Education 49, 2005, 495-533.

Dill, D.D. Convergence and Diversity: The Role and Influence of University Rankings. p. 97-116. En: Kehm, B. M., Stensaker, B. (eds.) University Rankings, Diversity and the New Landscape of Higher Education. Rotterdarm: Sense Publishers, 2009.

Federkeil, G., Kaiser, F., van Vaught, F.A., Westerheijden, D.F. Background and Design.  P. 85-96. En: van Vaught, F.A., Ziegele, F. (eds.) Multidimensional Ranking. The Design and Development of U-Multirank. Drodrecht, Heidelberg, London, New York: Springer, 2012.  

Hazelkorn, E. Learning to Live with League Tables and Ranking: The Experience of Institutional Leaders. En: Higher Education Policy, 21, 2008, 193-215.

Hazelkorn, E. World-Class Universities or World Class Systems? Rankings and Higher Education Policy Choices. Dublin Institute of Technology. UNESCO Forum on Rankings and Accountability in Higher Education. 2011. 

Huang, M-H. Opening the Black Box of QS World University Rankings. En: Research Evaluation, 21, 2012, 71-78.

Huisman, J. The Bologna Process towards 2020: Institutional Diversification or Convergence? p. 245-262. En: Kehm, B. M., Stensaker, B. (eds.) University Rankings, Diversity and the New Landscape of Higher Education. Rotterdarm: Sense Publishers, 2009.

Nian, L., Ying, C. Academic Ranking of World Universities: Methodologies and Problems. p. 175-188. En: Sadlak J. Nian, L. (eds.). The World-Class University and Ranking: Aiming Beyond Status. Bucarest: UNESCO-CEPES, 2007.

Ordorika, I. Pertinencia de los rankings en la misión de las universidades. Universidad Nacional Autónoma de México. 2011. 

Sadlak, J. Ranking and League Tables of Universities and Higher Education Institutions - Methodologies and Approaches - Collection of Texts. Washington: UNESCO-CEPES, 2004.

Sadlak, J. Nian, L. (eds.). The World-Class University and Ranking: Aiming Beyond Status. Berlin Principles on Ranking of Higher Education Institutions. Bucarest: UNESCO-CEPES, 2007. p. 25-28.

Universidad Nacional Autónoma de México. Declaración final del Encuentro las universidades latinoamericanas ante los rankings internacionales: impactos, alcances y límites. 17 y 18 de mayo de 2012.

Usher, A., Savino, M. A Word of Difference. A Global Survey of University League Tables. Educational Policy Institute. Canadian Education Report Series. 2006.

Zitt, M., Filliatreau, G. Big is (Made) Beautiful - Some Comments about  the Shanghai-Ranking of World–Class Universities. p. 147-165. En: Sadlak J. Nian, L. (eds.). The  World-Class University and Ranking: Aiming Beyond Status. Bucarest: UNESCO-CEPES, 2007.

-----------

Yezid Orlando Pérez Alemán es ingeniero industrial de la Pontificia Universidad Javeriana con Doctorado en Economía de la Technische Universität Darmstadt, en Alemania. Cuenta con una larga trayectoria como profesor universitario. Ha ocupado cargos directivos de gestión académica y administrativa en instituciones de educación superior y en temas de planeación estratégica y de acreditación y aseguramiento de calidad en este tipo de instituciones. Ha sido par académico del Consejo Nacional de Acreditación (CNA), evaluador de publicaciones científicas y tecnológicas internacionales y participante en proyectos en educación superior del Centro Interuniversitario de Desarrollo (CINDA), entre otras actividades.

Información de referencia: Rankings universitarios: una radiografía para especialistas, por Ignacio Mantilla