MIDE: Ninguna metodología valora bien en una sola dimensión IES con calidad multidimensional

Creado en Sábado, 25 Julio 2015

 

El académico Galo Adán Clavijo Clavijo reflexiona sobre el MIDE y advierte sobre la necesidad de que estos modelos desarrollen correctamente los juicios a que se llega por el hecho mismo de hacer un ranking, cuidando que se tenga en cuenta el contexto de las IES que se comparan para cuidar la equidad, y cómo se tienen en cuenta las consecuencias, previstas o no, de los rankings.

Modelo de Indicadores de Desempeño de la Educación.

En 15 de julio de 2015 el Ministerio de Educación Nacional presento el Modelo de Indicadores de Desempeño de la  Educación, MIDE. Sin el propósito explícito de conformar un rankig de las IES colombianas – Universidades e Instituciones Universitarias-, lo planteado por el MEN y lo  comunicado a la opinión publica si constituye una clasificación. La prensa  lo ha denominado un escalafón (El Tiempo.  Sección debes saber. 2015: 12).

El modelo multidimensional de medición de calidad está conformado por 6 dimensiones compuestas por 18 variables y sus correspondientes pesos tal como se muestra en el cuadro. Los indicadorenca son completos ni perfectos. MIDE informa los resultados de 187 instituciones de 288, es decir, el 64,9%, dejando en la incertidumbre el 35,1% de las IES.  Se ordenaron en un listado general y en cuatro listados que diferencian el tipo de institución según la clasificación Carnegie (Wasserman, M: 2015) y  pueden ser consultados en www.colombiaprende.edu.co/mide

 

Dimensiones

Variables

Peso %

Desempeño

Razonamiento cuantitativo

Lectura crítica

Competencias específicas

25

 

Docencia

 

Docentes con postgrado

Docentes con doctorado

Relación alumno-docente

20

 

 

Investigación

Investigadores Colciencias

Obras artísticas/docentes Citas/docentes

Artículos/docentes

Patentes/docentes

20

 

Egresados

Salario de enganche

Empleabilidad

Paso a postgrados

15

Internacionalización

Inglés

Coautorías internacionales

10

Presencia y atracción

Generación de ingresos

Permanencia

10

 

 

 

 

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

El  documento conceptual técnico del MIDE, que no se ha hecho público, consiste en la colombianización de la propuesta desarrollada por The Carnegie Foundation for the Advancement of Teaching(Carnegie : 2004) y que se resume en la clasificación de las universidades e instituciones universitarias colombianas en cuatro categorías: IES con enfoque Doctoral; IES con enfoque de Maestría; IES con enfoque de Pregrado e IES con enfoque Especializadas. (Observatorio de la Universidad Colombiana.  2015)

Medir nuestras universidades es importante, pues les da información a padres y jóvenes para que tomen decisiones, y muestra a las universidades objetivamente dónde están, para poder mejorar. Si queremos ser un país en paz y equidad, es fundamental la construcción de una sociedad del conocimiento, en donde la marca sea la excelente calidad de la educación, para todos, y no para unos pocos privilegiados. Sin información, los pobres estudian con mala calidad y los ricos pagan por buena calidad. (Parody, G.: 2015)

Lo realizado por MIDE ha dejado en entredicho las clasificaciones surgidas desde la vigencia de la Ley 30 de 1992 cuando las únicas formas de clasificar, mas no de rankear las IES, era por su tipología o naturaleza jurídica (pública o privada), y tras la aparición del Sistema Nacional de Acreditación, por programas académicos y acreditación institucional.

Los rankings se diseñan de acuerdo a un modelo de universidad predefinido por la entidad o los productores del ranking. De manera curiosa, todos se acercan al modelo norteamericano de “universidad para la investigación”

Es importante que desde el Ministerio de Educación Nacional y las IES se trabajen en un dialogo inteligente, académico y participativo los siguientes interrogantes con el propósito de precisar un modelo de universidad para la Colombia del tercer milenio.

¿Qué nación y país se espera construir para una sociedad prospera, equitativa y en paz?

¿Qué Universidad se desea para la sociedad colombiana del tercer  milenio y en paz?

¿En qué y cómo la universidad puede participar en la reconstrucción  de un proyecto de sociedad para el presente milenio y en paz?

¿Cómo se han de formar los ciudadanos para esa nueva sociedad?

En relación con la metodología de construcción de rankings como un ejemplo de modelación matemática de la realidad, se han emitido opiniones muy diversas que oscilan entre las que los consideran resultados concluyentes y las que los desestiman radicalmente al amparo de tesis filosóficas que, desde hace centurias, han sostenido que los hechos humanos y sociales son, por su naturaleza intrínseca, no mensurables. Frente a este debate que todavía tiene fuertes repercusiones entre los científicos sociales se sostiene una posición teórica alternativa que parte de la distinción entre propiedades de lenguaje y propiedades de la realidad social o natural. En este sentido la tesis es que a las propiedades y procesos que constituyen el mundo real no le son aplicables los predicados cuantitativo y cualitativo sino al lenguaje que se  utiliza para describir esos procesos. Por tanto, la metodología de elaboración de un ranking no reduce a números a la universidad ni a entidad alguna, simplemente utiliza un lenguaje distinto al lenguaje social o natural, que es el lenguaje matemático, para describir hechos con la intención de lograr mejores aproximaciones a lo que realmente ocurre, mayor precisión y univocidad en la comunicación de contenidos significativos y mayor operatividad para someter los resultados a refutación o confirmación de quien desee contrastarlos con los hechos. Así se facilita la identificación de los errores y la producción de estrategias precisas que permitan superarlos

El campo de los rankings de universidades e instituciones universitarias es un escenario de confrontación entre la perspectiva neoliberal (frecuentemente también tecnológica) de la educación y las perspectivas críticas. Aquí, la función que están cumpliendo estos sistemas de evaluación comparativa es triple: una primera de tipo funcionalista —que reproduce la estructura social, sus cargos, responsabilidades, etc, una segunda que denomina como de “movilización del sesgo”, el cual puede ser tanto negativo (estigma) como positivo (reconocimiento). Finalmente, una tercera de tipo ideológico, que implica la naturalización de las prácticas de medición en las universidades, sin cuestionar la manera como se ha construido el indicador ni sus efectos. (Lozano Escobar, J.O. 2015: 34-51).

En Colombia lamentablemente hay un mito muy difundido por los medios de comunicación y por quienes tienen voz privilegiada en ellos, y se  denomina el mito del sobrediagnóstico y consiste en la afirmación que dice que el sistema educativo ya ha sido excesivamente investigado y diagnosticado y lo que falta es acción. Sin embargo, lo que saben los exiguos núcleos que hacen investigación educativa  es que el conocimiento del sistema educativo es más limitado aún que el que tenemos de otros aspectos de nuestra realidad. No se tiene ni siquiera cifras estables de cuántos programas académicos están en funcionamiento, de cuántas escuelas unidocentes y polidocentes funcionan en áreas rurales, de cuántos doctores (genuinos) existen en la universidad colombiana y entre las autoridades que conducen el sistema educativo, de cuántos programas de maestría y de doctorado funcionan satisfaciendo requisitos mínimamente aceptables por la comunidad académica internacional.

Dentro de los indicadores  ocupan un lugar especial los denominados cientométricos, los mismos que se originan en un esfuerzo de la OCDE por lograr obtener parámetros que permitan una comparación fiable entre países que tienen muy diversos grados de desarrollo científico. Estos trabajos se inician en los años ‘70 con el denominado Manual de Frascatti que propone un conjunto de indicadores de investigación y desarrollo que utilizan los Centros de Información y los investigadores interesados en la medición y comparación del desarrollo científico de los países miembros de la OCDE y de la comunidad internacional. El Manual de Frascatti ha sido objeto de sucesivas revisiones que han dado lugar a los denominados manuales de Lisboa, Oslo, Camberra y Bogotá. Es del caso mencionar que son justamente los indicadores cientométricos los que colocan en situación muy precaria a las universidades de los países en desarrollo, como Colombia; cuando se las somete a los criterios de evaluación usados en la construcción de rankings internacionales.

De manera paralela se ha intensificado en América Latina el interés de las universidades y de los gobiernos en  la acreditación que garantice niveles adecuados de calidad de los servicios que brindan las instituciones educativas. Esta orientación del control social de la calidad de la educación está centrada principalmente en las universidades que generalmente constituyen un nivel autónomo que no está sujeto a mandato imperativo de los gobiernos para el desarrollo de sus actividades académicas y administrativas. A lo anterior se suma el hecho de que las universidades latinoamericanas han crecido explosivamente. Una consecuencia de este crecimiento ha sido, obviamente, el incremento de la cobertura pero al costo de  un deterioro severo de la calidad como consecuencia de la escasez de recursos financieros y de capital humano en relación con las necesidades generadas por la masificación de las universidades y la consolidación de megauniversidades.

Bajo estas condiciones, la acreditación ha sido visualizada como el mecanismo más adecuado para regular la calidad de los servicio de la educación superior sin afectar la autonomía  universitaria. De esta manera se entiende que la acreditación carezca de relevancia en la educación básica y media debido a que en ningún Estado nacional se discute la facultad de los gobiernos de, a través de sus ministerios de educación, normar, dirigir y supervisar el sistema de educación básica y media.

En Colombia con la ley 1740 de 2014 “Por la cual se desarrolla parcialmente el articulo 67 y los numerales 21, 22 y 26 del artículo 189 de la Constitución Política, se regula la inspección y vigilancia de la Educación Superior, se modifica parcialmente la Ley 30 de 1992 y se dictan otras disposiciones”; la acreditación obligatoria para las Licenciaturas;  el sistema nacional de educación terciaria; el MIDE y   la creación de la Superintendencia de Educación Superior  están modificando la Ley 30 de 1992 y afectando gravemente la autonomía universitaria.

Hay otro ranking universitario con el Programa Ser Pilo Paga (beneficiadas las instituciones con acreditación institucional); la orientación del financiamiento a las IES públicas; y la política pública contenida en el Plan Nacional de Desarrollo de orientar, a partir del 2018, los créditos del ICETEX a instituciones universitarias con acreditación institucional y voluntaria, ameritan un dialogo abierto, constructivo  y sincero entre en el MEN, ASCUN; ACIET; los directivos, profesores y estudiantes.

No se trata de dejar de evaluar ni de diseñar escalafones en los que las instituciones de educación superior queden bien posicionadas (lo que se conoce como endogamia académica), pero sí de cuestionar y discutir los criterios con los que se deben construir rankings, o adaptar los existentes, y de identificar su utilidad en mejora de la calidad de la educación superior.

De la evaluación

La evaluación puede ser un estímulo poderoso para el mejoramiento institucional, pero si no se hace bien puede llevar también a decisiones equivocadas e injustas y a consecuencias negativas. La evaluación no es un fin en sí misma. Tiene sentido en la medida en que ofrece información que, por su calidad y pertinencia, constituya un elemento que ayude a mejorar, sea por la retroalimentación que ofrece para reorientar esfuerzos (evaluación formativa) sea por su uso para asignar estímulos o sanciones, con la prudencia debida (evaluación sumativa). Estas consideraciones son especialmente importantes cuando a los resultados de la evaluación del desempeño o la calidad institucional se asocian decisiones fuertes, por ejemplo sobre financiamiento, como está ocurriendo con las evaluaciones que consisten en los llamados rankings de universidades.

“La evaluación de la calidad de la educación (superior o de otro tipo) no puede disociarse de consideraciones de pertinencia y relevancia, esto demanda que sea contextualizada. Así, no puede pensarse en aplicar sistemas rígidos de criterios de validez supuestamente ‘universal’, sino sistemas ‘flexibles’. [...] La flexibilidad debe entenderse asociada a diferenciación” (Mato, D).

¿Cómo medir algo tan intangible como la calidad de una Universidad? La respuesta corta, por supuesto, es que no se puede. Lo que se puede hacer, sin embargo, lo que se trata de hacer con estos rankings, es tratar de capturar los elementos más tangibles y medibles que hacen una universidad moderna de clase mundial.

Como toda evaluación, un ranking implica identificar ciertos evaluandos; definir en qué consiste su calidad y precisar el referente con que se contrastará la situación de los evaluandos; operacionalizar el concepto de calidad precisando dimensiones e indicadores y medirlos confiablemente; contrastar el resultado de la medición con el referente y formular un juicio de valor ponderado. En concreto, para que un ranking se pueda considerar de buena calidad, deberá atender los siguientes puntos (Martínez Rizo, F):

• Identificación clara de los evaluandos: las instituciones, unidades o programas a evaluar.

• Definición precisa de la noción de calidad que se espera tengan los evaluandos para que se les pueda considerar buenos, precisando sus dimensiones y los indicadores de cada dimensión, para que sea posible apreciar si los rankings tienen validez.

• Calidad de la información que se utilice para cada indicador, identificando las fuentes y formas en que se obtiene, para poder apreciar si las mediciones tienen confiabilidad y si, con base en ellas, se pueden comparar de manera consistente diferentes evaluandos.

• Justificación sólida de la forma en que se agregarán las mediciones de los indicadores de modo que se generen puntajes en una sola escala en que se ubicarán los evaluandos, para apreciar si se justifica el tratamiento de la calidad como unidimensional y si se hace de manera consistente.

• Suficiente precisión de las mediciones, de manera que sea posible apreciar si la diferencia que distingue a unos evaluandos de otros es o no significativa y consistente, de manera que tenga sentido hacer rankings en los que se distingue uno a uno el lugar que ocupan los evaluandos.

• Identificación de los estándares de referencia, en comparación con los que se juzgará si un evaluando debe o no ser considerado de buena calidad.

• Consistencia de los resultados y las tendencias resultantes.

• Correcta formulación de los juicios a que se llega por el hecho mismo de hacer un ranking, cuidando que se tenga en cuenta el contexto de las instituciones que se comparan para cuidar la equidad, y cómo se tienen en cuenta las consecuencias, previstas o no, de los rankings.

Al valorar la calidad de un ranking se pueden distinguir dos preguntas: una, si se basa en datos objetivos o en opiniones; otra, en uno y otro caso, si la información es sólida

Actualmente, como se ha visto, los rankings tienden a combinar las opiniones subjetivas sobre el prestigio con algunos datos objetivos, en general sobre recursos o insumos institucionales que se pueden obtener con facilidad, como la ratio de alumnos por profesor; la proporción de profesores de tiempo o de asignatura; de personal con doctorado o sin él; el número de volúmenes en biblioteca; o el puntaje mínimo que un aspirante debe obtener en la prueba de ingreso para ser admitido.

Estos datos de carácter más objetivo parecen más sólidos que los que se basan en opiniones subjetivas, pero tienen el problema de que no miden la calidad de la institución o programa al que se refieran, sino sólo su riqueza, su dotación de recursos. Sin duda hay cierta asociación entre la abundancia o escasez de recursos y la calidad de una institución o programa, pero esa relación no es unívoca ni lineal. Hay instituciones bien dotadas pero mediocres o francamente malas, y las hay modestas y excelentes, y para distinguir unas de otras no basta medir insumos. En el caso de la docencia, por ejemplo, para saber si los recursos institucionales, pocos o muchos, son usados eficientemente, serían necesarios datos confiables sobre el nivel de competencia de los egresados, después de descontar el nivel que tenían al entrar a la institución, y teniendo en cuenta la deserción. Todos estos datos no están disponibles actualmente, desde luego, ni es probable que lo estén en una escala que rebase la de unos cuantos proyectos de investigación bastante complejos.

En la construcción de los rankings es preciso tener en cuenta el papel que juegan los siguientes actores:

· La OMC, el Banco Mundial, el FMI, como instrumentos de los grandes grupos inversionistas que intentan entrar en el mercado de la educación superior desde hace tres décadas.

· La OCDE, y autoridades educativas de la Unión Europea, Estados Unidos y ministerios de educación de los países que descuidan la misión social, la filantropía, la producción de conocimiento orientado a resolver problemas nacionales y  locales y de las comunidades, etc., entre sus políticas educativas.

· Las universidades e instituciones encargadas de la medición internacional de la calidad de las universidades, orientados prácticamente solo por el prestigio, riqueza y producción académica de sus profesores. (Lozano Escobar, J.O: 2015)

Conclusiones

En ausencia de evaluaciones se tiende a tratar a todas las instituciones por igual, lo que no parece correcto; pero con base en evaluaciones no adecuadas ocurre algo peor: las diferencias de trato no tienen qué ver con méritos objetivos, sino ilusorios. El resultado podrá ser que lo bueno tienda a deteriorarse, lo consolidable no madure y lo deficiente permanezca y empeore.

Evaluar bien la calidad de las instituciones de educación superior no es imposible, pero implica acercamientos que no se reduzcan al simplismo de los rankings comunes. Sólo con una gama de acercamientos complementarios podrá tenerse una aproximación razonablemente completa a algo tan complejo como la calidad de una universidad.

Contra lo que pretenden el Ministerio de Educación Nacional y  los medios de comunicación, los rankings  de universidades e instituciones universitarias o de programas particulares tampoco son apropiados para orientar a los futuros estudiantes en la delicada tarea de escoger la institución y programa en que tratarán de ser admitidos. Si se tiene en cuenta que no existe la mejor universidad ni el mejor programa en absoluto, sino que hay programas más o menos adecuados para ciertos aspirantes, se entenderá que los rankings más conocidos no sustituyen a un buen sistema de orientación vocacional.

Ninguna metodología podrá valorar bien en una sola dimensión instituciones cuya calidad, en sentido global, es eminentemente multidimensional. Más factible será evaluar unidades, funciones o aspectos de una universidad cuya calidad se pueda definir razonablemente como unidimensional. Suponiendo que se haga con una metodología adecuada no parece absurdo comparar entre sí, por ejemplo, carreras de medicina o de trabajo social, doctorados en ingeniería o en antropología, o grupos de investigación sobre cáncer pulmonar o sobre las metodologías de enseñanza de la lectura.

BIBLIOGRAFÍA

El Tiempo. Lo bueno, lo malo y lo feo del escalafón de Mineducación. Sección debes saber P.12 Bogotá, Julio 19 de 2015

Lozano Escobar, J.O. Tendencias alternativas en lasuniversidades latinoamericanas y suinfluencia en la Universidad Nacionalde Colombia. Proyecto Visión 2034. Visión 2034. Aportes para la construcción de la visión y el plan prospectivo de la Universidad Nacional de Colombia al año 2034 Vol.1 P. 34-51. Bogotá, 2015

Martínez Rizo, F. Los rankings de universidades: una visión crítica. Revista de la educación. Superior.  Vol.40 no.157 México ene./mar. 2011 Consultada el 18 de juliode2015.En http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S018527602011000100004

Mato, Daniel. Las universidades indígenas en América Latina: logros, problemas y desafíos. Revista Andaluza de  Antropología1 (2011). Disponible en: http://www.revistaandaluzadeantropologia.org/uploads/raa/n1/dmato.pdf. Consultada julio 19 de 2015

Observatorio de la Universidad Colombiana. Mide es perjudicial para el sistema de educación superior colombiano. En http://www.universidad.edu.co/index.php?option=com_content&view=article&id=5913:2015-07-21-10-18-10&catid=16:noticias&Itemid=198. Consultada el 21 de julio de 2015

Parody, Gina. El “ranking” de las  universidades Miremos más allá del ombligo. El Tiempo. P. 14 Bogotá, Julio 23 de 2015

The Carnegie Classification of Institutions of Higher Education. With a foreword by  Lee S. Shulman. 2000 Edition. The  Carnegie Foundation for the Advancement of  Teaching. October 29 de 2004

Wasserman, Moisés. Calidad de la educación. ¿Qué mide el Mide?. El Tiempo. P.15. Bogotá. Julio 24 de 1015.