1

Vroeijenstijn, A. I. (1995), Improvement and Accountability: Navigating between Scylla

and Caribdis, London: Jessica Kingsley

CAPÍTULO 1: EL NUEVO INTERÉS POR LA EVALUACIÓN DE LA CALIDAD DE LA EDUCACIÓN

SUPERIOR. TRADUCCIÓN DEL EQUIPO TÉCNICO CONEAU.

Actualmente existen numerosas discusiones acerca de la calidad. En varios países la

educación superior está envuelta en un debate sobre la calidad. Los Gobiernos presionan a las
instituciones de educación superior para que presten mayor atención a la calidad y respondan
por ella.

El mensaje suele ser: mayor autonomía y libertad para las instituciones de educación superior
sujeto a que la calidad esté garantizada por un sistema de evaluación externa de la calidad
(EEC) bueno y funcional que no sólo contribuya a mantener y mejorar la calidad sino que
también permita al público tener un panorama acerca de la calidad. Entonces, en muchos
países los gobiernos y las instituciones de educación superior están reflexionando sobre el
diseño de un sistema de EEC.

Antes de poder diseñar un sistema de evaluación de la calidad es necesario enfrentar algunas

cuestiones para prevenir discusiones innecesarias y debates no deseados. Deben tomarse
decisiones para prevenir obscuridad o desacuerdos. En este capítulo se tratarán las siguientes
preguntas:
- ¿Por qué se le está prestando tanta atención a la calidad?
- ¿Qué puede esperarse de la evaluación externa de la calidad?
- ¿Qué es la calidad?
- ¿Cuál es la relación entre nivel, estándares y calidad?
- ¿Puede medirse la calidad? ¿Cuál es el papel de los indicadores de desempeño?
- ¿Cómo se puede elegir entre evaluación institucional, departamental o de programas?
- ¿Deben ser evaluadas en conjunto la enseñanza y la investigación?
- ¿Debe haber una conexión con el financiamiento?
- ¿Qué es más apropiado: una evaluación horizontal y comparativa o una evaluación
individual?
- Gobierno e instituciones de educación superior: ¿enemigos o aliados?

Al final de este capítulo se darán algunos principios básicos para un sistema de evaluación
externa de la calidad.

1.1 ¿Por qué se le está prestando tanta atención a la calidad?

Actualmente la calidad es centro de atención de todo el mundo. Se habla de ella en todos los
sectores de la sociedad: industria, centros de servicios, hospitales y, desde luego, la educación
no puede escapar. Existen muchas discusiones públicas sobre la calidad de la educación (o
mejor dicho sobre la supuesta falta de calidad), incluida la educación superior.

Se le está prestando tanta atención a la calidad que la gente puede llegar a creer que es una
invención de la última década y que antes de 1985 no existía la noción de calidad. Pero, por
supuesto, esto no es cierto. El concepto de calidad no es nuevo: ha sido siempre parte de la
tradición académica. Es el mundo exterior el que ahora enfatiza la necesidad de que se le
preste atención de manera explícita a la calidad. Se pueden dar varias razones:
- Desde 1950 se ha hablado de la educación superior masiva. Día a día mas estudiantes se
inscriben en instituciones de educación superior, causando presiones en los presupuestos
 2

nacionales. El gasto por estudiante ha disminuido y el gobierno debe garantizar a la

sociedad que esto no pone en peligro a la calidad. Este problema se ve agravado por las
recesiones económicas. Los gobiernos, en nombre de la sociedad, requieren una mejor
comprensión de los costos y beneficios de la educación superior. Desde su punto de vista,
la educación superior o cuesta demasiado o no es lo suficientemente eficiente (Moodie
1986, Barnett 1992).
- La relación entre la educación superior y la sociedad ha cambiado en las últimas décadas.
La sociedad se ha interesado cada vez mas en la educación superior. La relación entre la
educación superior y el mercado laboral se ha convertido en un tema de discusión. En
algunas disciplinas -por ejemplo en las ciencias sociales, psicología e historia- hay
muchos estudiantes, pero pocos trabajos disponibles. Las cifras de desempleo son altas.
En otras disciplinas -como ingeniería- existe a menudo una falta de estudiantes y la
sociedad podría beneficiarse de una mayor cantidad de graduados. Dicha situación
presiona a la educación superior a que dirija el flujo de estudiantes hacia la dirección
deseada.
- La calidad es algo cada vez más importante para las instituciones de educación superior,
ya que la pregunta es si todavía es posible brindar la misma calidad bajo las mismas
condiciones. Desde 1950 se puede hablar de un "hueco de calidad": por un lado, los
gobiernos se esfuerzan en incrementar el número de estudiantes (educación superior para
tantos como sea posible) y por otro lado vemos una disminución constante en las
inversiones. Las instituciones de educación superior deben hacer más con menos dinero.
Pero al mismo tiempo se espera que la calidad se mantenga o mejore (Barnett 1992).
- El intercambio de estudiantes y la cooperación internacional requieren comprender a la
calidad. Siempre ha existido un intercambio de estudiantes entre países. Sin embargo,
desde la introducción de programas como ERASMUS, se ha tornado cada vez más claro
que es muy importante tener información sobre la calidad de otras facultades. Se deben
responder ciertas preguntas, tales como ¿puedo reconocer este curso? o ¿es lo
suficientemente bueno?. Asimismo, la Unión Europea con su abierto mercado laboral
necesita comprender la calidad de la currícula y estándares de los graduados.
- Los gobiernos siempre se han asignado un fuerte papel de conducción en el desarrollo de
la educación superior. El pensamiento dominante era que debería ser posible desarrollar
educación superior a través de regulaciones detalladas. Desde 1980 los gobiernos han
abandonado la idea de la “sociedad posible” y ha surgido una nueva filosofía sobre las
políticas de educación superior. Esta nueva filosofía también tiene sus orígenes en que
con el acceso masivo a la educación superior el sistema se ha vuelto tan complejo que el
control central se ha tornado ineficiente. Asimismo, los rápidos cambios del
conocimiento científico y tecnológico necesitaban un sistema mas flexible para hacer
posible la toma de decisiones a nivel local (institucional). Por ende, los gobiernos de
muchos países europeos están dando un paso atrás y prometen mayor autonomía a la
educación superior. Sin embargo, como contraparte, los gobiernos requieren garantía de
la calidad.

En síntesis, la sociedad exige rendición de cuentas y garantía de calidad y pide valor por
dinero. Los gobiernos están dispuestos a otorgar mayor autonomía institucional, siempre y
cuando la calidad esté garantizada. Por ello, vemos en muchos países discusiones sobre
calidad, mantenimiento de la calidad, garantía de calidad y evaluación.

1.2 Autonomía y garantía de calidad: las dos caras de la moneda

Como se ha señalado en el punto 1.1, el cambio en las actitudes de los gobiernos con respecto
a las políticas de educación superior es una de las razones de la creciente atención que se le
presta a la calidad y a la evaluación de la calidad en el mundo. Este hecho puede observarse
 3

en muchos países europeos. Vamos a bocetar la situación en los Países Bajos como ejemplo,
pero el lector reconocerá las ideas de su propio gobierno.

Con las políticas de educación superior del gobierno holandés comenzó, en 1985, una nueva
era en la educación superior. El Ministro de Educación Superior y Ciencia publicó el
documento sobre políticas "Educación Superior: Autonomía y Calidad" (HOAK)1. Ya se ha
publicado mucho sobre el contenido y las consecuencias de este documento (ver, por ejemplo,
van Vught 1988, 1989).

Se ha dado el siguiente análisis:

En el documento HOAK sobre políticas el ministro presentó una nueva estrategia
gubernamental de educación superior. Esta nueva actitud indica una ruptura
importante con la estrategia gubernamental tradicional, que era de detallado
planeamiento y control. En los años anteriores a 1985 el gobierno intentó dirigir al
sistema de educación superior con regulaciones estrictas y mecanismos de control
extensos. El gobierno se veía a sí mismo como un actor omnipotente que pensó que
era capaz de guiar al sistema de educación superior de acuerdo a sus propios objetivos.
La nueva estrategia parece ser un cambio importante. A través del fortalecimiento de
la autonomía de las instituciones de educación superior, el gobierno afirma que ha
creado condiciones fructíferas para aumentar el poder de adaptación y flexibilidad de
las instituciones de educación superior para responder a las necesidades de la
sociedad.
Fortaleciendo la autonomía institucional, el gobierno también afirma que estimula los
niveles de calidad y la diferenciación del sistema de educación superior. La nueva
estrategia de gobierno esta basada en la idea de que el incremento de la autonomía
institucional da como resultado una mejora en la calidad del sistema de educación
superior. (Maassen and van Vught 1989 pp.113-128).

Pero en relación con la autonomía de las instituciones de educación superior, surge la

pregunta de si esta autonomía es real o si es una autonomía falsa o limitada. Se ha prometido
autonomía y auto-regulación a las instituciones de educación superior, pero al mismo tiempo
el gobierno le ha impuesto límites: "Ciertas formas de comportamiento por parte de las
instituciones no pueden ser permitidas" (Maassen and van Vught 1989). El gobierno tiene sus
propios objetivos para la educación superior y todavía desea conducir su desarrollo. En vez de
otorgar responsabilidades a las instituciones de educación superior y luego dar un paso al
costado, el gobierno tiene una actitud de "control remoto". En vez de ser autónomas, las
universidades holandesas están en inminente peligro de convertirse en marionetas.

De acuerdo al documento HOAK, la calidad era responsabilidad de las instituciones de

educación superior y, por ende, responsables de sus propias evaluaciones internas. Ellas
debían informar sobre sus evaluaciones en informes anuales. Sin embargo, el gobierno sintió
la necesidad de una evaluación independiente del desempeño de las instituciones de
educación superior. Esto debía ser realizado por expertos independientes y por una autoridad
independiente. El gobierno se decidió por un sistema de Comités de Revisión organizados por
un Inspectorate for Higher Education – Inspectoría para la Educación Superior - (Ministerie
van Onderwijs en Wetenschappen 1985) y subsecuentemente el Inspectorate for the
Universities (Inspectoría para las Universidades) fue creado en 1985, sumado al ya existente

1
Higher Education: Autonomy and Quality (HOAK) (Ministerie van Onderwijs en Wetenschappen 1985).
 4

Inspectorate for Higher Vocational Education – Inspectoría para la Educación Superior

Vocacional - (HBO)2.

La tarea de la Inspectoría era:

1. organizar y promover la evaluación externa de la calidad
2. estar informado sobre el estado del sistema de educación superior, realizando -entre otras
tareas- visitas a las instituciones
3. supervisar el cumplimiento de normas y regulaciones
4. aconsejar al ministro y formular propuestas
5. contribuir al desarrollo de la educación superior.

En síntesis, podemos decir que se estableció que la evaluación interna de la calidad era
responsabilidad de las instituciones de educación superior y que la evaluación externa de la
calidad era responsabilidad de la Inspectoría. Sin embargo la realidad fue diferente. Las
universidades, al amparo de la recientemente fundada Asociación de Universidades de los
Países Bajos (VSNU), no se quedaron calladas. Dieron la bienvenida a tener mas autonomía y
libertad para sus programas. La autonomía y la libertad, como dos caras de una moneda, no
fueron discutidas. Pero las instituciones de educación superior no podían aceptar que la
evaluación externa de la calidad fuera la tarea de una autoridad ajena a las propias
instituciones. De acuerdo con la opinión de las universidades, calidad y evaluación de la
calidad, incluyendo la parte externa, son principalmente responsabilidad de las propias
instituciones. Las instituciones de educación superior debían ser las "dueñas" del sistema, no
el Ministerio o la Inspectoría.

En una reunión entre el Ministerio de Educación Superior y Ciencias y las instituciones de

educación superior, llevada a cabo en abril de 1986, se acordó que las instituciones se harían
cargo de la evaluación de la calidad a través de la evaluación. Lo harían a través de
evaluaciones periódicas de la calidad, internas y externas. Las instituciones desarrollarían un
sistema de evaluación externa de la calidad coordinado y público, enfocado en las tareas
principales de las instituciones: educación, investigación y servicios públicos.

Estos acuerdos fueron enmendados en la Ley de Educación Superior e Investigación. El

artículo 1.18 dice:
1. La administración de una institución ... deberá asegurar que se establezcan las
condiciones, en lo posible en colaboración con otras instituciones, para una evaluación
periódica, realizada en parte por expertos independientes, de la calidad del trabajo de
la institución. La evaluación de las instituciones de educación superior deberá incluir
la opinión de los estudiantes sobre la calidad de la enseñanza en la institución.
Cuando la evaluación sea llevada a cabo por expertos independientes, los resultados de
dicha evaluación deberán ser hechos públicos.
2. Nuestro Ministro supervisará la implementación de lo establecido en la subsección 1.
El podrá solicitar que se realice un estudio sobre la calidad del trabajo de la institución
... (Ministerio de Educación y Ciencia 1993).

Mirando la Ley, podemos concluir que el texto concuerda con la idea de control remoto del
gobierno. Faltan regulaciones detalladas para un sistema de evaluación externa de la calidad.
La Ley sólo estipula que:
- tiene que existir un sistema de evaluación de la calidad
- deben estar involucrados expertos externos
2
En 1985 la Educación Superior Vocacional estaba regulada por la Ley de Educación Secundaria, y por ello ya
estaba sujeta a una Inspectoría.
 5

- la opinión de los estudiantes debe estar involucrada

- los resultados de la evaluación externa deben ser públicos.

En algunos países vemos una tendencia gubernamental a regular la evaluación externa de la

calidad de manera muy detallada y de establecer procesos y procedimientos por ley. Es mejor
evitar esta aproximación. Es cierto que es importante que ciertas regulaciones sean
establecidas por ley, pero si son demasiado detalladas hacen inflexible al sistema de
evaluación externa de la calidad hacia futuros cambios. Si las instituciones de educación
superior se tomaran el trabajo de desarrollar un buen sistema de EEC, no habría necesidad de
regulaciones detalladas por ley.

1.3 ¿Por qué la evaluación externa de la calidad?

Existen diversos motivos para decidirse por la evaluación externa de la calidad (EEC). En
algunos casos se requiere un umbral de calidad antes de poder acreditar un programa o
institución. En otros casos se busca la calidad comparada de diferentes programas (para
rankings), porque, por ejemplo, el gobierno quiere saber donde ubicar sus fondos o cuando es
necesario reasignarlos. La EEC también puede ser utilizada para descubrir puntos débiles y
fuertes y, al hacerlo, mejorar la educación ofrecida.

El gobierno está interesado en la EEC porque es su obligación constitucional garantizar la

calidad de la educación y porque es responsable ante el parlamento por el dinero gastado en
educación superior. El gobierno también puede desear averiguar en qué grado se están
alcanzando sus objetivos, por ejemplo, de lograr educación superior masiva o de aumentar la
tasa de participación de las mujeres, o con relación al papel de las universidades en la
innovación tecnológica.

El gobierno está interesado en demostrar a la sociedad en general, y al parlamento en

particular, que está en control de la educación superior y que toma decisiones justificables con
relación a la asignación de fondos, finalización de programas, etc. Por lo que el problema del
gobierno es cómo "probar" que se están tomando las decisiones correctas mas allá de los
cambios del contexto que puedan afectar a la calidad. Si estos efectos pudieran ser medidos y
comparados, dicha "prueba" podría ser posible. Los indicadores de desempeño son, por ende,
considerados muy útiles al evaluar los efectos indirectos de las políticas gubernamentales e
institucionales (Vroeijenstijn and Acherman 1990).

Para el gobierno, la EEC significa recolectar tanta información y mediciones objetivas de la

calidad como sea posible, en relación con el desempeño de las instituciones de educación
superior. Por lo tanto, los ministros están a menudo deseosos de tener una definición de los
indicadores de desempeño. Una persona malevolente podría hacer un sumario de las ideas
sobre la evaluación de la calidad de muchos ministros de la siguiente manera: "Defina que es
la calidad, fije estándares para ella, tome algunos indicadores de desempeño y mida hasta que
punto los estándares son alcanzados. Sobre esta base usted puede tomar decisiones". Esta
visión de la EEC presupone tres cosas: que la calidad puede ser definida, que los indicadores
de desempeño tienen relación con la calidad y que la calidad puede ser cuantificada y
objetivizada. Retornaremos a este punto más adelante.

Al leer documentos de políticas gubernamentales, encontramos que utilizan los términos

"control de calidad" y "medición de la calidad". Control y medición son sumatorias por
naturaleza y expresan la idea de castigos o recompensas. "El control de la calidad es
inherentemente punitivo, imponiendo sanciones a aquello que es inadecuado, pero al mismo
 6

tiempo implica que una vez que se ha logrado un nivel mínimo aceptable ya no son necesarios
mayores esfuerzos para mejorar" (Lynton 1988).

La preocupación de las instituciones de educación superior es si es posible ofrecer educación

de alta calidad dentro de las condiciones establecidas por el gobierno, y como convencer al
público de que las facultades están brindando la mejor calidad posible (bajo las circunstancias
imperantes). El objetivo es mejorar la calidad si es posible, y la pregunta principal es como
asegurar que la enseñanza esté adaptada al cambiante contexto. Citando a Henry Mintzberg
(1983): "El cambio en la burocracia profesional (como las universidades) no significa nuevos
administradores anunciando reformas importantes ni tecnoestructuras gubernamentales
intentando tener a los profesionales bajo su control. Mas bien, el cambio se filtra en el lento
proceso de cambiar a los profesionales...". Entonces la pregunta es como cambiar la actitud de
los profesionales respecto a sus contribuciones a un programa educativo en particular. En
otras palabras, a quienes escucharán? La respuesta obvia es que están dispuestos a escuchar a
sus pares, y la respuesta básica al mejoramiento de programas es la revisión por pares, mas
que el "control" por parte de administradores, inspectores o similares.

Sin embargo, el mejoramiento de la calidad no es un fin en sí mismo. Mejorar la calidad sirve

a otro objetivo más distante. El propósito último es brindar calidad, y, al hacerlo, formar
buenos graduados, atrayendo mas estudiantes y financiamiento y también ganando mas
prestigio.

La tabla 1.1 sintetiza las diferentes visiones de la EEC. En oposición al acercamiento

sumativo de la EEC por parte del gobierno, está el acercamiento más formativo de las
universidades. Aquí, el punto de partida es que la EEC apunta principalmente a mejorar la
calidad. La función más importante es un análisis de fortalezas y debilidades, y acciones para
la mejora basadas en este análisis.

Las universidades también enfatizan la función de rendir cuentas de la EEC y creen que el
efecto directo de la EEC debe tomar parte en el proceso de auto-regulación, conducción
interna y garantía de la calidad.

Todas las expectativas relacionadas con la evaluación externa de la calidad son legítimas y las
características de un sistema de EEC deben estar adaptadas a sus objetivos. Por ejemplo, no
es posible proveer rendición de cuentas sin una evaluación externa, ni mejora de la calidad sin
una auto-evaluación. Pero ¿necesitamos un sistema elaborado de EEC para todos los
objetivos (acreditación, rendición de cuentas, asignación de recursos, conducción, etc.)?.
Debemos ser muy cuidadosos para no sobrecargar a las instituciones con continuas
evaluaciones. Muchas veces los docentes se ven abrumados por toda la atención que se le
presta a la calidad hoy día. No tienen tiempo de trabajar sobre la calidad porque
continuamente deben brindar evidencia de ella. La pregunta es si existe siempre la necesidad
de un sistema separado de EEC para cada objetivo o si algunos de estos sistemas pueden ser
combinados.

Tabla 1.1
Opiniones sobre la evaluación externa de la calidad

Gobierno Instituciones de Educación Superior

Naturaleza de la EEC Sumativa Formativa
 7

Objetivos Acreditación (umbral de calidad) Mejora de la calidad

Rendición de cuentas hacia el Rendición de Cuentas
parlamento (valor por dinero) Auto-regulación
Conducción/planeamiento de la Garantía de la calidad
Educación Superior: han sido
alcanzados los objetivos del gobierno en
relación con la ES?
Garantía constitucional de la calidad
Comparación/ranking en vistas del
financiamiento
Eficiencia
Información para estudiantes y
empleadores
Instrumentos Inspectoría Auto-evaluación
Indicadores de desempeño Revisión por pares

Acreditación
Cuando se busca la acreditación para una institución o para un programa específico, se puede
hacer uso del sistema de EEC señalado en este libro.También estará basado en la
autoevaluación y la revisión por pares. La única diferencia será que el marco de referencia de
los comités (ver sección 4.2), los criterios y estándares en base a los cuales la institución o
programa será evaluado, están formulados por un cuerpo externo, ya sea el gobierno en
nombre de los contribuyentes o un cuerpo profesional en nombre de la profesión. No hay
necesidad de un sistema de acreditación así como también de un sistema de orientado al
mejoramiento de EEC.

Financiamiento
Tampoco es necesario un sistema de EEC para el financiamiento. La mayor parte de los
sistemas de financiamiento estarán basados en una combinación de financiamiento de
insumos y productos: número de estudiantes ingresantes combinado con el número de
graduados. Para un sistema como éste no necesitamos evaluar la calidad de antemano. Sin
embargo, la calidad del producto será cuestionada. Ciertas garantías de calidad pueden ser
establecidas emparejando un cierto porcentaje del presupuesto con el requerimiento de
participar de alguna forma en la EEC.

Rendición de cuentas
La sociedad demanda valor por dinero. Es por esto que las instituciones son responsables por
el dinero que gastan, lo que es un requerimiento normal. Sin embargo, la rendición de cuentas
debe ser realizada en los informes anuales de las instituciones. Los gobiernos y las
universidades deberán ponerse de acuerdo sobre qué tipo de información debe publicar la
institución, por ejemplo, número de alumnos matriculados, número de graduados, costo por
estudiante, esfuerzos en investigación, etc. Sin embargo, el sistema de EEC no debería ser
sobrecargado con estas cuestiones. Desde luego, la EEC brindará la información para ser
usada dentro del marco de la rendición de cuentas, pero la evaluación externa desempeña un
pequeño papel en la misma y presta particular atención a la manera en la que una institución o
facultad maneja la calidad y la evaluación de la calidad.

Logro de metas gubernamentales y planeamiento

Al gobierno le gusta saber si sus objetivos están siendo alcanzados o no. También quiere tener
información para planear y conducir al sistema de educación superior. Este, sin embargo, no
debe ser el papel principal de la EEC. El gobierno puede requerir a la institución que le
suministre la información necesaria en un informe anual. Los informes públicos de la EEC
 8

pueden ser uno de los recursos para obtener la información deseada, sin vincular
necesariamente a la evaluación con este fin.

Información para estudiantes y empleadores

Se puede decir lo mismo que en política gubernamental: la manera de publicar los informes de
la EEC puede ser útil, pero no debe ser la meta principal.

Mejoramiento de la calidad
Para mejorar la calidad existe la necesidad de una autoevaluación crítica y una discusión
abierta con los pares. No debería haber una amenaza directa desde el exterior estorbando la
discusión. El sistema descrito en este libro está principalmente orientado a mejorar la calidad,
pero también puede abarcar a la rendición de cuentas, siempre y cuando uno esté de acuerdo
acerca de cuál es la relación entre ella y el mejoramiento.

Revisando la literatura y las experiencias de diferentes países, una cosa es segura: debe quedar
claro para todos los involucrados qué es lo que se espera de la EEC. El sistema de EEC no
debe ser recargado. Las evaluaciones sumativas y formativas requieren de acercamientos
diferentes. La mayor parte de la información que el gobierno desea puede ser obtenida de
otras maneras o por evaluaciones ad hoc. Involucrar aspectos sumativos en la EEC puede ser
una amenaza para el acercamiento formativo: es difícil para la EEC servir a dos amos
(Vroeijenstijn 1992).

1.4 ¿Qué es la calidad?

Es una pérdida de tiempo buscar una definición

Todos aquellos que piensan sobre la evaluación de la calidad se ven enfrentados a la pregunta
¿qué es la calidad?. Muchas de las discusiones sobre la calidad comienzan con una cita del
libro El Zen y el Arte del Mantenimiento de la Motocicleta:

Calidad ... vos sabés lo que es, pero sin embargo no sabés lo que es. Pero eso es auto-
contradictorio. Pero algunas cosas son mejores que otras, esto es, tienen más calidad.
Pero cuando tratás de decir que es la calidad, además de las cosas que la poseen, todo
se hace ¡poof!. No hay nada de que hablar. Pero si no se puede decir que es la
calidad, cómo sabemos que es, o, más aún, como sabemos que existe? Si nadie sabe
que es, entonces, por razones prácticas, no existe. Pero para razones prácticas existe
realmente. ¿En qué otra cosa se basan las calificaciones? ¿Por qué entonces la gente
paga fortunas por algunas cosas y tiran otras a la basura? Obviamente algunas cosas
son mejores que otras...pero qué es eso "mejor"? Entonces, uno da vueltas y vueltas,
girando ruedas mentales sin encontrar ningún lugar donde obtener tracción. ¿Qué
cuernos es la calidad? ¿Qué es? (Pirsig 1974).

A pesar de las reflexiones de Pirsig, se escriben muchos libros y artículos tratando de

descubrir la naturaleza de la calidad. Pero la calidad es como el amor. Todo el mundo habla
de ello y todos saben de qué está hablando él o ella. Todos saben y sienten cuando hay amor.
Todos lo reconocen. Pero cuando tratamos de dar una definición, nos quedamos parados con
las manos vacías.

En la literatura encontramos varias descripciones del concepto de calidad. A veces es

definida como "aptitud para un propósito" (Ball 1985). La calidad también está definida en
términos de valor agregado (McClain et al. 1989. Ashworth and Harvey 1994). Otra
 9

descripción a menudo utilizada es: "Algo tiene calidad cuando cumple con las expectativas
del consumidor/usuario; calidad es la satisfacción del cliente". Harvey y Green (1993) tratan
de describir la naturaleza del concepto de calidad en relación con la educación superior.
Luego de un meticuloso tratado, concluyen: "Primero, calidad significa diferentes cosas para
diferentes personas. Segundo, la calidad está relacionada con los "procesos" o "efectos
directos"."

Si hablamos de un producto en concreto que queremos comprar, por ejemplo una

computadora, es fácil definir la calidad: tiene que ver con lo que esperamos que haga. No
habrá malos entendidos. Pero cuando consideramos a la educación tenemos problemas.
¿Quién es el cliente? ¿Quién es el consumidor? Cuando el gobierno considera a la calidad,
mira primero en la proporción aprobados/desaprobados, los estudiantes que abandonan la
universidad y la duración de la matrícula. La calidad ante los ojos del gobierno puede ser
descrita como "la mayor cantidad posible de estudiantes finalizan la carrera en el tiempo
esperado, con un estándar internacional y costos reducidos".

La calidad de la educación tiene un significado totalmente diferente para los estudiantes. Para
ellos la calidad esta relacionada con la contribución al desarrollo individual y la preparación
para una posición dentro de la sociedad. La educación debe vincularse con el interés personal
del estudiante. Pero el proceso educativo también debe ser organizado de tal manera que él o
ella pueda finalizar sus estudios en un tiempo dado.

Los académicos definirían a la calidad como "un buen entrenamiento académico basado en
una buena transferencia de conocimiento, un buen ambiente de aprendizaje y una buena
relación entre la enseñanza y la investigación".

La mirada sobre la calidad también está establecida por el concepto que tiene la gente de la
educación superior. ¿Ve la gente a la educación superior como la producción de poder
calificado o como entrenamiento para una carrera en investigación? ¿Esta la educación
superior concebida como el manejo eficiente de la enseñanza o es una manera de extender las
oportunidades en la vida (Barnett 1993)?

Debemos concluir que la calidad es un concepto muy complejo (ver tabla 1.2). No podemos
hablar de "la calidad"; debemos hablar de "calidades".

Tabla 1.2
Aspectos de la Calidad y las Partes Interesadas

Instituciones
Partes Interesadas Estudiantes Empleadores Gobierno Personal
de ES
ASPECTO DE LA CALIDAD
Insumos (por ejemplo)
Matriculación X X X
Selección X X X X
Presupuesto X X
Personal académico X X
Procesos (por ejemplo)
Metas/objetivos X (X) X X
Procesos educativos X X X
Organización educativa X X X
Satisfacción X X X
consejo X X
Efectos Directos
 10

Tasa de
X X X
aprobados/desaprobados
graduados X X X X X

Debemos hacer una distinción entre los requerimientos de calidad fijados por el estudiante, el
mundo académico, el mercado laboral/sociedad y el gobierno. Pero no sólo existen diferentes
calidades; debemos también considerar diferentes aspectos de la calidad. Por lo que hay
calidad de insumos, de procesos y de efectos directos. La evaluación de la calidad debe tener
en cuenta todas estas dimensiones. Por ende, es una pérdida de tiempo el tratar de definir a la
calidad de manera precisa. No existe una calidad absoluta.

La calidad es una negociación entre todas las partes involucradas. Todas las partes deberían
formular, de la manera más clara posible, sus requerimientos. La institución de educación
superior, como proveedor último, debe tratar de reconciliar todos los diferentes deseos y
requerimientos. Algunas veces las expectativas correrán de forma paralela, pero también
pueden entrar en conflicto. En la medida de lo posible, los requerimientos de todas las partes
interesadas deben ser trasladados a la misión, las metas y objetivos de una facultad y su
programa educativo (y en lo que concierne a la investigación, en los programas de
investigación).

Si se hace esto, entonces decimos que una facultad o universidad tiene "calidad" (ver figura
1.1). Aunque continúa siendo necesario buscar una buena descripción de los diferentes
requerimientos y aspectos de la calidad, la falta de una definición nunca deberá ser una excusa
para no prestar atención a la calidad o para no trabajar para mejorarla.

Requerimientos Traslado de esos Lograr los

fijados por: requerimientos a la objetivos/metas
Estudiantes misión, metas y =
Académicos objetivos del Calidad
Empleadores curriculum
Gobierno
sociedad

Figura 1.1: Calidad como una cuestión de negociación entre las partes interesadas

Si tenemos que describir a la calidad podríamos decir que "la calidad será especificada por los
efectos directos de las negociaciones entre todas las partes involucradas sobre los
requerimientos esperados. La Educación Superior debería tratar de cumplir de la mejor
manera posible todos los deseos y esto deberá ser mostrado en la formulación de sus objetivos
y metas."

En las discusiones sobre la naturaleza de la calidad, vemos muchas equivocaciones y una

mezcla de conceptos.

¡Calidad no es siempre lo mismo que eficiencia!

La discusión sobre la evaluación de la calidad está a menudo vinculada al concepto de
"eficiencia" (ahorrar dinero, uso más racional de los recursos públicos). Al evaluar la calidad,
 11

una pregunta importante será ¿logramos el nivel de calidad requerido con costos aceptables?
Un acercamiento orientado a la eficiencia es a menudo un buen punto de partida, pero el
problema es que la eficiencia no está siempre definida como "con costos aceptables" sino que
a menudo se la define como "con costos mínimos" y esto puede ser una amenaza a la calidad.
Puede ser eficiente tener clases para mil estudiantes, pero no es efectivo. Puede ser
considerado eficiente tener un programa de estudios muy estructurado con evaluaciones a los
estudiantes cada cuatro semanas, forzando a los estudiantes a trabajar y mantenerse al día con
el curso. Si embargo, a través de este método, ¿formamos al graduado "correcto",
independiente y de pensamiento crítico? Puede ser considerado eficiente usar preguntas de
multiple choice para la evaluación de los estudiantes, pero ¿mejora las habilidades de
comunicación escritas y orales?

¡Calidad no es lo mismo que ser excelente!

A menudo la calidad se ve mezclada con la excelencia. Incluso Pirsig comete un error al
decir "algunas cosas son mejores que otras, esto es, tienen más calidad". La gente habla
frecuentemente sobre promover la calidad, queriendo decir promover la excelencia. Sin
embargo, calidad no es lo mismo que ser excelente. Es cierto que a todos les gusta hacer lo
mejor para brindar calidad, pero no todas las instituciones pueden ser un Yale o un MIT. Un
país con sólo universidades excelentes no existe; sólo puede haber algunas universidades
excelentes si hay un alto número de universidades promedio. Una institución puede elegir no
intentar ser "excelente", porque quiere educar a muchos estudiantes y no sólo a los más
inteligentes. Una universidad regional típica probablemente elegirá de manera diferente que
una institución como Berkeley. Podemos hablar de bueno, mejor y mucho mejor, o de bueno,
mejor y excelente. Pero no debemos hablar de buena calidad, mejor calidad y excelente
calidad.

Nivel, Estándares y Calidad

En la búsqueda de la calidad diremos: "haremos lo que prometemos hacer". McDonald's, por
ejemplo, se esforzará por lograr calidad y cuando comamos su comida rápida seguramente
obtendremos calidad. Sin embargo, este no es el mismo nivel de calidad que obtendríamos si
cenáramos en un restaurant de una o dos estrellas de la Guía Michelin. Por lo que no
podemos evaluar a McDonald's con los mismos criterios con los que evaluamos a un
restaurant de lujo. Cada nivel de calidad tiene su precio. La única pregunta en común que
podremos hacernos es ¿obtendremos lo que esperamos?.

Dentro del marco de referencia de la EEC, deben hacerse distinciones claras entre nivel,
estándares y calidad. A menudo estos tres conceptos son confundidos:

NIVEL
Una carrera que conduzca a un título de Magister es de un nivel superior a una que otorgue
una Licenciatura. Pero esto no significa que la calidad del programa del Master sea superior.

ESTANDARES
Es posible definir estándares para cada programa, requerimientos mínimos que se esperan de
los graduados. Los estándares pueden ser descritos como una declaración en general o en
términos específicos del conocimiento, comprensión, habilidades y actitudes que deben ser
demostradas por los graduados exitosos. La pregunta es si un programa con estándares altos y
un bajo número de estudiantes tiene calidad o no.

CALIDAD
 12

La calidad es mucho más amplia e incluye estándares así como los procesos de enseñanza y
aprendizaje, las actividades de los departamentos e instituciones y la congruencia entre los
objetivos de un programa y la competencia de sus graduados (Frazer 1992, 1994).

1.5 ¿Puede ser medida la calidad? ¿Cuál es el papel de los indicadores de

desempeño?

Los criterios y estándares también pueden estar sujetos a negociación

Otro tema en la discusión sobre la evaluación externa de la calidad son los criterios y
estándares. Si uno mira lo que se ha dicho sobre la calidad, será obvio que es imposible
identificar un conjunto de criterios o estándares sobre la calidad de la educación superior. Las
partes interesadas tendrán sus propios criterios y normas derivadas de sus propios objetivos
y/o demandas. Esto significa que el gobierno, por ejemplo, formulará criterios diferentes a los
que establecerán los empleadores.

En el marco de referencia de la EEC es imposible formular criterios generales para la

educación superior. Diferirán entre una disciplina y otra. Las expectativas del mercando
laboral jugarán un papel totalmente diferente al evaluar filosofía que al evaluar ingeniería
eléctrica. Los criterios de las diferentes partes pueden incluso estar en conflicto. El gobierno
puede establecer como uno de los criterios: "el programa debe estar organizado de tal forma
que los estudiantes puedan finalizar el programa con un número mínimo de abandonos y
dentro de un tiempo dado", o "la tasa de éxito del primer año debe ser del 70 por ciento". Pero
estos criterios pueden chocar con un criterio estudiantil de "el programa deberá brindar
suficientes opciones y tiempo para el desarrollo personal".

Podemos concluir que no tenemos un criterio a nuestra disposición para medir la calidad de la
educación. Los estándares y los criterios son también una cuestión de regateo y negociación
entre las partes involucradas. Un valor absoluto para el nivel académico o la calidad de los
graduados no existe y lo que está generalmente aceptado como calidad es una cuestión de
opinión...

Indicadores de desempeño: ¿ maldición o bendición para la EEC?

Como ya fue dicho, una simplificación de la evaluación de la calidad es: "definir a la calidad
y buscar un conjunto de indicadores de desempeño para medirla". Pero la pregunta es si existe
un vínculo real entre los llamados indicadores de desempeño y la calidad. Las opiniones están
divididas. Es evidente que cuando la gente trata de derivar calidad directamente de datos
cuantitativos, aparecerán diferencias en la interpretación. Consideremos, por ejemplo, la
medición de la calidad de la investigación. ¿Es acaso el número total de publicaciones una
medición verdadera de la calidad? El análisis de la información y la experiencia obtenida
indican que no siempre es el caso. Tales indicadores de desempeño, como el número de
artículos, muestra el peligro de utilizar indicadores de desempeño. Una vez establecido, el
indicador se corromperá lo antes posible. En vez de publicar un buen artículo, veremos que el
mismo es dividido en varios artículos, ya que cada uno cuenta para el récord.

Otro ejemplo referido a educación: la interpretación de las tasas de éxito. Una facultad tiene
una tasa de aprobación del 80 por ciento, otra una del 60 por ciento. Pero, ¿nos dice algo del
desempeño de la facultad? ¿La calidad de la educación? ¿Es el desempeño de la universidad
Y con una tasa del 80 por ciento superior al logro de la universidad X con una tasa del 60 por
ciento? ¿O la universidad Y bajó su nivel? ¿O la universidad X es más selectiva en el primer
año?
 13

Existe gran cantidad de literatura sobre indicadores de desempeño (Ball y Halwachi 1987;
Cave, Hanney, Kogan y Trevet 1988; Dochy y Wijnen 1989; Goedegebuure et al. 1990;
Dochy et al. 1990; Sizer 1990; Kells 1990; Spee y Bormans 1991). Un factor llamativo en la
discusión sobre los indicadores de desempeño es que hay dos partes opuestas. En general son
los gobiernos los que ponen un fuerte énfasis en la importancia del uso de los indicadores de
desempeño: son optimistas en cuanto a la posibilidad de determinar el indicador correcto. Las
instituciones de educación superior, por otro lado, son generalmente escépticas y reservadas
sobre su uso.

Muchos gobiernos están tratando de formular indicadores de desempeño que podrían ser
útiles en la evaluación de la calidad, pero hasta el momento no han tenido éxito. Se pueden
dar las siguientes razones:
- El término "indicador de desempeño" es muy confuso.
A pesar de los intentos de definir el significado y funciones de los indicadores de
desempeño, el término lleva a confusiones. El problema es que un indicador de
desempeño no está siempre directamente relacionado con el desempeño de una
institución, pero debe ser considerado como un dato estadístico. Segers et al. (1989)
formulan como uno de los ID, por ejemplo, la tasa de hombres-mujeres en la población
estudiantil. Sin embargo, este indicador no dice nada sobre la calidad de una institución de
educación superior. Es más que nada un indicador para el gobierno que muestra cuan lejos
la "emancipación" objetiva ha llegado.

- Los indicadores de desempeño tienen diferentes funciones.

La gente otorga diferentes funciones a los indicadores de desempeño. Sin utilizar el
término "ID", sería claro que el uso de ciertos datos (número de matricula, estudiantes,
graduados, desempleo) es importante. Estos datos juegan un papel importante en el
monitoreo y la evaluación. Por otro lado, los gobiernos buscan a menudo a los indicadores
de desempeño como un instrumento para la asignación de recursos. En muchos países
vemos intentos de financiar en base al desempeño (Bauer 1993b, ver también el punto
1.8).

- Transformación de indicadores en estándares.

Observando las diferentes funciones atribuidas a los indicadores de desempeño, no es
poco razonable temer que los indicadores se transformen en criterios. Las tasas de éxito
pueden ser un indicador para verificar el objetivo "hacer que la mayor cantidad posible de
estudiantes se gradúe". Una tasa de éxito del 70% parece ser más exitosa que una del 60%.
Pero el número no nos dice nada sobre la calidad de la enseñanza. Sin embargo, puede
haber una tendencia a especificar que una tasa de éxito de al menos un 70% debe ser
alcanzada.

La conclusión debe ser que todos los intentos y discusiones de la década pasada no han
producido un conjunto generalmente aceptado de indicadores de desempeño.

Indicadores de Desempeño y Revisión por Pares

¿Tienen los ID un papel en la evaluación de la calidad? ¿Cuál es el valor de los indicadores de
desempeño en relación con la revisión por pares o en combinación con ella? Observando los
conjuntos de indicadores de desempeño que han sido elaborados (ver, por ejemplo, Segers et
al.1989; Sizer 1990) podemos hacer una distinción entre indicadores cuantitativos y
cualitativos. Los indicadores cuantitativos son a menudo datos básicos, pero al instante son
 14

decorados con la noción "ID": tienen que ver con número de estudiantes, de personal, tasas de
abandono. Cuando estos datos son utilizados de la manera correcta, los indicadores de
"desempeño" formularán preguntas pero nunca darán una respuesta. Los llamados indicadores
de desempeño cualitativos pueden ser vistos como elementos que tienen influencia en los
aspectos de la calidad que deben ser tenidos en cuenta cuando se mira la calidad. La pregunta
es si podemos (o queremos) depender más de los indicadores de desempeño que de los juicios
subjetivos de los pares.

El papel de los indicadores de desempeño en la evaluación de la calidad es limitado, como

puede ser ilustrado en el siguiente ejemplo:

Tengo una botella de vino y quiero evaluar su calidad. ¿Qué aspectos son importantes?
Primero debo decidir qué aspectos del vino evaluaré: acidez, tanino, porcentaje de
alcohol, sedimento. Por supuesto que puedo medir este vino con estos aspectos, pero
todavía no sé si el vino es bueno o no. Alguien tiene que decir que números son
buenos y cuales no lo son. Pero hay otros aspectos más importantes para la evaluación:
sabor y olor. Estos aspectos no son cuantificables. Necesitamos un panel que pueda
juzgar si el sabor y olor son buenos o no. (Vroeijenstijn 1993b; ver figura 1.2)

Acidez alcohol tanino sedimento sabor olor

INDICADORES DE DESEMPEÑO REVISIÓN POR PARES

Figura 1.2 La relación entre los indicadores de desempeño y la revisión por pares.

Aquí hay un ejemplo que nos muestra cuan engañosos pueden ser los indicadores de
desempeño. A mediados de 1989 los diarios holandeses publicaron muchas reacciones y
comentarios al informe del Comité Ministerial de Reconocimiento de Teología
(Verkenningscommissie Godgeleerdheid 1989). La calidad de las facultades de teología de
las universidades holandesas era pobre. Ninguna facultad alcanzó el nivel internacional. El
comité dijo haber mirado a la teología a través de varias "ventanas" o "monóculos", como el
comité llamó a los indicadores: productividad, calificaciones del personal, número de tesis,
número de jóvenes investigadores, evaluación de programas de investigación por agencias
externas, publicación de revistas científicas.

Para el índice de productividad el comité fijó un estándar de un libro cada cinco años y un
artículo cada año para un profesor de tiempo completo. Como estándar internacional el
comité fijó un libro cada cuatro años y dos artículos anuales. Sobre la base del conteo de
publicaciones y a establecer el valor de ellas a través de un puntaje (10 puntos para un libro en
holandés, 15 para un libro en otro idioma; 1 punto para un artículo en holandés, 3 para uno en
otro idioma), el comité realizó un ranking de facultades y realizó una serie de conclusiones
sobre el nivel científico. La conclusión fue que ninguna facultad alcanzó el estándar
internacional y sólo dos el nivel nacional.

Sin embargo, el estándar y la asignación de puntajes estaban basados en decisiones arbitrarias.

¿Por qué un libro en holandés valía 10 puntos y uno en otro idioma 15, en vez de los 4 y 8
puntos que el Comité Ministerial de Ciencias Educativas y Pedagogía (Visitatiecommissie
Pedagogiek en Onderwijskunde 1987) había asignado? ¿Por qué un libro cada cinco años en
vez de uno cada seis o cuatro? ¿Por qué diez artículos en holandés son iguales a un libro en el
 15

mismo idioma, mientras que un libro en idioma extranjero equivale a sólo cinco artículos en
ese mismo idioma? La recalculación con otros puntajes y estándares varía el resultado. En
relación con el nivel científico, más facultades alcanzan el estándar. La conclusión es que si se
trabaja con puntajes y estándares arbitrarios, el resultado debe ser manejado con sumo
cuidado. Una de las grandes objeciones es la manera en la que los números son utilizados
como si fueran absolutos. Los números dejan de ser indicadores y se convierten en criterios.
Leyendo el informe uno tiene la impresión de que el comité ha mirado a la teología en los
Países Bajos a través de varias ventanas, pero no entró al edificio para hacer preguntas. El
comité no miró la calidad de las publicaciones, ni se preguntó por qué ni como. El comité
miró al trabajo científico de las facultades de teología con siete pares diferentes de anteojos.
Dependiendo del número de anteojos que el comité se pusiera, el panorama de algunas
facultades se volvía más y más negro.

Trabajar con indicadores de desempeño es tan atractivo porque podemos llegar a obtener una
imagen clara de los puntos fuertes y débiles. Pero estos análisis deben ser manejados muy
cuidadosamente y complementados con otro tipo de información. La conclusión es que los ID
tienen un papel dentro de la evaluación de la calidad, pero es menor. Los indicadores de
desempeño son, en sentido amplio (tanto los cualitativos como los cuantitativos) el punto de
partida para obtener calidad en la imagen. Los ID, en sentido estrecho (el conjunto de
indicadores de desempeño cuantitativos), tienen un papel porque apoyan la opinión de los
pares. Pero los indicadores de desempeño nunca pueden tener la última palabra, ni tomar el
lugar de la revisión por pares. La opinión de los pares debe estar basada en hechos y números,
pero nunca puede ser reemplazada por indicadores de desempeño. "Los indicadores de
desempeño deben ser utilizados no como un fin en sí mismos para llegar a conclusiones
definitivas, sino para llamar la atención sobre ciertas áreas y proveer un catalizador para
futuras investigaciones" (Ashworth y Harvey 1994). Es claro que los indicadores de
desempeño nunca pueden hablar por sí solos, sino que deben ser interpretados por expertos.
Donde parecen ser objetivos, no son realmente indicadores de desempeño, sino sólo
información estadística. Como en el caso del concepto de "calidad", también es una pérdida
de tiempo buscar la piedra filosofal: un conjunto de indicadores para medir la calidad.

1.6 ¿Revisión Institucional o de Programas?

Cuando se diseña un sistema de EEC se deben tomar varias decisiones. Una de ellas es a qué
nivel se realizará la evaluación. Esto depende del propósito. ¿Se la quiere para la acreditación
institucional? ¿Para verificar la manera en que se asegura la calidad? ¿O se desea penetrar
más profundamente en la organización y obtener aportes y respuestas? Está claro que cada
elección tendrá sus propias ventajas y desventajas.

Algunos ejemplos de evaluación institucional son el acercamiento del Higher Education

Quality Council (HEQC) en el Reino Unido y el Comité National d'Evaluation en Francia.

El HEQC describe sus propósitos de la siguiente manera:

revisar y verificar la efectividad de los sistemas y procedimientos de una institución
para garantizar la calidad de su enseñanza y aprendizaje. La auditoria de la calidad no
busca evaluar la validez de la misión u objetivos de la institución per se, o si los
resultados directos son apropiados. Buscará revisar y comentar sobre los
procedimientos para garantizar la calidad y cómo operan en la práctica, en función de
los objetivos declarados por la universidad. (HEQC 1993).
 16

Las ventajas del sistema el menor requerimiento de expertos, menor consumo de tiempo y
mayor económica. Es una revisión de los procedimientos de calidad de una institución.

El enfoque de la CNE, en Francia, difiere del de HEQC, El procedimiento del CNE para
evaluar la calidad consiste en dos partes: evaluaciones institucionales y, a veces, revisiones
"horizontales" disciplinarias. Las evaluaciones institucionales no son específicas en el nivel
individual, ni evalúan los cursos (Staropoli 1992, Ottenwaelter 1993). En contraste con el
acercamiento del HEQC, el CNE no sólo mira la forma en que la calidad es garantizada, sino
que además intenta evaluar la calidad de la institución y sus componentes.

Una de las desventajas de la aproximación institucional es que habrá poca participación de

base, no habrá aportes a las disciplinas ni recomendaciones para mejorar el curriculum. La
participación de miembros individuales del personal será escasa y las sugerencias para
mejorar los programas serán poco frecuentes. Esto será compensado por las revisiones de las
disciplinas.

En verdad, el título de esta sección no es del todo correcto. La elección no es entre evaluación
institucional o de programas, sino ambas. En la figura 1.3 se muestra la relación entre los tres
niveles: auditoria institucional, evaluación institucional y evaluación de programas.

(Ver figura 1.3 en el original enviado)

Figura 1.3 La relación entre auditoria institucional, evaluación institucional y evaluación
de programas.

Evaluación Institucional
La evaluación institucional puede realizarse para acreditar. En ese caso se podrá utilizar un
procedimiento de evaluación ligero. Los requerimientos o estándares mínimos serán
formulados fuera de la institución. En algunos casos será posible tomar en cuenta el
desempeño en el pasado, pero la mayor parte de la gente mirará las condiciones para ser una
institución de educación superior real. Dadas las condiciones impuestas, ¿podemos esperar
calidad de esa institución de educación superior? En este sentido, los aspectos importantes
para ser evaluados son:
• La declaración de misión. ¿Está dentro de los valores esperados en educación superior?
• Selección de personal y sus calificaciones.
• Número de facultades y la variedad de los programas ofrecidos.
• Instalaciones.
• El mecanismo interno para garantizar la calidad.

Cuando la acreditación no es el objetivo directo, la evaluación institucional debe ser

considerada como la piedra fundamental de un sistema de EEC orientado a los programas.
Empezando con la evaluación de programas o departamentos, se deberá evaluar también a la
institución como un todo. La evaluación institucional deberá ser realizada al final de un ciclo
de evaluaciones de programas. Los resultados de las evaluaciones de programas pueden ser
utilizados al momento de la evaluación institucional y pueden ser vinculados a los hallazgos
de la evaluación institucional. Todos los hallazgos pueden ser unidos. Esta evaluación
institucional también estará basada en la autoevaluación y la evaluación externa. Los temas
para la autoevaluación y para la discusión con el comité externo son:
• La misión y el perfil de la universidad.
 17

• Políticas centrales sobre educación e investigación.

• Organización y gestión.
• Instalaciones centrales (ej.: biblioteca), apoyo educativo.
• Sistema de financiamiento.
• Mecanismo interno para garantizar la calidad.

Evaluación de Facultades o Departamental

Pueden existir tres razones para realizar evaluaciones de facultades en vez de evaluaciones de
programas individuales:
1. La evaluación de programas coincidirá, a veces, con la evaluación de una facultad, como
por ejemplo en la evaluación de Derecho en los Países Bajos. Hay tal afinidad entre los
programas ofrecidos que todos los programas de la facultad serán evaluados. Es el mismo
caso en Ciencias Económicas.
2. A veces la relación entre programas no es tan estrecha, pero el consejo de la facultad
desearía conocer más sobre las conexiones existentes.
3. En otras ocasiones las evaluaciones de programas individuales causarán problemas al
evaluar una facultad muy segmentada, como por ejemplo Humanidades o Ciencias
Sociales. Una evaluación de programas agota a la facultad; está siempre ocupada con la
evaluación; un comité se está yendo mientras otro está llegando. Otra desventaja es que
un comité sólo se concentra en el programa individual y no a las relaciones entre los
programas, al perfil de la facultad y la contribución de todos los segmentos para llevarlo a
cabo exitosamente.

Las dos primeras posibilidades no causan problemas. Puede emplearse el mismo método
descrito en este libro. Para el tercer caso, la evaluación de una facultad segmentada, se deberá
realizar una adaptación. Sin embargo estará claro que la evaluación de una facultad con
muchos programas perderá parte de las ventajas de una evaluación de programas. Será más
bien una evaluación de las condiciones del entorno más que una evaluación del (contenido
del) programa. Los resultados y aportes estarán orientados hacia los que toman las decisiones
y los administradores más que al personal y los estudiantes.

Al momento no hay experiencias reales sobre esta forma de evaluación, pero parece que será
viable para facultades tales como Artes Liberales o Humanidades.

Evaluación de Programas
Por otro lado está la evaluación de la currícula: un comité de pares evaluará un curriculum o
varios de una misma área. Este acercamiento ofrece la posibilidad de evaluar en profundidad
y detalle. Involucrará a los miembros del personal y el comité podría dar recomendaciones
para el mejoramiento de la calidad del curriculum.

Sin embargo, también existen varias desventajas: consume tiempo y es más cara. En algunas
facultades con muchos programas, como en Humanidades, este acercamiento podría conducir
a una evaluación continua: mientras un comité se va, otro está llegando. Mientras que la
mayor parte de las facultades de los Países Bajos serán visitadas una o tal vez dos veces en un
período de seis años (por ejemplo la facultad de Ciencias Económicas, la facultad de
Derecho), la facultad de Humanidades (que incluye programas como historia, idiomas, artes
liberales, etc.) ha sido visitada prácticamente cada año desde el comienzo de las evaluaciones
externas de la calidad de las universidades holandesas en 1988. En estos casos, se debería
 18

buscar otra solución para mantener el valor de un acercamiento a los contenidos, pero
disminuyendo la carga.

Ya que la calidad está básicamente determinada por lo que sucede en una facultad,
especialmente en la situación enseñanza/aprendizaje, la mejor manera de comenzar con la
evaluación externa de la calidad es con la evaluación de programas de un área específica. Por
supuesto que está muy bien evaluar la calidad a nivel departamental, pero, ¿qué pasa con la
contribución de los servicios centrales y la institución como un todo? Por ende, será
necesario completar las revisiones de programas con una revisión de los servicios centrales y
la gestión en general.

1.7 ¿Enseñanza/Aprendizaje e Investigación en conjunto?

Como ya se dijo en el prefacio, este libro guarda mayor relación con la evaluación de la
enseñanza y el aprendizaje que con la evaluación de la investigación. Una de las razones es
que la evaluación de la investigación ya tiene una larga tradición. Los investigadores están
acostumbrados a ser evaluados por colegas. La calidad del producto de la investigación es
evaluada, por ejemplo, al evaluar publicaciones en revistas con arbitraje. Los investigadores
se encuentran en conferencias y discuten sobre sus trabajos de investigación. Los comités de
investigación evalúan las propuestas antes de otorgar becas. Para la investigación ya existe
una comunidad académica abierta (inter)nacional que evalúa las actividades. No existe tal
comunidad para la enseñanza y el aprendizaje. Al pensar en el diseño de un sistema de EEC,
aparecerá la pregunta de si es posible y deseable combinar la evaluación del proceso de la
enseñanza/aprendizaje y la evaluación de la investigación.

La política en los Países Bajos es empezar con la evaluación externa de la calidad de la

enseñanza, excluyendo a la investigación. Esto ha sido decidido por dos razones: primero,
combinar la investigación con la enseñanza significa que la enseñanza pierde otra vez; en
segundo lugar, ya existía un sistema de evaluación de la investigación por consejos de
investigación. En 1993 el VSNU comenzó un sistema separado para la evaluación de la
investigación, basado en los mismos principios que la evaluación de la enseñanza (VSNU
1993b).

Hay otras razones para un acercamiento por separado: el conocimiento necesario para la
evaluación de la investigación es diferente del requerido para la evaluación de la
enseñanza/aprendizaje. Para la investigación se necesitan pares, especialistas en los campos
de investigación que van a ser evaluados; para la educación se necesitan expertos con una
mirada más amplia. Pero también existen razones prácticas: combinar la evaluación de
proyectos y programas de investigación con la evaluación de la educación requiere de comités
muy grandes. También la cantidad de tiempo de la visita a la facultad será mucho más
extenso.

Pero, por supuesto, el vínculo entre la enseñanza y la investigación es característico de una

universidad. Esto significa que la calidad educativa no puede ser evaluada sin tener en cuenta
este vínculo. Hay preguntas que no pueden ser evitadas y deben ser respondidas durante la
evaluación, tales como: ¿de qué manera los estudiantes se ponen en contacto con la
investigación? ¿qué papel juega la investigación en el programa? ¿cómo se reflejan en el
curriculum los últimos avances en investigación en el área? Pero la evaluación de proyectos o
programas de investigación no es parte de los términos de referencia de un comité que está
evaluando la enseñanza. Por ende, la mejor manera es evaluar la enseñanza y el aprendizaje
de forma separada, aunque sería útil que cada evaluación sea planeada teniendo a la otra en
mente.
 19

1.8 La Conexión con el financiamiento

Al observar el "modelo" holandés de EEC y, por ejemplo, el "modelo" británico (ver Stubbs
1994), detectamos que una de las diferencias más llamativas es el vínculo con el
financiamiento. En el Reino Unido existe una conexión directa: la evaluación de la calidad es
una tarea de los consejos de financiamiento y los resultados influencian, en parte, al
financiamiento. En los Países Bajos la conexión es indirecta: los resultados influenciarán al
financiamiento en el largo plazo. En la práctica, el gobierno puede detener el financiamiento
de un programa cuando se haya establecido una prolongada falta de calidad. Por ejemplo: un
comité de expertos juzga la calidad del programa Y como insatisfactoria. La facultad tendrá
tiempo para mejorarla. Después de seis años (o tal vez menos si la situación es realmente
mala), el próximo comité investigará qué se hizo con las recomendaciones. Si la situación
aún es mala, el ministro puede advertir a la facultad y anunciar su intención de detener el
financiamiento. En ese momento la facultad aún tiene tiempo de responder antes de que se
tome la decisión real.

La discusión no reside en si debería existir un vínculo entre la calidad y el financiamiento. Por

supuesto que existe y existirá. La pregunta es cómo debería ser. En mi opinión sólo existen
dos razones para que el vínculo sea directo. La primera es, por supuesto, cuando se la evalúa
para acreditar. La segunda, para vincular parte del financiamiento con la condición de que una
institución deba participar de la evaluación externa de la calidad de alguna manera. En los
otros casos, un vínculo directo entre el financiamiento y los resultados de la evaluación es
pernicioso. Van Vught lo expresó así: "Tratar de vincular un sistema de recompensas y
sanciones al delicado mecanismo de la evaluación de la calidad es la mejor manera de
asegurarse que el sistema de evaluación de la calidad no funcione”. Crear una relación entre la
evaluación de la calidad y el financiamiento, casi seguro llevará a una cultura de sumisión"
(1991).

También el Comité de Enlace de la Conferencia de Rectores aconseja que el vínculo entre la

evaluación de la calidad y las decisiones sobre financiamiento sea indirecto (Comité de
Enlace 1993). Pero, después del primer fantasma de los indicadores de desempeño, podemos
ver ahora un segundo fantasma caminando por entre la Europa gubernamental. Ya no es sólo
el gobierno británico el que está encantado por el vínculo directo y por el financiamiento
basado en el desempeño. Más gobiernos están vinculando un cierto porcentaje del presupuesto
directamente con los resultados de la evaluación: Dinamarca y Suecia son ejemplos de esta
forma de pensamiento (Bauer 1993). Detrás de la idea de marcar al dinero por calidad,
todavía yace la idea optimista de que es posible dirigir la educación superior de manera
centralizada. Otro problema del financiamiento basado en el desempeño es que a menudo
está orientado a premiar o promover la excelencia. Pero, ¿por qué debemos recompensar con
más dinero a las facultades que ya son excelentes? ¿Por qué no utilizar el dinero para
fortalecer aquellas facultades de calidad mas pobre?

1.9 Acercamiento Horizontal y Comparativo

Otra elección que se debe hacer al diseñar un sistema de EEC es el alcance de la evaluación.
¿Visitará el equipo de evaluación externa varias instituciones (un acercamiento horizontal y
comparativo) o sólo una? Los principios y recomendaciones brindados en este libro pueden
ser usados para la evaluación externa de la calidad de más de una institución por el mismo
comité. Sin embargo también pueden ser aplicados en la evaluación de una sola facultad,
escuela, departamento o curriculum. La diferencia está en la manera en que se realiza la
cobertura.
 20

En varios países (Países Bajos, Dinamarca, Portugal) se eligió realizar las evaluaciones en el
nivel nacional. Un comité evalúa un mismo programa en todas las instituciones. Por
supuesto, esto es posible sólo cuando no existen demasiadas instituciones. La experiencia
muestra que unas diez visitas son lo máximo que se le puede pedir a un comité. Pero por
supuesto, cuando hay más unidades para ser evaluadas, será posible combinar varios comités
y organizar la evaluación en el nivel regional.

Existen varias razones para organizar la evaluación de una manera horizontal y comparativa:
• La evaluación externa de la calidad tiene una función pública, por lo que existirán
peticiones para un acercamiento comparativo. Aunque no se desee realizar rankings o
tablas, existirá la cuestión de cómo los aspectos de calidad de una facultad se comparan
con los mismos aspectos en otras facultades. El gobierno quiere conocer la calidad de los
programas tanto para los futuros estudiantes como para los empleadores. Esto sólo puede
ser realizado cuando todos los programas o grupos de programas son evaluados por un
mismo comité.
• Sin embargo, no es sólo el gobierno el que prestará atención a las comparaciones.
También las propias instituciones están interesadas; quieren conocer su posición en el
campo de juego.
• Un acercamiento horizontal también tiene sentido para el área de estudio involucrada. Al
evaluar más programas, un comité podrá obtener un buen panorama del estado del arte en
el área y bocetar desarrollos futuros a favor de las facultades involucradas.
• La evaluación de varios programas por el mismo comité también promueve un tratamiento
igualitario de las facultadas involucradas. En particular, cuando los informes son hechos
públicos, será importante que las facultades sean tratadas y evaluadas más o menos de la
misma manera.
• Aunque una evaluación separada de un programa parece ser menos cara y menos
demandante en cuestión de tiempo para los miembros de un comité, existirá el problema
de encontrar expertos para cada evaluación. Será más efectivo realizar la evaluación como
un esfuerzo conjunto.

1.10 Gobierno e Instituciones de Educación Superior: ¿Oponentes o Aliados en la

EEC?
Hay muchos jugadores en el juego de "evaluación de la calidad" y no siempre es fácil
satisfacer a cada jugador porque las expectativas no son siempre las mismas. Los jugadores
en el campo son (ver figura 1.4): las instituciones de educación superior, los decanos de
departamentos, facultades y escuelas, el personal responsable de la curricula, los estudiantes,
el gobierno, la inspectoría y el parlamento. Todos enfatizan la necesidad de garantizar la
calidad porque la calidad es la preocupación de todas las partes. Sin embargo, la pregunta es:
¿quién es responsable de garantizar la calidad?

Mirando el desarrollo en los diferentes países, no podemos decir que las instituciones de
educación superior, por un lado, y el gobierno, por el otro, se hayan unido para afrontar el
problema de la calidad y su garantía. No podemos llamarlos siempre amigos y aliados.

Consejo de la Consejo de la Personal

Universidad Facultad
 21

Expertos Estudiantes
EVALUACION DE LA
CALIDAD

Ministro Inspectoría Parlamento

Figura 1.4 Jugadores en el juego de la evaluación de la calidad

Al contrario, a menudo es un duelo. ¿Quién está haciendo qué y por qué?

En relación con los siguientes temas, los gobiernos y las instituciones de educación superior
pueden tener diferentes opiniones:
• El propósito de la evaluación de la calidad.
• La responsabilidad por la evaluación: ¿Quién hace qué?
• La posibilidad de definir la calidad.
• El uso de indicadores de desempeño.
• El vínculo con el financiamiento.
• Los efectos de la EEC.

En la mayor parte de los países los gobiernos y las instituciones de educación superior son
todavía oponentes, como nos muestra el "por qué" de la evaluación externa de la calidad.
Como ya fue dicho, los gobiernos tienen a menudo una idea simplista sobre la calidad y su
evaluación. Piensan que es fácil definir y medir a la calidad. Tal vez siempre sean oponentes,
porque la brecha entre los dos lados es más amplia en la interpretación del concepto de
calidad. Los requerimientos en cuanto a calidad fijados por el gobierno pueden llegar a ser
una amenaza para la calidad de la educación superior. Para las diferentes miradas sobre la
definición de la calidad ver la sección 1.4; sobre el uso de indicadores de desempeño ver la
sección 1.5; sobre el vínculo con el financiamiento ver la sección 1.8.

A menudo, los gobiernos también tienen una idea muy simplista sobre los efectos de la
evaluación de la calidad. Asumen que la EEC tendrá consecuencias directas en la calidad de
las instituciones de educación superior, que hay una respuesta inmediata a los hallazgos y
recomendaciones de los comités de pares externos: si la evaluación se lleva a cabo en el año x,
los cambios deben ser demostrables en el año x+1.

En los Países Bajos han pasado cinco años de evaluaciones externas de la calidad. Alguien de
afuera podría preguntar si la calidad de las universidades ha mejorado sustancialmente. Si las
universidades enfatizan que el mejoramiento es la función principal de la EEC, ¿será posible
demostrar que realmente funciona? La respuesta es decepcionante: la calidad de la educación
superior holandesa no ha mejorado sustancialmente. Luego de una investigación sobre los
efectos de la EEC, llevada a cabo por orden del Ministro de Educación y Ciencia, los
investigadores concluyen: "Sin embargo, no podemos decir que el gran número de recursos
invertidos haya conducido inmediatamente a una mejora proporcional de la calidad de la
educación: no se toman medidas en respuesta a cada recomendación y las medidas tomadas
no son drásticas" (Frederiks, Westerheijden y Weusthof 1993). Esta conclusión no es
inesperada ni inexplicable, pero no debemos concluir que es mejor detener la actividad de la
 22

EEC, que consume tiempo y dinero, porque "no se puede esperar que los efectos de una
"cultura de calidad" sean inmediatos y amplios. La calidad de la educación, aunque
importante, es sólo una en una multitud de asuntos dentro de las instituciones de educación
superior; tomará tiempo elevarse del nivel de las raíces que están creciendo; las medidas de
menor alcance pueden tener grandes efectos en años futuros" (Frederiks et al. 1993). El
informe contiene una advertencia para los gobiernos para que no piensen de manera
demasiado simplista sobre los efectos directos y el seguimiento. Las innovaciones y cambios
tomarán un tiempo y nunca habrá un vínculo directo y a corto plazo entre las actividades en el
campo de la evaluación de la calidad y el mejoramiento. Pero en general podemos concluir
que muchas cosas están pasando en las facultades, de manera directa o indirecta, como
resultado de la evaluación externa de la calidad. La mera existencia del sistema afecta la
manera de pensar a la calidad en la universidad. En los últimos cinco años la conciencia
sobre la calidad se ha incrementado en los Países Bajos. La calidad está en la agenda, la
enseñanza ha ganado terreno. Tal vez el efecto más importante de la EEC puede ser descrito
como "promover el debate sobre la calidad".

1.11 Entre Scylla y Caribides3: Mejoramiento y Rendición de Cuentas

La evaluación externa de la calidad tiene dos propósitos: el mejoramiento de la calidad y la
rendición de cuentas. Para cumplir con ambos propósitos, la conducción de un sistema de
EEC es como navegar entre dos peligros. Cuando sólo se apunta al mejoramiento, el sistema
chocará contra Scylla porque las partes externas interesadas requerirán rendición de cuentas y
diseñarán su propio sistema de EEC. Si se enfatiza demasiado en la rendición de cuentas, el
sistema desaparecerá en Caribides, porque el mejoramiento se verá obstaculizado, o incluso
será imposible. El desafío es mantener el curso y, al hacerlo, reconciliar los dos propósitos del
sistema. No será fácil, como puede verse al estudiar la experiencia de los Países Bajos.

En abril de 1986 el ministro y las instituciones de educación superior acordaron que la EEC
era responsabilidad de las propias instituciones. Inevitablemente, un acuerdo entre dos partes
siempre causa problemas de interpretación. El debate de los últimos cinco años se ha
enfocado en particular en los objetivos de la evaluación de la calidad y en qué debe esperarse
del control de la calidad. El gobierno ha formulado los siguientes objetivos para la EEC:
• Mejorar la enseñanza y el aprendizaje.
• Promover la rendición de cuentas: "Las instituciones de ES pueden moldear sus
responsabilidades hacia la sociedad con la ayuda de los resultados de la evaluación de la
calidad. Esto es suplementario a la mayor autonomía. Esta función es vista como
importante porque la ES puede ofrecer un informe sobre la calidad de la educación y la
investigación ante el parlamento, basado en los resultados de la evaluación" (Ministerie
van Onderwijs en Wetenschappen 1990).
• Contribuir a procedimientos de planeamiento. Las diferencias en la calidad se tornan
visibles. Esto puede jugar un papel en la discusión sobre el desarrollo de la educación
superior.
• Informar a la sociedad sobre el estado del arte de la educación superior. Por ejemplo,
información para posibles estudiantes sobre la calidad de los programas ofrecidos en las
diferentes instituciones y sobre perspectivas para el mercado laboral. (Ministerie van
Onderwijs en Wetenschappen 1990).

3
N. del T.: Expresión inglesa que significa estar entre dos alternativas igualmente peligrosas. En la mitología
griega Scylla es una ninfa que fue transformada en un monstruo que aterroriza a los marineros en el Estrecho de
Messina; Caríbides era un remolino en la costa de Sicilia personificado por un monstruo femenino.
 23

Con el último objetivo en mente, podemos señalar la importancia que el gobierno holandés
otorga a los estudiantes en el marco de la evaluación de la calidad. El Ministerio de Educación
y Ciencia holandés ha tomado la iniciativa de publicar un libro para estudiantes como
herramienta para la evaluación de su educación. El Ministro también subsidió la publicación
de un periódico, la "Guía de Educación Superior para el Consumidor (Kenzegids Hoger
Onderwijs 1992-1994)", que trata de describir la calidad de los diferentes programas de
estudio de manera comparada. La idea detrás de la Guía es la creencia que, cuando los
estudiantes tienen suficiente información a su disposición, elegirán sus estudios basados en la
calidad y forzarán a las instituciones de educación superior a brindar educación de calidad.

No hay diferencia de opinión entre las universidades y el gobierno sobre la meta

"mejoramiento de la calidad". El mejoramiento de la calidad está en primer lugar orientado a
descubrir debilidades y afianzar y mejorar la calidad.

La interpretación del objetivo "rendición de cuentas", sin embargo, ha causado muchas

discusiones. La pregunta es ¿de que se trata la rendición de cuentas? En opinión de las
universidades, ellas hacen un informe de su desempeño en informes anuales. Los informes de
evaluación externa no deben ser sobrecargados con datos generales sobre dinero gastado y
eficiencia. La rendición de cuentas en el marco de la EEC debe estar relacionado
exclusivamente con la forma en la que las universidades manejan la calidad y la garantía de la
calidad. En ese aspecto el comité de revisión también juega un papel.

Para las universidades, un papel importante de la EEC es contribuir a la auto-regulación.

Hasta 1985, el gobierno buscaba a menudo dirigir la educación superior a través de la
interferencia detallada y regulaciones estatales. La nueva filosofía de mayor autonomía
significa que las propias universidades investigan si sus propios objetivos y metas son
cumplidas y si el proceso de lograr los resultados y metas está bajo control. Esta auto-
regulación deberá, poco a poco, tomar el lugar de las regulaciones estatales. La auto-
regulación deberá estar basada en un buen sistema de evaluación y garantía de la calidad

Kells (1992, 1993) da la siguiente definición o conjunto de atributos de una universidad auto-
regulada. Dicha universidad:
• Revisa regularmente sus intenciones declaradas en el nivel institucional y de programa
(objetivos, metas, propósitos) para mayor claridad, consenso, interrelaciones y logros.
• Asigna la responsabilidad de la evaluación a una persona u oficina, para implementar los
resultados, para el seguimiento y para los vínculos con el presupuesto y el planeamiento.
• Construye un sistema de información activo, útil y en constante evolución, que contiene
tanto hechos como opiniones sobre sus programas y servicios. Escucha a sus clientes y
espera que los líderes y miembros del personal utilicen dicha información.
• Se examina periódicamente (programas, servicios, gestión) utilizando procesos de
autoevaluación y luego revisiones por pares para validar los resultados. También examina
a la institución en su conjunto -sus políticas, estrategias y dirección.
• Actúa sobre los resultados de las evaluaciones: utiliza incentivos y sanciones, redistribuye
recursos marginales -incluso elimina un servicio o programa de vez en cuando.

Las universidades enfatizan que el mejoramiento es el propósito principal de la EEC y que el

resto de los objetivos son subordinados de éste. Un comité de expertos no es un proveedor de
información para el gobierno ni un inspector económico, sino un espejo y placa de sonido
para los académicos. Pero dentro de lo posible, la EEC debe tener también un rol público,
aunque no se debe sobreenfatizar sobre la rendición de cuentas.
 24

1.12 Principios básicos de un sistema de EEC

El diseño de un sistema de EEC depende de los fines que uno tenga en mente. En la sección
1.3 explicamos que no siempre es necesario montar un sistema de EEC separado para lograr
estos fines. La mejor manera es diseñar un sistema de EEC orientado al mejoramiento de la
calidad y que la rendición de cuentas sea un efecto secundario (parcial). Se pueden formular
varios principios básicos para el diseño del sistema.

1. Debe ser claro, para todas las partes interesadas (gobierno, parlamento, instituciones
de educación superior, personal y estudiantes) que debe esperarse de la EEC.
Existen varias razones para decidirse sobre un sistema de EEC, como quedó claro en la
sección 1.3. Las expectativas sobre los fines y resultados de la EEC pueden diferir entre
gobiernos y universidades. ¿Elegimos un sistema de control de la calidad para medir la
calidad (en la medida de lo posible)? ¿Deseamos utilizar el sistema para la ubicación de
recursos? ¿O estamos planeando que el sistema sea un instrumento para mantener y
mejorar la calidad? Todos estos objetivos son legítimos. Pero la orientación debe ser clara
para todas las partes involucradas. No tiene sentido enfatizar la función mejoramiento y
luego usar los resultados para asignación o reasignación de fondos sin avisar a las
instituciones de educación superior que esto será realizado.

La elección "control y medición", a menudo deseada por los gobiernos, es legítima, pero
no debe esperarse demasiada cooperación por parte de las instituciones de educación
superior. Nadie desea proveer la soga con la que será colgado.

2. No sobrecargar al sistema de EEC con funciones sumativas y formativas. Es difícil

para la EEC servir a dos amos.
Cuando se formula el propósito de la EEC es importante tratar de combinar las
expectativas de las instituciones de educación superior y los deseos del mundo exterior;
será necesario tener en cuenta que la calidad se beneficiará mucho más de las
aproximaciones orientadas al mejoramiento que de aquellas orientadas al control. Por
ende es importante no sobrecargar al sistema con la rendición de cuentas.

Puede ser difícil para un sistema de EEC orientado al mejoramiento cumplir al mismo
tiempo una función pública. Será incluso más difícil que un sistema basado en la
rendición de cuentas contribuya al mejoramiento de la calidad.

3. La EEC no apunta a los rankings y no está directamente relacionada con el

financiamiento.
Existe hoy en día una tendencia a publicar rankings o listas de instituciones de educación
superior o facultades con "Los 10 Mejores". La evaluación externa de la calidad tendrá
ciertamente un aspecto comparativo cuantas más facultades estén involucradas, pero debe
quedar en claro que una comparación de aspectos de calidad no significa un ranking y no
apunta a ello. Los rankings son inapropiados porque sumar la evaluación de los aspectos
distintivos no tiene sentido; la evaluación detallada perderá su significado. Si los rankings
se vinculan a la EEC, será una amenaza para el mejoramiento, porque las facultades sólo
mostrarán sus fortalezas y no sus debilidades. Lo mismo se aplica a los vínculos directos
con el financiamiento.

4. La calidad es principalmente responsabilidad de las instituciones de educación

superior. Por ende, ellas deben ser los "dueños" del sistema de EEC.
 25

Este es uno de los principios cardinales: son las propias instituciones de educación
superior las responsables de la calidad y por ende de la garantía de calidad. El
mejoramiento de la calidad comienza en el nivel institucional y nunca puede ser forzado.
La EEC, como instrumento, no debe estar nunca en manos del gobierno, sino que debe
estar en manos de las instituciones de educación superior, las facultades, departamentos o
escuelas, y del personal. Por esta razón deben ser las instituciones de educación superior
las responsables del diseño y mantenimiento del sistema. Por ende:

5. Las instituciones de educación superior conformarán una organización responsable

de la coordinación y ejecución de la EEC.
La constitución y mantenimiento de un sistema de EEC requiere de coordinación por parte
de una organización interinstitucional, como la Asociación de Universidades de los Países
Bajos (VSNU). Este cuerpo puede estar conformado por las instituciones de educación
superior para organizar la EEC.

6. Un cuerpo externo a las instituciones de educación superior será responsable de la

evaluación de la evaluación, también llamada meta-evaluación, para prevenir la
degeneración del sistema.
Porque las instituciones de educación superior son las dueñas del sistema, debería existir
un organismo externo que mantenga al sistema transparente, honesto y confiable. Esa
autoridad evaluará a la evaluación, también llamada meta-evaluación. Este rol puede ser
ejercido por un organismo independiente similar la inspectoría, pero también puede ser el
ministro. Este tema será considerado en mayor profundidad en la sección 2.8.

7. La EEC no es nunca un fin en sí misma, sino complementaria a la garantía de la

calidad interna.
No tiene sentido construir un sistema de EEC sin un vínculo con la garantía de la calidad
interna. La EEC tiene que ser vista como un instrumento en manos de las facultades. Este
tema será tratado en mayor profundidad en la sección 2.3.

8. Los elementos básicos del sistema de EEC son (a) autoevaluación y (b) revisión por
pares.
Un sistema de EEC no podrá estar nunca basado sólo en indicadores de desempeño o en
trabajo administrativo. La piedra angular del sistema es una autoevaluación de la unidad
que está bajo análisis (ver sección 2.4). El segundo elemento es la revisión por pares,
"sostener un espejo" frente a la unidad (ver sección 2.5).

9. La EEC debe ser regular y cíclica.

No tiene sentido tener una única evaluación. La EEC debe ser realizada de manera
periódica. Una de las fortalezas del sistema es la habilidad de mirar al mejoramiento luego
de un cierto período de tiempo. El próximo comité preguntará que se ha hecho con las
recomendaciones de los comités precedentes.

10. La EEC debe volcarse en un informe.

Toda evaluación externa culminará en un informe. Pueden existir discusiones sobre si
debe ser confidencial o no. En lo que refiere a la rendición de cuentas, los resultados serán
publicados. El gobierno y las instituciones de educación superior deben acordar qué
aspectos serán tratados. El informe jugará un importante papel en el balance entre
mejoramiento y rendición de cuentas.
 26

11. Los gobiernos deberán abstenerse de tomar acciones directas basadas en los
resultados y dejar el seguimiento en las manos de las instituciones de educación
superior.
Por supuesto, el gobierno mirará como Argos los resultados de una evaluación. No será
siempre fácil mantenerse a la distancia y no interferir. Sin embargo, debe permitir, en
primera instancia, que sean las instituciones de educación superior las que tomen acciones
y hagan algo con los resultados. Sólo cuando una institución no hace nada con las
recomendaciones puede el ministro interferir. Si el ministro toma medidas antes de
tiempo, probablemente signifique el fin del sistema, porque ninguna institución cooperará
ni tendrá un diálogo abierto con un comité en el futuro. Pero supuesto, el gobierno quiere
saber si la EEC tiene algún efecto o no. Por ende el siguiente principio:

12. Las instituciones de educación superior informarán claramente en el informe anual

que es lo que han hecho o planean hacer con las recomendaciones.
Las innovaciones y cambios requieren de tiempo. Por ello no será siempre fácil mostrar al
exterior que la calidad está mejorando a gran escala. Una institución debería informar al
mundo externo que piensa de las recomendaciones de un comité y que hará con ellas.

13. Las instituciones de educación superior estarán resguardadas de evaluaciones

externas de la calidad realizadas por diferentes organismos o autoridades.
Las instituciones de educación superior están sujetas a varias evaluaciones. A veces la
educación superior es exprimida hasta la muerte por toda la atención que se le presta a la
calidad. En algunos casos las facultades hablan tanto de la calidad que no la brindan,
porque no hay tiempo para hacer nada con las recomendaciones y comentarios. Por ello es
aconsejable ser muy económico con la evaluación externa de la calidad. Si existe, por
ejemplo, una evaluación por un cuerpo profesional y una evaluación por un consejo de
financiamiento, se debe buscar algún tipo de acuerdo para utilizar los resultados de una
evaluación en la otra.

14. Costo-Beneficio
Por último, pero no por ello menos importante, debe quedar en claro que el sistema debe
ser efectivo con relación al costo. Debemos hacer una distinción entre el costo de una
facultad/escuela preparándose para la evaluación externa llevando a cabo la
autoevaluación y el costo del comité de revisión. Ya que la mayor parte de las
facultades/escuelas no tienen una tradición de la autoevaluación, la primera vez requerirá
de mucho tiempo. Cuanto mejor sea la gestión interna de la calidad, más fácil será la
autoevaluación. La primera vez la facultad podrá llegar a necesitar de seis meses para la
autoevaluación, la segunda podrá ser posible en un mes.

El segundo punto relacionado con el costo, es el costo de la agencia que evalúa. Este
gasto depende del tamaño de los comités, el número de facultades que deben ser visitadas,
etc.

La relación costo-beneficio estará definida por el valor de las recomendaciones de los

expertos. Las recomendaciones deberán estar vinculadas con las experiencias y
necesidades de la facultad. Será tarea de la EEC minimizar los costos y esfuerzos para
maximizar los beneficios.

1.13 Comentarios finales

 27

Antes de que un sistema de EEC pueda ser diseñado, se deben tomar ciertas decisiones. Al
hacerlo, se debe tener en cuenta lo siguiente:
• No trate de descubrir una definición de que es la calidad. Es una pérdida de tiempo. Sin
embargo, las partes interesadas (estudiantes, personal, gobierno, empleadores) deben tener
en claro cuales son sus requerimientos.
• Evite discusiones sobre indicadores de desempeño. También son una pérdida de tiempo.
• Sea muy claro en el propósito de la evaluación de la calidad. Debe hacerse un buen
acuerdo entre las instituciones de educación superior y el gobierno sobre sus
responsabilidades.
• Un sistema de EEC está basado en la autoevaluación, la revisión por pares y las visitas.