1

1
t
\

;
'

,
,

'

. .

; .
. Mientras mis- colegas y yo desarroll . . la estructura del CIPP, Robert
Stake desarrolla~ SP mtodo de Is figura de la evaluacin, que est incluido
en S\t mtodo respondente (vase unidad 7 ). Intercambiamos borradores de
. nuestras obras en 1966, y yo estaba interesado en saber si habamos desarro-
. . . Dad:independientemente mtodos similares o distintos.
L 8 coincidencia entre el CIPP y la estructura de la figura era conside . .
rable, pero tambin existan diferencias notables. Ambos mtodos exigan
t1na valoracin de los resultados, pero Stake destacaba la necesidad de localizar
tanto los efectos secundarios como los ya propuestos desde un principio. Era
una excelente recomendacin que ms tarde . incorpor en mi concepcin de la
evaluacin del producto, Su disposicin' de observar y analizar las transac . .
ciones que se producen dentro de un proyecto fue algo similar para la evalua-

cin del proceso. Aunque Stake no proporcionaba nada. anlogo para la eva-
luaci6n de entrada, tanto ~sta como la evaluacin del contexto podan ser cu-
biertas por lo que l llamaba la identificacin y valoracin de las condiciones
previas(las que existen antes que el proyecto empiece y antes de que el eva-
luador edtte en escena). Sin lugar a dudas, la utilizacin de cualquier mtodo
a 1 1 1 1 a valoracin del proyecto ms amplia que la que propona la con-
cepci6n tyktHna oric11tada hacia los resultados, Una diferencia entre ambos
~ocios era el llanado problema del punto de entrada. Al relegar la valer
racl6n de las MCesidadcs y los planes del proyecto a la categora de anteceden-
Ita, paruftl a111mir que el evaluador debera entrar en accin durante
t'1 t d"IJ ' a de la tftlkaci6n, cuando sera ms apropiado que se fijara en las tran-
~~ que estabati . oa1rricndo. El CIPP permita la entrada tanta antes
~ duraate el proyecte J : conceda la posibilidad. de llevar a cabo un solo
1. . . - :::~. - tP de evtluacldo (del ~to, de la entrada, del proceso o del producto) o
: ~ : t t : r f , } . ;. . . ~ au. ubinada, ~o de las necesidades de las audiencias.
~ favor de iniciar una evaluacin despus de que
completado para realizar un (o dar
. pues,to que ambos destacan la funcin perf eccio-
. u los dos mtodos estn concebidos para ayudar
. la evaluacin . p~a llevar a cabo sus tareas, el
~ Pua a r ms directamente ai personal y
'Y el m~tOdo CIPP se orienta ms hacia las nece-
-
. - .

o con otras recientes

'

. '

'
'
,

' . .
'
. .
. . dades de: los que planican y aaministran~os- pl' Qycetos. 0tta - diferencia 6ltte '
elles se refiere a las bases utilizadas por los dos mtodos P"ra llegar a conclu~
acerca del xito de los proyectos, En l mtodo de . s~a~e. estas cond-
personas y grupos que estn in~eresa?os en el pro~ec:to, mientras que , m
todo CIPP atiende ms a la satisfaccin de las necesidades valoradas. Am?<>s
mtodos evidencian una tensin yo creo que saludable entre la D~~enctn
, de un amplio concepto de un proyecto y la ada!' tacin de la evaluact?n ~la
satisfaccin de las necesidades informativas ms importantes de las aadiencias.
El mtodo sumativo- formativo de Michael Scriben ofrece un contraste
muy fuerte con el - ~todo CIPP y el acreditado (para una versin puesta al
da de su mtodo, vase la unidad 10). Defini la evaluacin como la deter-
minacin sistemtica y objetiva del valor o el mrito de un objeto, Y dijo que
la mejor puesta en prctica de esta definicin consista en encargar a un eva-
luador independiente que emitiera un juicio sobre un objeto basndose en
evidencias acumuladas producto de su comparacin con objetos similares a la
hora de satisfacer las necesidades de los consumidores. Llam a este mtodo
evaluacin sumativa y dijo que era mucho ms importante que la evaluacin
formativa, en la que un evaluador recopila y presenta datos y juicios que ayu-
dan al desarrollo de un objeto. Segn esta base lgica, S - ('1 970) denun-
ci que el mtodo CIPP era imperfecto porque ignoraba casi. totalmente el
papel fundamental de la evaluacin sumativa debido a su preocupacin por el
~ perfeccionamiento. .
En una reunin del grupo de evaluaci6n . May 12, Micbael Scriven y yo
debatimos los mritos relativos de la orientacin perfeccionista enfrentada a la
orientacin hacia el' juicio sumativo. Ms tarde, AERA puso el debate en mar-
cha; por as decirlo, y ambos fuimos encargados de codirigir y ensear al
equipo de cuatro institutos ambulantes. Como consecuencia, NIE nos encarg
presidir los equipos que iban a disear diversos planes evaluativos para los
laboratorios regionales educativos y para centros de investigacin y desarrollo.
A travs de stos contactos, acab convencindome de que las diferencias entre
nust~os conceptos de evaluacin eran ms aparentes que reales y de que refleja- .
han, sobre todo, distintas perspectivas y experiencias. En mi trabajo en Colum-
bus, una orientacin hacia un juicio de valor final y basado en conceptos exte-
rieres haba quedado ahogada, s in servir a las necesidades del personal, que pre-
tenda sacudir perfeccionar sus proyectos de la ESEA. Asimismo, dado que
Scriven haba estarlo ampliamente implicado en grupos asesores relacionados.
, con diversas evaluaciones nacionales- de currculos, es fcil comprender por qu
insiStfa tanto en ' las evaluaciones comparativo- sumativas. Sus audiencias prn-
cipalc$ eran los potenciales compradores de estas evaluaciones, que estaban
obviamente interes~dos en las . recomendacones acerca de las alternativas que
me jor les CO!lV e ran, y no en los datos que pudieran mejorar es as evaluaciones.
F~te, la compatibili<iad de nuestros puntos de vista se confum cuando
'

'
'

Stufftebeam: la evaluacl61 1 del Prfeclo1amlento 1 t87

'

. .
' .
'

E 5 C 1 1 ~ : e Q

l
Relacin del proceso real

> '

t t

Relacin de objet~vos y

bases pata,. su eleccin

junto con una, relacin
de necesidades, oporq
ndadee y prohlemaa
(onenta- ~ R(Spqnsabilizaci6n
cin J umativa)

Relacin de planifica-
cin y la estrategja es-
co~as y las razones
de esa deccl6n entre
otras alternativas

,
'
'

'
Gua para la el~c~n de
objetivos y asignacin
dei)tioridades
'
e o e a a Z;;;p?FiEJ SQ ' 1
t 1 5 E

1 4 3

'

S E 5
t E t r PO : 1 e a ;1 5 ,
'

'

I"
'
'

'

'

'
,

1. Q~ hecesidad~~ han sido pl8:t~adas, cul es. su tras~endericia e impor- '
tancia y hasta que punto los obJ et1v9s del proyecto reflejan las ne(:esidades
. valoradas. (planteadas por la informacin del ' contexto). ? , , .
2. Qu plan <le procedimientos, de personal y de presupuesto hit sido adop-
, tado para plantear las necesidades, qu alternativas se han considerado
por qu se ha escogido ~na y no las. otras, y hasta qu punto era una p r
. puesta r:izonable, }loten~almente exitosa' y efectiva con relc!n a sucoste,
para satisfacer las necesidades valoradas {planteadas por la informacin de
entrada)? . . f
. 3 . Hasta qu punt~ se ha relizado el plan . aeI proyecto y cmo y ~r q~
razn se ;ha modi~cado. (planeesda ~ la informacin d. d procesQ)' ?
4. Qu resultados P?stttvos y neganvos, buscados o no . se han - obsef~:' .
. . ' . vadi:>, c6mo han juzgado los distintos clientes el valor- y el mrito de los
, resultados y hasta qu ,,Punto han sido satisfechas la~ nccesid. , dll , d l
bl 6 b : . l 1 d. ( fo. 1 C$ ' e.
, p o ac;t n o J eto oe es tu tQ 1n rmacin de prodgct9)? . . . .
1 ~ 1

,
<; '
_ . , . . \ ,
, f ,i ' :
1 - _ . ,;l 6" de~ ~ue;tro~ . dos equipos . para NIE resultaron set muy simi-
as p an1 c~c1ones . . R 1 '72) .
l
. 1 so hab1ndose desarrollado ndependientemete ( EXNff. ARD,, z ~ . . ,
ares, mc1u ~ . d d d 1 ili
~ Sin embargo, estas experiencias reafirmaron 1~ nc:ces1 a ~. e ar . ~ar Y :;;
ampliar el modelo CI?P, para asegurarse de que sat1~f ana las neces1da. de~tanto
de las evaluaciones sunativas como de las comparativas. De ?lerdo con esto,
escrib un articul sobre la aplicabilidad del mtodo CIPP a la contab~iclad
{S~fFLEBEAM, 1971 ). En este artculo, yo, caracterizaba la ~va1uaci6~ desti- ,.
. . nada a la toma de decisiones como formativa o. proactfva por nafut:11eza, Y Ia : . . ,
. evalucin destinada a la responsabilidad como sumanva o rettoacttv' : El . ar ,.
tculo fue. escrito principalmente para exponer una versin d~l ' esquema presen- :
tado en la tabla 6- 2. Este esquema muestra que las evaluaciones del eontexto,
de entrada, del proceso y del producto pueden serutilizadas t?nto como guas
para la toma de decisiones, funcin formativa, como para suministrar inf?rtna- ~
. : - e : . . t f f l ~ : ~ ~ ~
~ cin para la responsabilidad, funcin sumativa. J . . , , . ,
Basndose en este esquema, los evaluadores pueden planificar y realizar la
evaluacin con el fin~ de ayudar al personal a proyectar y lleyar a cabo su pro-
grama. EJ ejando aparte la estrechez o amplitud de los requisitos; inf- oimativps .
de los que realizan el- ' programa, pueden tambin pensar . e intentar. satisfacer
todas las necesidades informativas de las . audiencias externas que- ~algn da

desearn llegar a conclusiones acerca del valor y el mrito de ese, trabajo de

perfeccionamiento. - ,Adems, pueden realizar una relacin de la informacin
~ "
recopilada y evidencias sobre hasta qu punto la han utilizado como gua para
. su trabajo. Aunque esta informacin puede que no responda a todas ' las pre- ,
guntas de un evaluador sumativo externo, ayudar; sin lugar a dudas, a aclarar
algunas de ellas. Especialmente, si el mtodo CIPP se lleva hasta el final, pro-
porcionar informacin muy til para plantear las siguientes preguntas;
'
,
,
J
Stufflebeam : la evaluact n del peifecclohamtento 1 1 89 ~ .

. .
"

. .
'
1
1
1

'

'

'
'

. .

. .
'
. - . - . - ~E C P como Hiratega' "p ara el perfecclonam(ento de (os sistemas
' '.
Evaluacin als tem6tlca
190

. ,

,
>

U>Eot ,
0
con las orientaciones de Stake y Scriven, el CIPP est ms
en la lnea de los sistemas de educa. ci~y_ _ ~~yicio$ h~m~~s~ose ~oficentra
. demasiado en sttvfr. _ de 8!:Pa para la realizacin de un . estudio individual, sino
ms_ ,bien en proporcionar u~?~- servicios de evaluad~~ c~n~~~~~P!!. ~~l toma
de dCjsiones_ d- a- ms}}!Y ~~- d~tmjpJ lda. Se basa especialmente en ~
concepto de que el ro sito ms importante de una evaluacin . es demgs-
trar smo ~~. Qgar. Esto se opone a los que afirman que las evaluaciones
deben s er cazadoras de brujas> o simples instrumentos de responsabilidad.
~
Por el coatraro, considera que la eval' - !_ ~~1! ~ UJ :!_ ~s~ument~. p~~~n1. ?~!- . ,
q' le lo. e. rB!!ma . . ~e~mejo_ ~~ para la gente a. J a. . . . que deEen sennr. Esta
postura"' "~coherente con la que recientemente han expresado P ATTON (1 978)
y CRoNBACH y sus colaboradores (1 980) (vase unidad . 5). De cualquier forma,
' ( las orientaciones del CIPP no estn concebidas pata reducir la probabilidad
~
de que algunos programas sean indignos de una mejora, por lo que se debera ,
terminar con ellos. Promoviendo la elmnacn de programas innecesarios o
desesperadamente imperfectos, las evaluaciones tambin cumplen una funcin
perfeccionista, al permitir que los recursos vayan a parar a trabajos ms prove-
chosos. Fundamentalmente, la utilizaci6n del modelo CIPP est concebid. a paa
p~mover . el 4esat:rollo y ayudar tos directiv~s y- pe. - sc;arresPonsables de
tina institucicSn = a- : Obte erw "y ~u~ilr 11na informaci6n c0nti1!~~- 3 _ . . j. st. em. tic~
con el fin 4c satisfacer las necesidades mas' - ~J a2rt?!cii. - ~ I menos, hacer .
lo posiQle. _ con: los . . . . _ . . - - . . - a . . C: gruc. ~iSMng . . . . arl. '. .
- w ,, . . . . . . . . . , . . . u. . ,, _ . . . - ""' ' 1' . - . . - . . . . . . . . . . . . . . . .
Esta orientad6n, que ayuda ~mantener y- mejorar la calidad de. las opera-
cioncs institucionales, aparece ilustrada en el diagrama de la figura 6- 1. Em-
pezando por la izqierda, puede comprobarse que las operaciones de una es-
cuela, . o cualquier otra instituci6n, incluyen diversos y quiz 1 ,lO coordinados
trabajos ~aluativos, pero tambin que, peridicamente, la institucin necesita
. a una . evaluacin especal del contexto. Una evaluacin de este tipo
p u~ examinar las necesidades de los clientes de la institucin; exponer opor-
tuniaades CQDlO programas de subvencin, avanzadas tecnolegas educativas o
iQ(iustrias con . . ibildad y capacidad para ayudar a la nst tucin; reco-
~ Y examina~intuiciones acerca de los problemas de la institucin que ne-
caltao un cunbi~; y valontr leficacia de las metas y prioridades instituciona-
~ . l: J ~ ~~ del ~atcxto puede estar motivada desde dentro de la
- lDltltt~ C01 4 0 una. ,al0Uci6n regular del estado - de la institucin o como
~- . . ' lllelta ~ a&etorcs que estn insatsf echos con la labor de la
otti~~ ~ cva1nacida del. contexto puede tambin estar motivada desde
taJ A~. ftll' cuando UD agencia acreditada pide un auto-
- ~ ~ <le subvenciones pide una valeracin de. las
~ justificar una solicitud de. fondos. Estos estudios
'

pueden estar diri,gidQ$~cia_ i:ea!i. d~. ipj~. . . $ ,es~~s . centradas, m~i~

ralmente, en una amplia gama de funciones de la mstttucr6~ En general> ~tos
estudios ayudan a la renovacin del sistema y a la promocin de un mejor Y
ms eficiente servicio, al diagnosticar problemas con~retos Y m?<1~de. perfec . .
cionamiento, y comunicar los puntos fuertes y dbiles de la insttucin res-
pecto a su ciscunscripci6n. .
Los resultados de la evaluacin del contexto, idealmente, pueden condu-
cir a una decisin acerca de la introduccin de algn tipo de cambio en el
sistema. Si la decisin es en sentido negativo, el personal de la institucin
debe continuar con las operaciones del programa de costumbre. Por el contra-
rio, s i se toma la decisi6n de cambiar, de alguna manera, la institucin, el
personal del programa debe clarificar el problema (o problemas)_ que d~be(~)
ser resueltos) y formular sus objetivos. Seguidamente, deben considerar si exis-
te alguna estrategia de solucin clara y apropiada, as como fcilmente adapta-
ble a su situacin. Si la hay, deben adoptarla y redirigir su atencin hacia su
utilizacin y evaluaci6n en el programa, ya en marcha, de la instituci6n.
Si no aparece ninguna solucin satisfactoria, el personal, de acuerdo con el
diagrama, debe realizar una evaluacin de entrada. Una evaluacin de este
tipo debe localizar la literatura ms importante, interrogar al personal de otras
instituciones que hayan tenido xito en un problema similar, fomentar el in-
genio y la creatividad del personal de la institucin y de los grupos de clientes,
y, posiblemente, contratar a expertos del exterior. Ms tarde, se encargar a
uno o ms equipos que propongan una o ms posibles estrategias de solucin.
La(s) propuesta(s) resultante(s) deben ser valoradas segn criterios como el
inters que tienen para las necesidades, problemas y objetivos establecidos, su
solvencia y ' SU viabilidad. ,
Loa :resultados de la evaluacin de entrada pueden ser utilizados para de-
cidir s i ha sido hallada una estrategia de solucin lo suficientemente promete-
dora como para seguir adelante con su desarrollo. Si no ha ocurrido esto, el
personal debe considerar si el cambio deseado es lo suficientemente importan-
te para continuar la bsqueda y, si lo es, debe reemprender la bsqueda de
otra estrategia de solucin. Si se ha encontrado una estrategia prometedora,
d personal debe decidle s i esta estrategia puede ser justificadamente adoptada
sin compro~. S la estrategia es bien conocida y el personal se considera
capaz~~aplicarla, debe desviar su atenci6n a la incorporacin del cambio en
las actlV tdedes regulares que lleva a Cabo, sin el apoyo de evaluacin especia-
lizada alguna.
. P or el contrario, s i decide su comprobaci6n, debe dirigir su atenci6n hacia
un- en de la estrat~a y someterla a una evaluacin del proceso y del
p r~ . por el perodo de tiempo que sea necesario para analizar el proced-
mJ CQto Y alcanzar el nivel ~tativo deseado as como la habilidad suficiente
~ SU aplicacin. De ualquier forma, si; en algn punto, eJ proyecto no se
~anolla satisfactoriamente o su coste es considerado alto, el director de la
Stufflebeam: la evaluacin del p erfecclonam1 entO 1 1 91
'

'
'

"!
1

.
ins. tituci6n puede decidir que no se contine el trabajo y, de acuerdo con esta
conclusin, terminar con l. Estas decisiones se toman frecuentemente al final
de los proyectos . subvencionados federalmente, cuando se ha de decidir si deben
concederse los fondos locales para la nstitucionalizacn de un proyecto. Como
se muestra en la parte inferior derecha del diagrama, incluso si un proyecto ha
tenido xito, el director de la institucin puede determinar que las - ccndicones
de la institucin han cambiado lo suficiente como pata que ya no sea necesa-
rio el cambio que se haban propuesto y,'como consecuencia, dar por finalizado
el trabajo. Si supone que el proyecto es. un xito y que la solucin proporcio-
nada an es necesaria, la nsritucin debe seguir aplicando el proyecto y volver

FIGUM 6- 1.
'

No
S {
Sl
'

'

Evaluacin
del proceso
y del prod\lcto

R~liaci6n
de un proyecto
es pedal

Si
Si
No
No
Evalurdn
de entrad

No
,
1 Ev es
p eri6diCas
del contexto

'
Ddiniclo
St del problema
y bmulad6n
de los objetivos
No

Aplicadn

de la

solucin

~

Si

. . . '
Evaluacin slstem6tlca
Merece
Rendi-
An
necesitay
No
el proyecto

Fr. ctso
miento
desea un
Ot r o
satisfac
. ,lud6n?

' . intento?
. . too?

'

,,
'

,
'
' .

'

' > I
Adems de considerar el mtodo CIPP en un conreare institucional o de
sistemas, es instructivo examinar ros de . cerca cada tipo. de estudio . . La matriz
de la tabla 6- 3 se presenta como un til Qnorama,de los sigriicados esencia-

'
. P anorama ' de las c. ategor as del CIP. l!J

'

,
1
~ ' 6.

'

'
1. La evaluacin es una parte integrante del programa regular de una ins-
titucin y no slo una actividad especializada relacionada c~n proyectas .
de renovacin, y el perfeccionamiento del CIPP O de cualquier otro m-
todo especializado es slo una parte del mosaico de la evaluacin formal
e informal de la institucin, - e
2. La evaluacin desempea un papel vital en la estmulacin y planificaci6n
de cambios.
3 . L a utilizacin de cada tipo de evaluacin del modo - CIPP est indica- '
da slo si es necesaria ms inf ormacin de la que ya, existe, y no por el
valor intrnseco de cada clase de evaluacin. En otras palabras, las evalua-
ciones del contexto, de la entrada de datos, del proceso y del producto son
slo una parte del gran marco evaluativo de cada mstitucin, y la funcin
ms importante de estos estudios encargados. es servir a las necesidades
marginales, en lo que se refiere a la informacn evaluativa, de la insti-
~
tucin. . < "'- .
4. El desarrollo de nuevos programas debe incluir una previsin acerca de
su utilizacin prctica de la evaluacin, una vez que hayan sido aceptados
a travs de algo relacionado ron la evaluacin con insercin de currculo
'
(en la que la evaluacin se construye mediante la realizacin de un currcu-
lo Y ~ automticamente, proporciona una retroalimentacin til para el diag-
. nstico, prescripcin. y comprobacin de los progresos).
' La inf ormacn de la evaluacin no slo proporciona. una gua para resol-
ver problemas institueionales, sino que, si se realiza de cara a una revisin
. pblica, tambin . proporciona una base para juzgar si las decisiones acerca
del fracaso o nstitucionalzacin de un proyecto especial se toman desde
posiciones . justificables. ~ . , ~ .
Las ' decisiones acerca' del principio, mantenimienrc, , aplicacin <Y final' de
los programas o . de . su perfeccionamiento, casi siempre ' reflejan fuerzas.
dinmicas - racionales e irracionales que van m,s all de Ia esfera de
estudio e influencia del evaluador. . ,

'

Stfflebeam. la evaluacin del p erfeccionamiento 1 t. 93

' >
1
' ' ji h
a fas ;Peraciones re~lares, Incluyendo la evaluacin regularizada del program~
que est en marcha. . .
El anlisis de la evaluacin precedente, en el contexto de. un proc~so de
' cambio institucional, reafirma muchas importantes caractersticas propias de
un mtodo sistemtico de evaluacin;
'

'
\

.
I
,.

"

. . . " - .
Controlar . las limitaciones Definir QI)~racionalp~te Y .
potenciales del proced- ~alQtar los t crifei;i0;s a~los
miento y permanecer aler- ~ , resulta~o~,, meqiante' 1a .
ta ant~ las que. se recdpil~cin de los. juicios . . . . ,. . ,
esperaban, medi~te . la t de Ios" cli~ntes y ~ la rea-
< o~ten_ ;i6n de i~ferma~i?n . i: z' con de. ~~is~s cu~t( . .
especfica . de las decisio- ""1 t~W ' QS i CQilJ lt1 ta. t1 vos . 1 . ,' 1!
, ~e$ programadas? la des- ~ ,, . . . ~ ~ ~. ' k' ' - 4:i . . t\ : fi:
. cripcn del pi:~eso rea], ~ ' > . '
la cot)tinuanfera~. < fon~,
\
, el personal del. ~~fOyeeto y
la ' observaci' tj" d' e su~ ~,. . '
. tlvida1des~ .

t
. Recopilar 9escrinc1ones yl J W
ci<?s ~acerca. de los - , tsiP,ta
do~~r. ela,cionaylos. co1J f . 1os
. objetivos ~la mlottnac16n
~P}ow rcionaaa ~ !. l ~n . .
texto, por- la en~~~d:a ~e
datos y' ~ t el pt9(:- es~e.
hltrprotar ~ ~ valor y ~u .

m~tjto.

l '
. . . f
. . . .
. .

. . ,
'
. ,

'
1

'
'
,

' <
' .
Inventariar y analizar los re-
cursos humanos y mate-
riales disponibles, ' las. es-
,
ttategias p e ~olucin y las
estrategias de' >prc>cedimen- :
to r~fr,entes a su aplic-
bilidad,
1
vibijidad y. eco-
, nom a. Y utl~jzar mtodos
como Ia- bsque4a de bi-
1
bli0gJ ' afa, las visitas a"
. ttrogramas . ej~niplares, les
. . . . .
grupos a~0$9res. , ~ensayos .
nfi. OtQ. 1 ,
l f ~
'

, .
J J til' izacin - de mtdos como
el anlisis de. sistemas, la

inspeccin, l~revisin de
documentos. e ~udici?":"
. nes, las entrevstas, 1 0~ 1 1;
tests diagnsticos y - ~ a. - tc . .
nca Delphi,
' - '
1

' ,
. . Eval uacir z
"
' '
Identificar . Y valor- al' la ca" Identificar o pro~osticiu:, du-
del sistema, las rante, e~ proceso, los
de program , de la Planificacin
altern1lt' ivs, ' Ia . pl anif ic~ - ~ : del procedimiento o de: su
de procedmeritos, realizaci6n, proporcionar
para llevar a cabo las es- ~. infonnacin para las de- "
. . . f '
t1a~~gias, los presupues- esories ~prprogramadas y
tos y los programas. _ ~ descr:ib. ir y juzgar }~ ac-
. . , tivdades . y aspctos del .
r procedmento.
4

,
r
. .
. . .
Definir el . contexto institu' !
conal, identificar la' , po- . .
blacin objeto del estudio
y valorar sus necesidades,
ideptificar las oportunida. .
'+
des de satisfacer las . nece- ,
sidades, diagnosticar . ; los J
que subyacen ~
en las . necesidades y jitz-
gar si los objetivos "pr- ,
puestos son 10 suficiente-
m$ftte cohernts con las
necesidades valoradas. '

MtP tl .

,
"

-
Objetivo
'
t .
1

.
9' TAB~A 6- . 3 .
t' . 1 ')

. .

'. }
1
1
J

1
'


:

"tJ
(1
;-

() . .
-
o
::)
,l
9.

,
'
i:kcidir 1- o nt . in1 1 acir s ~ N
~e la cttvj?. '
I! dd del caqJ bio. Y \, Ptf
sentar un . nfortp e . clll'D
de los efeetos (dese. ados f
1 ' ~
n<?. deseados, . positiv,os, y.
negativos). .
1
~ \
'J ' ~

'
,. 1 ,,, ~
f " -
' r. . . , 1: ,. .
~ el 1 f l al 'CO que debe Sclccqonfl' los y
. llCl' birde, J u ' las de . . . ' ;
; . rd11Cfon1du con i. sitie- : sol\\. _ ciity las.
;< fecin. de 111 necesidades ~ ' t l t J ' oc J ' ptQCedimi~tos, es- r esto ~ es, - : ~ect:Uar . un con- '
. o ). utifiz. clcsn de las to es, 1115 act- . trol ' del ' proceso. Y pro-
opottw dadcs y los ~idadcs dd. cambio, Y pro- , porcionar un esbozo del
' ,
relacionados con la . poreionar una base para . proceso real para . utilizar- ,
solucl_ 6n de los problemas, ~ j~gar la reali~acin. lo ms tarde en" la nter-
. J ior ejemplo, la, pl 1 1 nif i~ a- pretacin de los resulta-
de los cambios nece- - . dos.
+ '
sarios. Y proporcionar una
~ bal para juzp r lo~
tados. . . . .

. . . .
l
. . . .
)'

1
l
. . >I
1

. . . . . . '. ~

'

r I
r

'
I

, .

. . ~

. '

'

Eval uacl 6n

. . .
les (fe fa evaluacin del contexto, de entrada, ' del proceso y del producto. Estos
cuatro tipos de estudio son definidos con. relacin a sus objetivos, sus mtodos
y sus utilizaciones. . ,
~ ~~- - ' :6' - ' - . - 11 - "'! . . . . . . . . . . .
- 1 96 j EvaluacJ n sistemtica

,
I
.

\ : La principal, orientacin de la evaluacin 9ctl contexto es identificar las

\ t . . . ~ ~ . ,
. virtudes y defectos de algn objeto, como una mstrtucrn, un programa, una
poblacin escogida o una persona, y proporcionar una. gua para su perfeccio-
namiento. Los principales objetivos de tipo - de estudio. son la valoracin
del estado global del objeto, la identificacin de ~us. deficiencias, la identiica- :
cin de las virtudes que pueden subsanar. esas deficiencias, el diagnstico de
~Iost problemas cuya solucin pueda mejorar el estado del. objeto y, en general,
la caracterizacin . del marco en que se desenvuelve el prog. r ama. Una evaluacin
del contexro tambin est des finada a, examinar las metas y prioridades exis-
tentes estn en consonancia con las necesidades que deben, supuestamente,
. ' -
satisfacer. Cualquiera que sea ~l objeto central, los resultados de una evalua-
cin del contexto deben proporcionar una base slida para el ajuste (o el esta-
blecimiento) de metas y prioridades, y para la designacin de los cambios
. .
necesarios. . {. ! ~
L a metodologa de una evaluacin del contexto puede incluir upa gran.
variedad de valoraciones del objeto ae ihter~. y diyersos tipos de anlisis, El
punto de partida ms comn es, entrevistar a ~los clientes del estudio con el
fin de tener acceso a sus puntos de vista acerca de Ias virtudes, los defectos y
los problemas. Las audiencias, las reuniones de l~ . . comunidad y las consiguien- .
tes entrevistas deben estar destinadas a generar hptesis adicionales acerca
de los cambios necesarios, Estas hiptesis pueden- ser ' utilizadas para construir
un instrumento de estudio, que puede ser aplicado a una muestra cuidadosa-
mente escogida de clientes y servir, ms generalmente, para todos aquellos
que deseen proporcionar dats de entrad, tealizand finalmente un anlisis
separado de las respuestas de ambos grupos, Los informes ya existentes deben
ser tambin examinados para idntificar los modelos de trabajo y la informa-
cin previa. Puede aplicarse tambin un ' test diagn6st~co. especial. Y contratar-
se a un experto para q~e visite, observe . de~cerca y jmgue el valor. y el mrito
de un programa. A lo . . largo del estudio, un comit asesor representativo de
los diversos grupos de clientes puede inter~enir en la clarificacin de las cues-
tiones evaluativas y en l:mterpretan e los resuf:tac;Ios. Una tcnica que
tienda hacia el consenso, como la De~phi, puede set ' utilizada pata asegurar
acuerdos acerca de las necesidades prioritarias; . y . debe existir un taller de; tra-
bajo que ayude a los clientes a estudiar y aplicar~los resultados. . . . - 't. l. ,,,
l ' .
Una . evaluacin del: contexto puede tener muchas utilizaciones cnstruCti-
vas. Puede proporcionar un medio para quf- J . n d. istri~o escolar se comu. nlgu~ v
?; ' . . . . .
1 '
)
v

'
}
,

La principal orientacin de una evaluacin de entrada es ayudar a prescribir

un programa mediante el cual se efecten los cambios necesarios. Esto lo reali-
za identificando y examinando crticamente los mtodos potencialmente apli-
cables. Es una anunciadora del xito, el fracaso y la eficacia de un cambio. L os
proyectos de cambio estn limitados por decisiones iniciales acerca de cmo
deben asignarse los recursos, y una solucin a un problema, potencialmente
efectiva, no tiene. ninguna posibilidad de impacto si un grupo de planificacin
no identifica y valora, por lo menos, sus mritos, cuando se est estructurando
su proyecto de cambio. . . .
Esencialmente, una evaluacin de entrada debe identib. ~ar y valorar los
mtodos aplicables (incluyendo los que ya estn operando en el principal pro-
grama de inters) y ayudar a explicar y desmenuzar el ' que se ha escogido
para su aplicacin o continuacin. Tambin debe . buscar las barreras que
1 limf
. .
tan el marca ambiental de los clientes, las limitaciones y los recursos poten. .
cialmente utilizables que deben tenerse en cuenta en el proceso, de activacin
del ~ro~ama. El pro~sito ~loba! de un~. evaluaci6n de entrada es ayudar
a los clientes en la consideracin de estrate~tas de programa a}ternativas eri el'
contexto de sus necesidades y circunstancias ambientales, as como desarroll ar
un plan que sirva a aus propsitos; otra :npo. ttante funcin que dcsernpefia
\

Eval uacin de e nt r ada

'

, r
'

con supblico con el fin de alcanzar una concepcin compartida de a$ virtudes

y defectos del distrito, sus necesidades y oportunidades y sus necesidades pro-
ritaras. Puede ser utilizada para convencer a una agencia de subsendoues de
que el proyecto propuesto se refiere a un rea de urgente necesidad; o convn-
. cer a un electorado de la necesidad de aprobar unos dmpuestos. Puede ser
utilizada para formular objetivos referentes al desarrollo del' personal y/ o
la revisin del currculo. Puede ser utilizada para seleccionar escuelas con-
cretas que necesiten una ayuda prioritaria. Desde luego, a menudo puede ser
utilizado pata ayudar a los estudiantes y a sus padres o asesores a centrar su
atencin en las reas de desarrollo . que requieren ms progreso. T ambn
puede ser utilizada para ayudar a decidir cmo interrumpir programas, con
la esperanza de ayudar a la institucin a ser ms fuerte hacindose ms pe-
quea. Creo que stos son ejemplos importantes de 'Cmo una evaluacin del
contexto puede ayudar a individuos y grupos a establecer prioridades en los
trabajos de perfeccionamiento. Tambin puede utilizarse ms tarde, cuando es
necesario valorar lo que se ha conseguido a travs del perfeccionamiento del
proyecto. U na base para juzgar los resultados consiste en valorar si responden
adecuadamente a las necesidades identificadas durante la evaluacin del con-
texto. Finalmente, la evaluacin del contexto es un medio pertinente para de-
fender la eficacia de las propias metas y prioridades. .

. -
. ~
Stufflebeam: la evaluacl~n del p erfQq9IQnamlen~ 1 ~97
.
' ,

. '

, . .
,

,
,
. . .
as ayudar a ' los clientes a evitar la infructuosa prctica q~consiste en pera~
innovaciones propuestas que, sin duda, fracasarn o, por lo menos, acabarn
con . sus recursos. . . .
. . Los mtodos que utiliza pueden ser descritos en una serie de etapas, aunque
no existe . nnguna secuencia de pasos . que puedan seguirse para realizar una
evaluaci6n de entrada. . PUede empezarse revisando. el estado de la prctica
con respecto a la satisfaccin de las necesidades especficas: esto puede hacerse
' ~ecliante el estudio de la. literatura ms importante, el contacto con programas

ejemplares, la consulta con expertos y representantes; del gobierno a propsito

de los pertinentes servicios de informacin y la aceptacin de propuestas del
,
personal im. Plicado. Esta informacin debe. ser ordenada en una planificacin
especial y Sometida a la profunda investigacin de un grupo especial de estu-
dio. . Su investigacin debe Ilevarse a cabo durante un cierto perodo de tiempo
a ' travs de un grupo especial de decisiones. Este grupo puede utilizar las in-
' "
formaciones para ' valorar ~~i existen estrategias d soluciones potencialmente
'
aceptables. Adems, puede valorar los mtodos propuestos y su efectividad
y viabilidad potenciales, adems de aconsejar al personal y a la facultad acerca
de la bsqueda de una, nueva solucin. Si se ' busca una renovacin, el cliente

y los. evaluadores. deben definir los criterios que debe cumplir esa innovacin,
estructurar una solicitud de propuestas, obtener diversas propuestas y valorar-
las segn su efectividad y viabilidad potenciales. Ms tarde, los evaluadores
pueden analizar y ordenar las propuestas potencialmente aceptables y sugerir
cmo pueden combinarse las mejores caractersticas de cada ;u~a. Adems, los
evaluadores pueden llevar a cabo un modelo de audicin en la que el personal
y,- 1los a~hstradores estn invitados a expresar sus intereses y hacer tina
estimacin realista de los recursos y barreras que, de alguna manera, necesitan
abordar durante el. . proceso de designacin de la solucin. .
La es un procedimiento relativamente nuevo para
la . realizaci6~ de evaluaciones de entrada y . merece una consideracin especial,
Esta tcnica. es especialmente aplicable en situaciones en las que no . . se, dispone
de los lp~Qpados. medios efectivos para satisfacer las necesidades especficas.
~ renen dos o nis grupos de expertos, fijan los objetivos por los que es ne-
cesario un programa, proporcionan especificaciones para la planificacin de las
propuestas del. programa y orientan hacia los ' Criterios mediante los que deben
se~;jt;J Zgadas las diversas respuestas . . Los informes del grupo, asesor son valora-
. dQS . P 9. f un plantel de expertos y/ o mediante test pilotos, de acuerdo con. cri-
i;~s- ~reesta. blecidos. ~as sigajette~ etapas implican a los miembros del con-
j1mt9. . de. U,~aris. para que . Q~~ con _ . . las mejores caractersticas de las
~)~ estrate~s . escogidas . . ~as. ventajas ~de la tcnica del grupo - asesor son
a~ . oa: 1) u~. cprocedimiento explcito para generar y valorar . diver-
~ ' ttf:' * . ptQgr4l!!~cas; 2) un informe - explcito acerca . de p or . q_ u ha
i . a ~~~inada e1trat~gi~. de . . solucin, 3) un jribunal que utiliza, las
:~~- . . y . a ~. tn~titi\tdaq para <pa bsqueda censtmctva de

'1 . 98 l Evaluacin s is temtica

,

,
,.
\

En esencia, una evaluacin del proceso es una comprobacin continua de la

realizacin de un plan. Uno de sus objetivos es proporcionar continua in-
formacin a los administrativos y al personal acerca de hasta qu punto las
actividades del programa siguen un buen ritmo, se desarrollan tal como se
haba planeado y utilizan los. recursos disponibles de, una manera eficiente.
Otro es proporcionar una gua para modificar o explicar el plan tanto como
sea necesario, puesto que no todos los aspectos de un plan pueden ser deter-
minados de antemano y algunas de las decisiones iniciales. pueden demostrar,
ms tarde, ser infructuosas. Otro objetivo ms es valorar peridicamente hasta
qu punto los que P. articipan en el programa aceptan 'y son capaces de desempe-
ar sus funciones. Finalmente, una evaluacin del proceso debe proporcionar un
extenso informe del programa que realmente se est llevando a cabo, comparar-
lo, con lo que se hab a planificado, establecer un recuento total de los distintos
. ,
costes de su realizacin y saber cmo juzgan la calidad del trabajo tanto los
observadores Cmo los participantes. . .
El eje central de, una evaluacin del proceso solvente es el evaluador dl'
proceso. Ocurre a menudo que el personal de un programa- fracasa al intentar
obtener una gufa para su realizacin y documetacin para sus actividades, lo
cual se debe a un fallo- en la asignacin de los trabajos. A menudo, se asutile

, ~
err neamente que los administrativos y el - personal pueden deben realizar
un adecuado- trabajo de evaluacin . del proceso como :patte" normal de sti'

Eval uacin 'de l pr o ce s o

. ,

atratl\7as; - y- ~)~- un mecfio para implicar ar personal en el sistema . adop~ado,

ya sean miembros del grupo asesor o miembros del grupo que realiza I~ac-
tividades de convergencia y operacionalizacin que siguen al ordenamiento
de las distintas estrategias. Encontrar tns informacin, Incluyendo UD manual
. tcnco y los resultados de cinco tests de la tcnica, en la tesis doctoral de
Diane REINHARD (1972). '
Las evaluaciones de entrada tienen muchas aplicaciones. Una de ' las _ prin-
cipales es preparar una propuesta para someterla a una agencia de subvencio-
nes o a la junta poltica de una institucin. Otra es valorar un programa ya
existente y decir si se opone a lo que se hace en otras partes y a lo que propone
la literatura. La evaluacin de entrada se ha utilizado tambin en el distrito
escolar independiente de Dallas como sistema para investigar las propuestas
locales de renovacin, cuyos costes previstos podan llegar a exceder a los
beneficios previstos. Otra utilizaci6n consiste en proporcionar una estructura y
un tribunal mediante Io8 cuales grupos histricamente antagnicos puedan
llegar a un acuerdo en algn tipo de accin. Adems, los informes procedentes
de una evaluacin de entrada ayudan a los responsables autorizados a escoger

un tipo de accin entre otras posibilidades.

<

Stufflebeam: la evaluactn del p erfeccionamiento 1 199

o.
2QO ,f EvaJ uaon elatemltlce

,
. .

.
~ . ,

'

~ . . . ' : J
El propsito de una. evaluacin del producto es valorar, interpretar y
juzgar los logros de un programa. La continua nfor111aci6n acerca de estos
logros es importante tanto durante el ciclo de un programa como en su final, .
y la evaluacin del producto debe, a menudo, incluir una valoracin de los efec-
tos a largo plazo . . El principal objetivo de una evaluacin del producto es
averiguar hasta, qu p~nto el programa ha sati~fecho las necesidades del grup o
al que pretenda servir. Adems, una evaluacn del ~producto debe ocuparse
ampliamente, de los efectos del progra~~; incluyendo los efect~deseados y: n.
deseados> ast como los re~~~tados positivos y negativos. . .
Una evaluacin del producto debe recoger y analizar juicios aceta del
xito del programa, procedentes de una amplia gama de gente relacionada
con d programa. . A. veces deben compararse los resultados del - programa que

'

<

Sval uaci6n de l pr o duct o

' .
. ,
,
'

. '
- . . - ~. . . . . . . . "' . . . ,. . . ). . . ,. .
~ "' . . ~ - '1 :
:. . ,;c. . . - . . . . _, :4M~ . .
, . . . . . _. . . . , . M~
aei personal, el evaluador puede proyectar futuras s:si~es informativas, mo-
dificar tanto como sea conveniente el plan de recopilacin el~ d~tos Y . ~ar
en consecuencia. Debe demostrar continuamente que el propsito - princpal
de la evaluacin de un proceso es ayudar al personal a llevar a cabo su pro-
grama> a travs de una especie de proceso de cualificac. i6n. ~lo largo de este .
proceso interactivo, el evaluador debe preparar y- archivar informes acerca. ~e
su opinin sobre cmo est realizndose el plan del programa. Debe describir
las principales desviaciones del plan original, y debe especialmente tornar nota
de las variaciones experimentadas por el programa en lo que se refiere a las
distintas personas y subgrupos que llevan a cabo el plan . . Tambin debe carac-
terizar la actividad de la planificacin y trazar la evaluacin del plan bsico
en el que se basa el programa. , . f
La principal misin de la evaluacin del proceso es obtener continua infor-
macin que pueda ayudar al personal a llevar a. cabo el programa tal como
estaba planeado o, si se considera que el plan es inadecuado, modificarlo tanto
como sea necesario. Algunos administradores ven las reuniones informativas
regulares sobre la evaluacin del proceso como un medio de mantener al per-
sonal alerta y al corriente de su responsabilidades. Los informes sobre la
evaluacin del proceso son tambin tiles para la contabilidad, puesto que las
agencias de subvenciones, las juntas polticas y los clientes desean saber, por
lo general, si se han realizado las inversiones que haban propuesto. Las eva-
luaciones del proceso pueden tambin ayudar a las audiencias exteriores a
saber qu se hace con ' un programa, por si tienen que realizar uno similar,
Y una evaluacin del proceso es un fuente de informacin vital para interpre-
tar los resultados de la evaluacin del producto, puesto que considerando la
realidad de los resultados del programa, se puede desear saber qu actividades
se han realizado para llevar a cabo el plan del programa. .
'

. -
Stuffte;beem: fa evaluacin del p erfeccionamiento I , 201 -

,
,

-
se ha estudiad& "con los- do. otroa' pregramas . alternativo~- Fi- a:1lehtetnente, el
cliente necesita saber por qu la comparacin de los logros con los objetivos
previamente fijados y . el alcance. de los . resultados son ms importantes que lo
que ha costado alcanzarlos. Por lo general, es ms importante ofrecer interpre-
raciones de hasta qu punto el fracaso en la consecucin de los objetivos o la
satisfaccin de las necesidades estn relacionadas - con un fracaso en la realiza-

~ cn del plan del programa. Finalmente, una evaluacin del producto debe, por'
\
. (. lo general; examinar los resultados desde muchos puntos ventajosos: en con-
junto, haciendo subgrupos de destinatarios, que pueden ser diferenciados por
las necesidades satisfechas y los servicios recibidos, y a veces por individuos.
Un . . resultado relacionado con un individuo . puede ser clasificado como 1 m
;
- xito o un fracaso segn "baya satisfecho o no una necesidad previamente diag-
t : nosticada del individuo; esta evaluaci6n del producto en el nivel individual
tambin p ermite que se junten los individuos para as conseguir 11n ndice
global del xito del programa en lo que se refiere a la satisfaccin de las ne-
cesidades colectivas y diferenciales de los individuos.
. No existe una serie algortmica para realizar una evaluacin del producto,
pero hay muchos mtodos que pueden. aplicarse. i- En general, debe utilizarse
una combinacin de tcnicas para- obtener una visin - amplia de los efectos
y proporcionar comprobaciones de los diversos resultados. Lo que sigue est
concebido para ilustrar la gama de tcnicas que pueden ser empleadas.
L os evaluadores . . del producto pueden empezar valorando el- trabajo con re-
lacin a algunas normas previamente. escogidas, Estas valoraciones pueden
hacerse basndose en tests. de rendimiento comparados a 11n perfil de las nece-
sidades previamente valoradas, en pre- tests - de rendimiento, en normas selec-
clonadas, estandarizando logros concretos o- en el rendimiento de un grupo
de control . . Los tests utilizados pueden ser tests. objetivos ya publicados, es-
pecialmente tests referidos a criterios o tests de rendimiento aplicados (vase
SANDERS, 1977)~ Las valoraciones del trabajo pueden tambin estar basadas en
las valoraciones hechas por observadores, directivos y f o ~los propios destinata-
rios del programa. Y los expertos pueden valorar los productos del trabajo
y compararlos con los esquemas de las necesidades previamente fijadas por
los destinatarios del programa. . ~ ~ .
. . Para valorar el trabajo ms all de lo relacionado con los resultados bus-
cados, los evaluadores necesitan realizar una bsqueda intensiva - de resultados
inesperados, tanto positivos como negativos. Pueden organizar audiciones o
entrevistas en grup o. para. generar hiptesis acerca de- la gama completa de
resultados . y continuaE en. investigaciones clnicas destinadas a confirmar o
4esrncntir las hiptesis. Pueden realizar estudios de. casos- concretos basn . .
dose CQ experiencias de una muestra. d~~personas caidadosamente seleccionada
. ? el fin- de . obtener. una profundaw isin de los . efectos del programa. Pueden
ier~er, tele~cmente
0
por correo, ~a . un~- !niuestt~de parti~pantes para
iltu. - . : . de suS . opiniones acerca del~proyecto;. :y!ss puntos de vista acerca - de

. .

,.
'202 . l Evaluacin sistemt!ca

'

'
fus resultados, tanto positivos como negativos. P 'Udeh1 )ed r a- 1 ~s - ~ci~-
tes que presenten ejemplos concretos, como algo que hayan esc~1to, de como
ha influido el proyecto en su trabajo. Pueden recurrir a observadores que
examinen el trabajo del programa y de los grupos de cotejo, y que desarrollen
y hagan efectivos tests . que diferencien sus trabaj~, ~freciend~ as un punto
de vista sobre los pros y los contras de sus contribuciones {vease BRIC~LL,
1976). Pueden identificar y examinar los resultados del programa con relacin
'un amplio inventario de resultados que han sido observados en programas
similares. Corno ejemplo final, pueden organizar un juicio con jurado con
el fut de presentar y examinar todas las evidencias disponibles que reflejan
el' xito o el fracaso del programa (vase W OLF, 1974).
El informe sobre los resultados de una evaluacin del producto puede
desarrollarse en distintas etapas, Los informes intermedios pueden ser pre-
sentados durante cada ciclo dl programa para indicar hasta qu punto estn
siendo planteadas y satisfechas las necesidades fijadas. Los informes fuial- de-
ciclo pueden resumir los resultados alcanzados e interpretarlos a la luz de las
necesidades pre- valoradas, el coste y los puntos del plan que se han cumplido.
Los informes subsiguientes pueden tambin presentarse para indicar se han
conseguido algunos efectos a largo plazo. En estos informes, los resultados
deben ser analizados en su conjunto, por subgrupos e individualmente.
La utilizacin bsica de una evaluacin del producto es determinar si un
programa concreto merece prolongarse, repetirse y/ o ampliarse a otros mbitos.
Tambin debe proporcionar una gua para modificar el programa con el fin de
que sirva mejor a. las necesidades de todos los miembros interesados y resulte
ms efectivo con relacin a sucoste. ' Desde luego, debe ayudar a quienes puedan
adoptar el programa en el futuro a decidir si merece una seria consideracin.
Las evaluacions del producto tienen. implicaciones pscolgcas, puesto que
al mostrar signos de evolucin y/ o superioridad a los competidores, refuerzan
el trabajo tanto del personal como de los destinatarios del programa; asimismo,
pueden reducir el entusiasmo cuando los resultados $00 malos . . La informacin
procedente de la evaluacin del producto es 11n componente esencial de cual-
quier informe de contabilidad y, cuando se evidencian logros significativos,
puede ayudar a conseguir apoyo financiero y poltico adicional por parte de
la - comunidad y de las agencias de subvenciones. Cuando esta informacin
' revela ~ue no se ha avanzado mucho con relacin a los costes, la evaluacin
del producto puede ayudar a evitar la ' <:o~tinua' cin de inversiones infructuosas
en el programa. Adems, un informe sobre los resultados obtenidos, especial-
mente con relaci6n al mtodo utilizado y a los costes, puede ayudar a otros
evaluadores a decidir sobre la conveniencia de abordar una accin similar.
' 1 '
Los comentarios precedentes indican que la evaluacin dl contexto, de
entrada, del proceso y del producto desempefian funciones nicas, pero ta) . .
,, ,; . , ,. "' 1
bn que existe una relaci6n simbitica entre . ellas. Ello demuestra que pueden
aplicarse distintos ' mtodos a cada tipo ' de evaluacin. Pero esto no est rela-

.
Stufflebeam: la evaluaeJ n del p erfeccionamiento l 203

'
' .
,

. ~ ,,
di seo de eval uaci ones

. .

donado con . e. J ' "' Ptblema prctico. dl evaluador: decidir- qn mtodos hay
- - que empl~en un estudio determinado. Trataremos este problema en el si
gqiepte, apartado de esta unidad. . ~ ,.

'
1 Eyaluaqln s ts terntlc4
'

'
,
'
,

~ . '
: ~. . rJ !j11;,~;~~. ~ ~ . s tufflebea~: la evaluacin del p erfeccionamiento: l 205
_ :. . ~ ~- . ibf Iizar Una revisin y modificacl6t1 petidces Cll - - disefio para- q~e -
. ~~' la~vJ u:ci~: siga respondiendo a las necesidades de las audiencias. Este. ' cli-
. : ieiDa es especialmente problemtico para los, ev. aluadores~~uesto qo los clien-
enudo esperan
0
exigen diseos tcnicos definitivos y mas tarde se
tes, a m , l d. - I
d Iliisonan cuando un rgido seguimiento de rseno origma proporciona
~. . mucha informacin que no resulta til por demasiado tiempo. A men?do, los
' e c~ntes perciben que, de algn modo, l9s ~aluad~r. es deb~ ha~ _ sido ms .
"' e~ inteligentes al proyectar las necesidades inf orrnativas "X ~as , habilidosos al
planear las actividades de recopilacin de datos. . . - . _
- l. (iJ Para enfrentarse a este dilema los evaluadores deben abordar el diseno
como QD proceso, no corno un producto, y necesitan conducir a: sus clientes a
. hacer lo mismo. Las metas y procedimientos evaluativos . deben ser esquema- ,
' tizados de antemano, pero tambin analizados, revisados, ampliados y modi- ,
: ficados peridicamente. Fundamentalmente, este proceso debe estar guiado
por un concepto justificable de lo que es una evaluacin solvente. , por una
sensibilidad a los factores del mundo real que . a menudo interfieren en el
. ,
trabajo evaluativo y por una comunicacin continua. entre los evaluadores y

SUS audiencias, acerca de la pertinencia, y propiedad de Ia planificacin. . '

Al principio- del proceso, creo que es importante escuchar e . investlgar. _
Qui:ies son los principales clientes? Qu piden d la evaluacin? Pr
qu? Qu tipo(s) de evaluacin (del contexto, de entrada, del proceso o del
. producto) puede(n) ser ms efectivo(s)? Cmo creen los. clientes que debe ser
. realizada la evaluacin? Qu~perspectivas tienen en mente? Q\lines conside-
ran que son la audiencia principal? Quin puede salir perjudicado a conse-
cuencia de la evaluacin? Por qu? Qu cooperacinseresencial? De qu
informacin se dispone? Cules son los . antecedentes? Desde. un punto de
vista realista, q~ beneficios positivos pueden esperarse - de la evaluacin?
Qu efectos nocivos pueden producirse, y cmo pueden ser evitados? Qu ,
cualificaciones se requieren para realizar el trabajo? Y ' as sucesiv. amente. Siem-
pre que sea posible una eleccin. , Ios evaluadores deben plan tearse cuestiones
como ' stas antes de decidir si. una evaluacin puede realizarse
0
si se. dan las
condiciones apropiadas P. ~ra hacerla,' " . .
. Cuando haya asumido una decisin positiva para seguir adelante el evalua-
dor. debe hacer un esquema ~lobal del. plan . . . Este pian de~ tener: ea ~enia ,, :
. _ , que el ev~l?ador c?noce el ~~arco de desarrollo r las nece~dades concretas d~
~ la ~val. uac~~; y que debe aJ ~stars. e ~. las normas geneJ :ahn~nte aceptadas para
la realizacin ' de una ev~I~aetn s9~vente. Adcm' s, - debe hablarf por lo. menos
de un . modo general, de toda la gama de tareas que debe! realesr. . . . . ,. . {' . .
La tabla 6- 4 . Pt. P_ ?rciona ~a visit;t_ general de los ~nts q~ deben ser .
abordados en . . un diseo- evaluativo. Estos puntos ' son aplicables al desaercller
el pl~ ~tia!, o . ms. , tarde; al. revis~rl, o ~~li~arlo.
1Desde
luego, slo sirven
como indicacin general de la ' informacn detallada qu prQhablemente deber
. , ser proporcionada a la, hora de operativzar el ~s~o . . . . , , . _ f: : , ~
t
'
'
'

. \

'
u . . )

. .

?- ;. :. , . r.
~~ 1 t t ji
,. . . . . .
P. ~" P. ~
~ . i. esiunen del programa evaluativo
" P lan p ara utisfa~ J os ~eq1:1sitos econpmicos y los dcl personal.
~ ~ J a inetaeV luaci6n . . . .
. - "Previsin. p ua renovaciones perdces de la planificacin evaluativa
PtC- Upuests . - ~ . e
~' Methiaitiin> de ~prorilisos o conttatos : (.
,~ ' : !>: , . ~ n 1 , ~ . ~ . . '

/' ~ " . . . . , . . . ,. .
inf
. P rcp afacimi & 1 0s informes ?
Dif us i6a d tos 'irif0rm~~ ~
' ' Prevsi6n pata continuar las actividades con el fin de promover l impaci:o
de la evaluacin . , - r1

'
Pl an za .
' F. strategia general (examen, ' estudo de casos concretos, grupos asesores o
/( ; exprlmcntos) , '
' ~Presuposiciories de trabajo que sirvan de gua para la valoracin, el anlisiS.
1
y la intcrpretaci6n , , .
. Recopilaci6n de informaci6n (muestreo, instrumentalizaci6n y recopilacin de
datos} ~ ~
. Otgani~ci6n de la informacj6~ (codfieacn, archivo y conservacin)
. ~n\isis de la ~ormacin (tanto cualitativa. como cuantitativa) . . .
Intcipretaci6n de los resultados (identificacin de las normas y elaboracn
. . t ' ' ' -
. de lc;>s il: ci91 ); . . . r ~
. . . . , ' ; / . . . . .

. . . .

'

o e
;t afilr l ~ ~ 1 4 t
. : : . . 6ii. del objeto de la evaluaci6n
~. ~ Identificad6n del cliente y las audiencias
~. ~ t
' Prop(Ssito(s) de f evalw ici6n (perfeccionemenro del programa, responsabilidad
. ,~ y/o C01Dprcnsi6n) . , , . .
. ,
. T: 'lp O de saluaci6n (del contexto, deentrada, del proceso . o del producto) que
; va a emplearse . . " ~ . . - ~' ~
. . . Principios . de una evaluacip. solvente (utilidad, viabilidad, propiedad y exac-
. , ti~). ,que deben ~ observados. . .
. trfim 64 : ESIJ l l e f l l d
" . - ~. . - -
. -
,_,,. . . . "" t ~ '

. . . . . . \

'

Stufflebeam: la evalua~ln del periecclon~mtento l ~

'
. l'm atlditacias pot~nciales y pensar eil>- la cvalu11ci6n, ~el co:itxf? ~
~ . di t con el fin de identificar toda' la gama de audiencias le~unia_ s-
correspon ~ e , . . id 1 rop6sito del esrodio
El, cliente y las dems audiencias necesitan 1 enancar e. J > l
~ ' cl- . - !' . C,. . . . - d nara as car os
V afuadr necesita conseguir cuestiones ariw . ;n oras i: - . . .
~ dades. El evaluador necesita indicar qu tipo(s) gener (es e estu .
5
rottxto, de entrada, del proceso y/ o del producto) paree~ necesario, Y el
cliente debe confirmar esta eleccin general o ayudar a modifi~arla. Para ter-
. ,minar la tarea, el evaluador necesita dejar claro que l~evaluac6n estar con-
illcionada a una serie de normas, y debe pedrsele al cliente que ayude a selec-
clorlar y asignar las prioridades de las normas aplicables .
. ' ) , Bsicamente, el plan para la obtencin de inf?rmaci6~ debe ser ~~~olla . . .
~ do por el evaluador, pero debe ser sometido a una cuidadosa revrsion por
parte del cliente, que lo modificar en consecuencia. El evaluador debe ?ro-
porcionar un panorama de la estrategia general que v a emplear (por ejem-
plo, exmenes, estudios de casos concretos, visitas, grupos asesores, bsqueda
continua de efectos, audiencias contrapuestas y experimentos) y de los planes
tcnicos para la recopilacin, organizacin y anlisis de la" informacin nece-
saria. Aunque los clientes deben, por lo menos, reaccionar ante estos planes
tcnicos, deben ejercer una influencia mayor a la hora de decidir cmo deben
ser interpretados los resultados (por ejemplo, respecto a los objetivos, respecto
a los resultados de las valoraciones de necesidades anteriores, basndose en
el juicio profesional del evaluador o a travs de algn tipo de =procesos de
grupo formales). El evaluador y el cliente deben prever que el plan para la
obtericin de inf ormaci6n cambiar y se ampliar, probablemente, en el curso
a~: la evaluacin, puesto que aparecen nuvas audiencias 'y cambian los requi-
. sits informativos. '
J t. . . ,:La parte del diseo ' evaluativo dedicada a informar sobre los r~sultados
CleBC ' estar cncebda para su utilizacin. El cliente y la audiencia de~ part . . .
Cpat en la proyeccin de los contenidos y el clculo de los informes necesarios.
' Deben tambin ayudar a planear cmo deben ser difundidos los resultados
(organizados, p~~seri~ados, comunicados, examinados, revisados y documenta-
dos. para su utilizacin posterior). ~ems, el cliente y el evaluador deben
rohside~ seriamente . si ~l evalua_ dor puede d~pefiai; un p ap el importante,
ms all de la comunicacin del informe final; ayudando al cliente y a la au-
diencia a aplicar los resultados en su trabajo. En. conjunto, el plan para la
realizacin de informes debe estar destinado a promover el impacto a travs
4e ci alqu er medio que se considere apropiado (por' ejemplo) informes orales
. f' iri19J ;cincs, ~informes mltiples dirigidos a audncias espdficas, conferea-
~ pe pt~~a, sociodramas para representar y aamih~t Ios ' resultados y
. ll' ~es~~ trabajo destindos a la aplicacin de los resultados); . : , ~~ ,
. . ~~' !,a Parte final~ del, diseo, el plan pata la admnstraci del estuti&; ~t

'

' .

'
'

E~luacl6n. aJ stemtlca .
. '

'
. '
~tjefil~ll. ~,- - - gper. u. . . ~~los4il$~t~mi~~y con:eptttares. J E1~~evaluador. nece-
s. ita: identifi~r y esquematizar las tareas ev~ltta~1vs~. . de acuerdo con Ias ne-
~cesiflades,,. ael cliente r teniendo en cuenta las limitaciones prcrices. Es necesa-
ro Identificar. ~al personal que realizar el ttahajo, evaluativo y los recursos
especiales que se utilizarn (como ~l espacio de trabS;lj~ y las facilidades para
el p,. :oceso de ~datos); y el cliente necsita - es~ar~ . seguro, de que el personal
propuesto goza del necesario nivel de credibilidad exigid? por Ias audiencias.
El evaluador y. el . cliente necesitan estar, de- acuerdo en el modoen que, se
r. valorarn, comparndolos con unas normas comunes, los planes evaluativos,
los procesos y los inform~. ;Tmbin deben estar de acuerdo en el mecanismo
, por el que p er d camenre se revisa, actualiza 'Y documenta el ' desarrollo del
diseo evaluativo. Necesitan pr0,>9ner un . presupuesto - realista . . Y , desde mi
plV l~<> de V ista, ~~Pen 1 resumir; - y formalizar sus acuerdos generales acerca de
~forma y funcin. - de la. evaluacin en. uh memorndum de compromiso o- un
. . contrato. t (: . . . . . . . .
~ ~ . ~- ,~ ,. . . .
. . El anterior comentario de la tabla 64, ~;. - necesariamente, muy general, pero
indica que disear una evaluacin es un trabajo. complejo e. interminable. Se
recomienda 1 1 Qa. colaboracin continua entre el - evaluador y el cliente, y se
destaca la . importancia del desarrollo del disfio
1 - evaluativo
con el fin de sa-
tisfacer ls, - necesidades inf ormativas que se presentan. Tambin se destaca la
necesidad de mantener la integridad profes~9nair en el - trabajo evaluativo . .
. . '

.
' .

Michael Scriven dijo una vez que la evaluacin es una operacin tmida.
Y yo me he acordado a menudo de la advertencia bblica: No juzgues. y no
sers [uzgado.
Pero la evaluaci6n es tambin una necesaria faceta del perfeccionamiento.
No podemos mejorar nuestros programas a menos que sepamos cules son sus
puntos dbiles y fuertes y a menos de que dispongamos de mejores medios.
No podemos estar seguros de que nuestras metas son vlidas a menos que po- _
damos compararlas con las necesidades de la gente a la que pretendemos servir.
No podemos realizar una planificaci6n efectiva si no conocemos bien las op-
clones y sus mritos relativos. Y no podemos convencer a nuestros clientes
de que hemos hecho un buen ttabajo que merece un apoyo econmico conti-
nuado a menos de que les mostremos evidencias de que hemos hecho lo que
prometimos y que ello ha producido resultados beneficiosos. Por estas y otras
razones, los servicios pblicos deben someter su trabajo a una evaluacin .
competente. Debe ayudrseles a diferenciar lo bueno de lo malo, a marcar el .
camino para el perfeccionamiento necesario, a ser responsables con sus patro-
cinadores y clientes, y a alcanzar una mayor comprensn de ' su especialiqad.
Esta unidad ha insistido en la funcin perfeccionista de la evaluacin. Se
ha hablado del modelo CIPP, se ha mostrado su desarrollo, ~e ha contrastado
con otros mtodos, se ha demostrado cmo puede utilizarse Rara conducir a1
perfeccionamiento y servir a las necesidades de la responsablidad y se han . ,.
. expues~ . su~conceptos prncpaes. Se ~ proporcionado 1n. a, guia gen~ para '
la pl,an1ficact6n de los estudios evaluativos. Adems> hacrendo referencia al
(J oint Committee, 1981 ), la unidad ha situado el modelo CiPP dentro de lo
q_ ue parece s:r un naciente consenso acerca de lo g_ ie es una buena f bene:6-
ciosa C' !aluao. n. . . . , ,

Concl usi n

'

'

. . . ,. ~ . . . . . , ~ . . . . . . . . . . . . . ,,. . . n- . "loC t ' e- . . . ,. . _ 1 1 1 1

- - .
mit que tuve el ,privilegio de dirigir, representado P. or doce
cinco anos, un co d d ) .
profes- ionales desarroll estas normas (St an
organzacones , - illi.
Las metaevaluaciones que se llevan a cabo, en este pas y en otros,- ~
zando las como criterio para los juicios, indican q~e los. contenidos
de las forman una base sustancial par~. la ~etaevaluaon. S1 un evala- .
- dor (o un grupo evaluador) realiza una utilizacin sensa. ta . de las N
junto con los clientes, tanto antes como de~us de un estu?10 ~evalua~vo, el
resultado ser una evaluacin slida y convincente. Una ~plicaon, ~ ~e las
ayuda a asegurar que el informe final de la evaluacin ser util, viable,
exacto y vlido. ~

Stufflebeam: la evaluacin del p er~e. cclonamlento f 209

'