Universidad de Costa Rica.
Facultad de Ciencias Sociales.
Escuela de Antropologa y Escuela de Sociologa.
En el enfoque evaluativo de Michael Scriven.
Curso AT 1127 Gestin de la Investigacin y la
Accin Social I.
Grupo 02.
Prof. Hari Alejandro Calvo Sols.
Est. Juan Jos lvarez Hidalgo.
I Ciclo Lectivo 2016.
Introduccin.
En adelante el lector encontrar una sntesis sustantiva del enfoque evaluativo del doctor Michael
Scriven, es importante saber que uno de los campos ms fuertes del trabajo evaluativo de Scriven
es la eduacin, por lo que muchas de sus definiciones y ejemplos estn relacionados a dicho campo,
sin embargo, se puede extrapolar su mtodo debido a su generalidad. Los siguientes apartados
tienen como finalidad brindar una base terica fuerte para entender el trabajo de Scriven, y tambin
propiciar una revisin ms exhaustiva de su bibliografa.
Sinopsis del autor.
Michael Scriven naci en 1928 en Victoria, Australia. Scriven obtuvo su licenciatura en
matemticas y filosofa de la lgica matemtica en la Universidad de Melbourne, y su doctorado
lo obtuvo en la Universidad de Oxford, en Filosofa de la Ciencia. Esto le ha permitido trabajar en
los campos de la educacin, la evaluacin, historia de la ciencia, filosofa, poltica, y psicologa.
Su trabajo ms importante ha sido en el plano de la evaluacin y del pensamiento crtico, siendo
uno de los precursores ms importantes de la evaluacin cientfica. Fue el primero que recomend
el desarrollo y la utilizacin de las Standards for Evaluation of Educational Programs, tambin
ayud a realizar el Evaluation Network1.
En el campo de la evaluacin ha criticado muchas ideologas evaluativas, as como el modelo
tyleriano y el trabajo de Lee Cronbach. Actualmente tiene 88 aos y contina realizando trabajo
acadmico, tiene ms de 400 publicaciones de carcter erudito, y ha sido consejero editorial de ms
de 42 revistas acadmicas.
Planteamiento evaluativo.
Antecedentes.
Scriven propone un enfoque muy crtico de evaluacin, para l una evaluacin no es simplemente
la comprobacin de las metas planteadas por un programa, y en este sentido critica el modelo
tyleriano, el cual resume la evaluacin en la consecucin de los objetivos del programa, proyecto,
etc. Para Scriven el evaluador tiene la responsabilidad de cuestionar las metas formuladas por un
programa y no asumirlas y guiarse por ellas ciegamente. Scriven afirma que el tipo de evaluacin
basada en metas, en la base carece de valor, ya que las metas en s, pueden ser poco realistas,
demasiado limitadas, ampliamente ambiguas, descontextualizadas, e inmorales.
Por otro lado, Scriven afirma que la meta de un programa evaluativo no se debe quedar en
desarrollar herramientas para fortalecer y alimentar su construccin y desarrollo, y es aqu en donde
critica el modelo de Cronbach, que tiene como fin principal de la evaluacin, fortalecer el
desarrollo de un programa. Hablando de Cronbach, Scriven afirma que, he is presumably doing
what he is doing because he judges that the material being presented in the existing is
unsatisfactory. So as he proceeds to contruct the new material he is constantly evaluating his own
material as better than that wich is already current. Unless entirely ignorant of his shortcomings as
a judge of his own work, he is presumably engaged in field-testing the work while it is being
1
Organizacin profesional para evaluadores de programas educativos, sanitarios, gubernamentales, y sociales.
developed, and in so doing he gets feedback on the basis of which he again produces revisions;
this is formative evaluation (Scriven, 1966, pg. 6), (El remarcado es mo). Para Scriven esto es
solamente una de las muchas funciones que tienen los datos evaluativos (funcin formativa), pero
no su fin.
Definicin de la evaluacin.
Conociendo lo anterior, entonces cul deber ser el fin o la meta de la evaluacin segn Scriven?,
para Scriven la nica meta de la evaluacin es la determinacin sistemtica y fundamentada del
mrito o valor de una cosa, es por eso que la evaluacin de Scriven es fundamentalmente un ciencia
valorativa. En palabras textuales Scriven define la evaluacin como:
The process of determining the merit or worth or value of something; or the product
of that process. The special features of evaluation, as a particular kind of investigation
(distinguished e.g. from traditional empirical research in the social sciences), include a
characteristic concern with cost, comparisons, needs, ethics, and its own political, ethical,
presentational, and cost dimensions; and with the supporting and making of sound value
judgments, rather than hypothesis-testing. The term is sometimes used more narrowly (as is
"science") to mean only systematic and objective evaluation, or only the work of people labeled
"evaluators ", while evaluation in the broad sense is inescapable for rational behavior or thought,
professional evaluation is frequently worthless and expensive. Evaluation properly done can be
said to be "a science" in a loose sense, as can, for example, teaching; but it is also an art, aninterpersonal skill, something that judges and juries and literary critics and real estate assessors and
jewelry appraisers do and thus not "one of the sciences." (Scriven, 1981, pg. 53), (El remarcado
es mo).
Juicios de valor.
Para Scriven el mrito es el valor intrnseco de un objeto y el valor lo define como: "A claim as to
the merit, worth or value of something, originally (and still typically) involving judgment but then
extended to cover all claims about value many of which are observational/mensurational... the
evaluation typically involves multi-attribute integration, it's not surprising that judgment is often
involved through the weighting of the various attributes" (Scriven, 1966, p.p. 163-164). (El
resaltado es mo). La determinacin del valor es la espina dorsal del mtodo evaluativo de Scriven,
es por eso que realiza una crtica a ideologas evaluativas que an siguen vigentes:
Ideologa separatista: los evaluadores no pueden evaluar su propio trabajo.
Ideologa positivista: los evaluadores no deben hacer juicios de valor.
Ideologa administrativa: los evaluadores deben realizar evaluaciones convenientes.
Ideologa relativista: los evaluadores no pueden hacer juicios de valor objetivos, ya que no hay
ninguna verdad objetiva.
Ahora bien, si no hay que basarse en las metas de un programa para determinar ese mrito o valor
(crtica al modelo tyleriano), cules son los criterios para determinarle? Para Scriven estos
criterios deben ser las necesidades de los consumidores, segn l, la funcin principal de un
evaluador es ser un sustituto informado del consumidor (Stuffleabeam y Schinkfield, 1985, pg.
342) ser una conciencia social. Para Scriven el evaluador debe, adrede, y de manera controlada,
ignorar las metas de un programa, es decir, realizar una evaluacin sin metas, lo que segn l
permite:
Realizar una verdadera valoracin de las necesidades.
Hacer una evaluacin menos instructiva.
Una evaluacin adaptable a los cambios.
Mayor solvencia para encontrar efectos secundarios.
Permite tomar en cuenta una gran gama de valores.
Para Scriven el evaluador debe conocer todos los impactos que tiene un programa, tantos los
deseados como lo no deseados o secundarios. Ambos efectos tienen una importancia fundamental
para l y para la valoracin de los resultados de un programa.
A pesar de lo mencionado, Scriven no excluye la evaluacin basada en metas, y ms bien afirma
que se puede complementar con dicho tipo de evaluacin, preferiblemente, despus de realizar la
evaluacin sin metas, y as poder comprobar si el programa ha provocado lo que plane provocar.
Definicin de las necesidades.
La pregunta que hasta aqu es necesario plantearse es, cmo asignar un significado valorativo a
los resultados y as poder distinguir entre los efectos deseados y no deseados? Scriven afirma que
lo que debe hacer el evaluador, es comparar los resultados del programa con las necesidades
valoradas de los consumidores, sin embargo, cmo saber cules son las necesidades de los
consumidores?, Scriven las define como, a better definition or need, which we might call the
diagnostic definition, defines need as anything essential for a satisfactory mode of existence, i.e.,
anything without which that mode of existence or level of perfomance woud fall bellow a
satisfactory or acceptable level (Scriven, 1981, pg. 102). Scriven afirma que true needs are
considerably harder to establish tan felt wants, because true needs are orten unknown to those who
have them possibly even contrary to what, as in the case of a boy who needs a certain diet and
wants entirely different one (Scriven, 1981, pg.101). Es importante que la valoracin de las
necesidades a pesar de ser el fundamento de su enfoque, plantea un gran reto para las personas
evaluadoras.
Resumiendo, es la satisfaccin de las necesidades valoradas de los consumidores, el criterio para
afirmar si un programa es bueno, malo, o indiferente, todo esto segn normas razonables de lo que
se entiende por malo o por bueno en determinado contexto.
Scriven por eso afirma que la meta de la evaluacin es siempre la misma: juzgar el valor o mrito
de un objeto, sin embargo las funciones de la evaluacin son varias y estn relacionadas con
diferentes momentos del desarrollo de un programa, en el siguiente cuadro se resumen algunas:
Funciones de la evaluacin o manera de utilizar los datos evaluativos.
Evaluacin
Sumativa
Formativa
Definicin
Evala el valor de un
programa una vez que ya ha
sido desarrollado. Se utiliza
generalmente
para
determinar la continuidad de
un programa.
Contribuye al proceso de
elaboracin de un programa
o proyecto.
Momento
Observaciones
Posterior a la puesta en
prctica
del
programa.
En el proceso de Scriven
afirma
diseo.
que
Cronbach
concibe
esta
funcin de la
evaluacin como
su
mejor
contribucin.
Amateur
Se realiza en las primeras Primeras etapas del No
requiere
etapas de elaboracin de un diseo.
estrictamente un
programa, por un evaluador
alto nivel tcnico
interno, propio del equipo.
y objetivo en la
persona
evaluadora.
Profesional
Interviene
durante
las ltimas etapas del Son
necesarios
ltimas etapas del desarrollo diseo.
altos niveles de
de un programa. Evaluador
habilidad tcnica
externo.
y objetividad.
Intrnseca
Evala
solamente
las En
cualquier
cualidades de un programa. momento.
Final
Evala los efectos de un Despus de la puesta
programa
sobre
los en
prctica
del
consumidores.
programa.
Fuente: Elaboracin propia a partir de Fuente: Elaboracin propia a partir de (Stuffleabeam y
Schinkfield, 1985, pg. 349, 350, 351). (Ver anexos).
Otro aspecto importante de rescatar es que Scriven plantea que una funcin importante de la
evaluacin es comparar los resultados de un programa, con los de sus competidores crticos,
especialmente con aquellos programas que son an ms econmicos.
Planteamiento metodolgico.
Scriven plantea como uno de los principales ejercicios metodolgicos realizar una lista de control
de indicadores con los siguientes puntos.
Elementos.
Descripcin.
El cliente.
Antecedentes y contexto.
Preguntas?
Qu hay que evaluar, cules son sus
componentes y relaciones?
Quin ha encargado la evaluacin?
Del evaluando (programa), de la evaluacin.
Recursos.
Disponibles para el evaluando y para los
evaluadores. Qu puede usarse?
Funcin.
Qu hace el evaluando?
Sistemas de distribucin.
Cmo llega al mercado el evaluando?
El consumidor.
Quin utiliza y recibe los efectos del
evaluando?
Las necesidades y valores de los afectados.
Deseos, necesidades, valores, ideales.
Normas.
Normas preexistentes y objetivamente
valoradas de todas las partes.
El proceso.
Qu limitaciones tiene el evaluando?
Resultados.
Qu efectos ha producido el evaluando?
Posibilidades de generalizacin a otras Posibilidad de distribucin, venta.
personas.
Costes.
Monetaria y psicolgico. Directo e indirecto.
Comparaciones con otras alternativas.
Comparar con los competidores crticos.
Fuente: Elaboracin propia a partir de (Stuffleabeam y Schinkfield, 1985, pg. 349, 350, 351). (Ver
anexos).
A pesar de la importancia de una buena lista de control indicadores, Scriven afirma, the logic of
checklists is part of the logic of evaluation, although not the heart of itwhich is the logic of how
to combine empirical data with values to generate evaluative conclusions (Scriven, 2010).
Scriven propone la evaluacin como un ejercicio exhaustivo de recoleccin de informacin, es por
eso que afirma, so dont judge a book by its coverwhats on the cover are just headlines. Read
it carefully for valuable content. And dont judge a diet or an evaluation by the flag it fliescount
the calories (Scriven, 2010).
La metaevaluacin segn Scriven es la evaluacin de la evaluacin, es aplicar todo su
planteamiento evaluativo al trabajo de los evaluadores. Para Scriven la evaluacin es un acto
humano autorreferente, es decir, que al aplicarse a todos los esfuerzos del ser humano, debe
tambin aplicarse a s misma.
Alcances en el contexto de proyectos sociales.
Al ser el principal objetivo de la evaluacin la determinacin de las necesidades de los
consumidores, para emitir juicios de valor, (ms all de la consecucin de las metas de un
determinado proyecto) es que este enfoque evaluativo toma una importancia fundamental y una
inmensa pertinencia para proyectos sociales.
El enfoque de Scriven obliga al evaluador a determinar cules son los aspectos fundamentales que
necesitan los consumidores para la satisfaccin de sus necesidades en el contexto que se
encuentren. Los proyectos sociales precisamente deberan inclinarse en la determinacin
fundamentada y objetiva de necesidades, y no per se, en la consecucin de objetivos y metas, o en
la ejecucin de presupuestos asignados.
El desarrollo social pasa por la determinacin fundamentada y objetiva de las herramientas que
necesitan las personas para desarrollarse con solvencia en el medio social en el que se encuentren,
bajo unas normas e ideales existentes, y precisamente es eso, lo que el enfoque evaluativo de
Scriven propicia realizar, que la evaluacin nos lleve a encontrar lo mejor.
Ventajas o limitaciones del enfoque.
Ventajas:
Permite rastrear efectos secundarios y no deseables.
Propicia el anlisis integral de un programa.
Determina necesidades en los consumidores, otorgndole un papel protagnico a los
beneficiarios y clientes de los programas.
Emite juicios de valor fundamentados en el anlisis de una determinada situacin social,
por lo que da una visin holstica y crtica del aporte de los programas desde la perspectiva
del desarrollo social.
Permite observar el nivel de participacin de los beneficiarios en el diseo de un programa,
o al menos la toma en cuenta de estos, salindose as de los modelos verticalistas.
Obliga a construir diseos evaluativos contextualizados y pertinentes.
Limitaciones:
Por ser un anlisis tan exhaustivo demanda la utilizacin de muchos recursos, sobre todo
en tiempo y en recurso humano.
Stuffleabeam y Schinkfield (1985), sealan que el enfoque de la valoracin de las
necesidades de Scriven es ms convincente en el terreno filosfico que en el prctico. Se
necesita un alto grado de desarrollo en el nivel tcnico antes de que la valoracin de las
necesidades pueda producir significados factibles y apropiados para juzgar los resultados
(de un programa) (El parntesis es mo).
Bibliografa:
Scriven, M. (1981). Evaluation Thesaurus.
[Link]
Third
Edition.
Recuperado
de:
Scriven, M. (2010). Rethinking Evaluation Methodology. Journal of MultiDisciplinary Evaluation,
Volume
6,
Number
13.
ISSN
1556-8180.
Recuperado
de:
[Link]
Scriven, M. (2010). The Calorie Count of Evaluation. Journal of MultiDisciplinary Evaluation,
Volume 6, Number 14. ISSN 1556-8180. Recuperado de:
[Link]
Scriven, M. (1966). The metodology of evaluation. En Social Science Education Consortium,
Publication
110.
Purdue
Unversity,
Indiana.
Recuperado
de:
[Link]
Stufflebeam, D. y Schinkfield, A. (1985). Evaluacin Sistemtica. Gua terica y prctica.
Coleccin
de
Temas
de
Educacin.
Barcelona:
Paidos.
Recuperado
de:
[Link]