Resumo: Metodologia de avaliação de programas e projetos sociais: analise de resultados e
de impactos.
Os termos projeto, programa e plano referem-se a diferentes formas de intervenção social,
variando em escopo e duração (Cohen e Franco, 1993).
Um projeto é a menor unidade de alocação de recursos, com atividades integradas que buscam
transformar uma parte da realidade ao suprir carências ou resolver situações-problema. Vários
projetos com objetivos semelhantes formam um programa, que define prioridades, organiza
projetos, define âmbito institucional e aloca recursos. Por fim, um plano agrega programas afins,
oferecendo um quadro amplo de referência e estratégia.
O plano contém o programa, que contém o projeto, sendo importante considerar essa hierarquia
na análise.
A avaliação é focada principalmente em projetos e programas, levando em conta conceitos como
objetivos, impacto, eficácia e eficiência.
A avaliação de programas possui uma natureza aplicada e visa atender às necessidades dos
administradores do programa.
Segundo Posavac e Carey (1992 a avaliação e um serviço humano necessário e provavelmente
será utilizado, se for suficientemente intenso para atender às necessidades, se for oferecido
conforme planejado e se realmente ajudar as pessoas de maneira eficaz e com custo razoável. Ela
abrange a concepção, implementação, resultados e impacto do programa, incluindo custos e
efeitos secundários. Os objetivos precisos, a clientela visada e a disponibilidade de informações
confiáveis são cruciais para avaliar programas de maneira eficaz.
O papel da avaliação- a avaliação desempenha um papel fundamental na racionalização de
programas sociais, garantindo eficiência e eficácia na utilização dos recursos disponíveis.
Etapas preliminares essenciais antes da avaliação real
Antes da avaliação real, várias etapas preliminares são essenciais:
Analisar a intervenção, seus objetivos, mecanismos de implementação, equipe e grupos
afetados;
Identificar o cliente e a finalidade da avaliação, considerando todos os envolvidos;
O próximo passo é delimitar o objeto de investigação, escolhendo os aspectos do
programa a serem avaliados, o que orienta a escolha do modelo de avaliação;
Modelos de avaliação
Posavac e Carey (1992) mencionam os seguintes modelos de avaliação:
Modelo de pesquisa em ciências sociais- baseado em objetivos de "caixa preta".
Modelo naturalista/qualitativo- recomenda abordagens ecléticas para atender a
diversas necessidades informativas.
Critérios para a classificar as avaliações de programas:
A precedência dos avaliadores;
Momento de avaliação;
Os aspectos da intervenção;
Natureza da questão a ser respondida.
Quanto ao momento as avaliações podem ser: ex-ante (antes do início) e ex-post (durante ou
após a conclusão). Avaliações externas, internas, mistas e participativas variam de acordo com
quem as realiza. Uma classificação útil se baseia nos aspectos avaliados: avaliação do plano e
conceituação, avaliação do processo e avaliação de resultados (eficácia e eficiência). Outra
classificação é proposta por Posavac e Carey, abrangendo avaliação de necessidades, processo,
resultados e eficiência.
As avaliações de processo- acompanham a implementação e a avaliação de resultados, busca
determinar se houve mudanças na situação após a intervenção, buscando causalidade. Analisar
resultados é complexo, especialmente em programas sociais, devido a múltiplos fatores externos.
A avaliação de eficiência compara intervenções alternativas em termos de custos e resultados.
É essencial reconhecer a interconexão entre esses tipos de avaliação para realizar estudos úteis e
eficazes.
No nível de avaliação de resultados e impacto, a análise se concentra nas mudanças causadas
pela intervenção. A avaliação de eficiência avalia a relação entre resultados e custos, utilizando
técnicas como Análise Custo-Benefício ou Custo-Efetividade.
Eficácia- se refere ao grau em que os objetivos são alcançados, sem considerar os custos.
Analisar eficácia envolve estabelecer uma conexão causal entre a intervenção e as mudanças nos
destinatários. Isso inclui avaliar efeitos (resultados sobre a população-alvo) e impacto (efeitos
mais amplos na população e no ambiente).
Classificação dos efeitos
Os efeitos podem ser: procurados, não-procurados, previstos, positivos, relevantes ou não-
previstos.
A avaliação de resultados considera se o programa causou efeitos na população-alvo, enquanto
a avaliação de impacto analisa os efeitos em um contexto mais amplo. Essa análise é vital para
medir a efetividade dos programas e projetos, mas requer objetivos claros e implementação
adequada para ser realizada com sucesso. Na avaliação de impacto, estabelecer relações causais é
crucial. A escolha do desenho de investigação é importante, e as abordagens não-experimentais
têm limitações na validade interna. A causalidade nas ciências sociais envolve probabilidades.
Abordagens não-experimentais não conseguem discernir fatores intervenientes que influenciam
os resultados.
Resultados brutos são todos os efeitos observados.
Resultados líquidos são os atribuíveis à intervenção. Processos como seleção não controlada,
desistências e regressão à média afetam a validade das análises. Os efeitos de desenho também
podem comprometer a validade, como efeitos causais e problemas de medição. Estratégias de
controle e abordagens experimentais são essenciais para minimizar essas dificuldades.
Abordagens usadas para estabelecer relações causais na avaliação.
O modelo experimental é o mais rigoroso, envolvendo a seleção aleatória de grupos de
controle e experimental, o que melhora a comparabilidade dos resultados.
Os modelos quase-experimentais são uma alternativa quando a seleção aleatória não é possível,
usando grupos existentes que diferem em muitos aspectos.
Os quase-experimentos requerem cuidados no planejamento e podem ser combinados com
análise de séries temporais para detectar mudanças. A coleta de dados antes e depois da
intervenção ajuda a identificar tendências. A abordagem de "matching" é usada para criar
grupos de controle semelhantes ao experimental. No entanto, esses métodos têm desafios e
ameaças à validade interna, como diferenças sistêmicas entre grupos.
O modelo tradicional de avaliação de programas sociais tem sido criticado por produzir
resultados inconclusivos, inoportunos e irrelevantes. Essas críticas se devem ao pressuposto de
implementação programada, que ignora a complexidade dos contextos sociais, políticos e
organizacionais.
As Abordagens baseadas em fenomenologia, etnometodologia e interacionismo simbólico foram
propostas como alternativas, mas são controversas e menos rigorosas. Alguns autores buscam
uma síntese entre abordagens tradicionais e renovadas, usando múltiplos critérios de avaliação,
análise institucional, recursos de poder, modelos causais e desenhos de investigação ecléticos.