05/08/2024 15:13 about:blank
Avaliação - Introdução à pesquisa de avaliação de programas e projetos
Introduzir a avaliação de programas sociais das políticas públicas levando o aluno a conhecer os principais conceitos tendo
como base o processo de uma pesquisa científica.
AUTOR(A): PROF. VALERIA ALVES ESCUDEIRO GIOVANNETTI
Assim como o monitoramento, a avaliação de programas e projetos de uma determinada política pública tem como objetivo
mais geral a produção de informação qualificada e sistematizada a fim de subsidiar a tomada de decisão por parte de
gerentes e gestores. Como vimos no tópico anterior, a função de monitorar e de avaliar permite a revisão das ações para
melhorar o desempenho na implementação dos programas e projetos para que os objetivos e metas traçadas no planejamento
sejam alcançadas.
A avaliação de políticas sociais faz parte do próprio conceito e da própria história do desenvolvimento das políticas sociais.
Na literatura sobre o assunto, parte-se do pressuposto de que não é possível implementar políticas sociais e programas
adequados, se não se avalia os resultados de sua aplicação. A avaliação aparece sempre como um momento indispensável do
planejamento e da implementação das ações planejadas e, particularmente, nas situações em que há uma maior restrição do
gasto público, a avaliação aparece como uma medida de controle, correção e de maior eficiência para o uso dos recursos
disponíveis. Neste sentido, avaliação é parte integrante do processo de desenvolvimento de uma determinada política social.
PAZ, 2002
A avaliação de políticas públicas e programas respondem a uma série de objetivos e especialmente encontra-se no campo da
pesquisa, como uma pesquisa acadêmica, é por isso que nos deparamos na bibliografia aprofundada sobre o assunto, a
denominação de pesquisa de avaliação.
Frente à uma política pública ou a um programa a ela vinculado parte-se das hipóteses a serem levantadas para conhecer
quais a relação entre meios, resultados e impactos da intervenção, movidos pelos mais diversos interesses como redução de
custo, uso mais adequado dos recursos, detectar obstáculos e dificuldades objetivando produzir recomendações que
possibilitem a correção dos rumos do programa. (DRAIBE, 2001)
Conforme trabalhamos no primeiro tópico deste curso, a utilização do monitoramento e avaliação das políticas públicas
ganha corpo nos anos 1990 com a redemocratização do país, através da regulamentação de Constituição Federal de 1988 e a
preocupação dos organismos internacionais pelo aumento da desigualdade social e dos níveis de pobreza na América Latina.
Desta forma, houve a necessidade em incorporar no planejamento indicadores de avaliação e monitoramento como exigência
internacional.
as avaliações de políticas, programas e projetos sociais passam a ter o significado ético da transparência, da prestação de
contas à sociedade dos seus propósitos, processos e resultados, como também o sentido do aprimoramento das ações e do
redirecionamento das políticas públicas.
PAZ, 2002
A avaliação de políticas públicas e programas sociais encontra-se em um campo de estudos e pesquisas que envolve métodos
e técnicas de uma pesquisa científica. Por método entende-se a constituição de diretrizes básicas na busca de dados para a
pesquisa, já as técnicas são escolhidas com base nas diretrizes estabelecidas, têm uma natureza prática, são instrumentos
escolhidos para coleta de informações.
O método é único, e as técnicas podem ser diversas dependendo da realidade e dos dados a serem coletados.
Com o avanço na utilização da avaliação de políticas públicas e programas sociais cresceu também os estudos sobre a
temática e a necessidade em promover o processo de avaliação em uma perspectiva interdisciplinar. Abordagens de pesquisa
qualitativa e quantitativa tomaram corpo enquanto ferramentas das ciências sociais nas avaliações de políticas públicas e
programas sociais e diferentemente da investigação numa perspectiva acadêmica, não se fixa somente no conhecimento da
realidade, aprofunda-se na formulação de juízo sobre se os objetivos e metas foram alcançados, estabelecendo uma relação
custo/benefício, isto porque está diretamente relacionado ao financiamento da política pública e seus impactos na população
demandatária conforme as metas e objetivos propostos no seu planejamento.
a avaliação é um conjunto de atividades que permite expressar um juízo argumentado sobre políticas e programas e a
argumentação representa o alicerce sobre o qual é preciso construir um processo de avaliação sistemático, profissional e não-
improvisado ou informal. Argumentar significa, portanto, apresentar todos os elementos a partir dos quais se formulam os
about:blank 1/5
05/08/2024 15:13 about:blank
juízos, assim como os procedimentos metodológicos através dos quais aqueles elementos foram analisados e interpretados.
Nesse sentido, a pesquisa avaliativa torna-se o coração da avaliação.
SERAPIONI, 2016, P. 65
Na perspectiva de subsidiar gestores com informações mais aprofundadas referentes a determinado programa e política
pública, os investimentos dos diversos recursos: humanos, físicos, financeiros e o impacto na população demandatária de tal
política em sua qualidade de vida, a pesquisa de avaliação pressupõe informações aprofundadas e detalhadas sobre seu
funcionamento e efeitos.
Nesta direção a avaliação é
um levantamento consistente, sistemático e replicável de dados, informações e conhecimentos para aprimoramento da
intervenção programática, versando sobre: as características essenciais do contexto de atuação; os públicos-alvo; o desenho;
os arranjos de implementação; os custos de operação; os resultados de curto prazo; os impactos sociais e de mais longo
prazo de um programa. Enfim, na definição aqui advogada, avaliação tem o objetivo de produzir evidências, compilar dados
e sistematizar estudos que contribuam para o aperfeiçoamento de programas e projetos sociais, além da consecução de seus
objetivos.
JANNUZZI, 2014, P. 26
A pesquisa de avaliação pode destinar-se:
ao órgão financiador do programa social, neste sentido pode ser realizada pelo próprio órgão ou pelos gestores com a
finalidade de prestação de contas;
aos profissionais envolvidos no programa que atuam diretamente na sua execução objetivando um retorno de sua
prática e das metas alcançadas, além de uma possível revisão da sua atuação;
aos usuários demandatários do programa concretizando os resultados frente às metas previstas;
aos gerentes dos programas como subsídios para melhorar os resultados dos programas sob sua responsabilidade;
aos agentes do governo central com a finalidade de subsidiar as tomadas de decisões e possíveis ampliações dos
programas;
aos financiadores em conhecer propostas exitosas para ampliação de sua área de atuação;
aos membros do poder legislativo para conhecer programas exitosos e possibilitar ampliação de recursos;
ao público em geral fortalecendo a transparência das ações e da destinação dos recursos públicos.
(BRASIL, 2015)
As avaliações podem ser classificadas em varios tipos, de acordo com diferentes critérios, tais como:
CRITÉRIOS TIPOS
Externas
Internas
Quanto ao agente que a realiza
Mistas
Participativas
Quanto à sua natureza Somativas
Formativas
Quanto ao momento em que são Ex ante
realizadas Ex post
Quanto ao problema Processo
Resultado/ Impacto
(Brasil, 2015)
Destacamos que trabalharemos em tópicos posteriores deste curso, mais detalhadamente as avaliações de processo, impacto,
resultado e produto e avaliação ex ante e ex post, assim o como avaliar programas e projetos das políticas públicas.
Assim como nas pesquisas de cunho acadêmico, as pesquisas de avaliação em um programa social de uma política pública
segue os mesmos itens na sua elaboração. Parte-se do processo de planejamento definindo-se o que se pretende avaliar, o
método a ser definido, etapas e coleta de dados e quais técnicas e instrumentos serão utilizados.
Segue abaixo o quadro dos passos para a elaboração da pesquisa:
about:blank 2/5
05/08/2024 15:13 about:blank
Seleção do tema Escolha do tema a ser pesquisado. No caso das
pesquisas de avaliação de um programa, é necessario
especificar o programa que sera avaliado e suas
características.
Levantamento do que Revisão da bibliografia e de outras fontes.
já existe sobre o tema
Definição do problema Elaboração da pergunta que a pesquisa ira responder.
de pesquisa Por exemplo, Qual o impacto do Programa? ou, Que
dificuldades foram enfrentadas na implementação do
programa?
Definição de conceitos Se, por exemplo, o que vai ser trabalhado é a política
de combate à pobreza, deve-se explicitar o que se
entende por pobreza (delimitar o conceito).
Levantamento de Definir o que se espera encontrar com a pesquisa e
hipóteses quais seriam as possíveis respostas à pergunta.
Operacionalização das Demonstrar como os principais conceitos serão
principais variáveis operacionalizados e medidos.
Coleta e sistematização Definir as técnicas de coleta de dados: se através da
dos dados realização de entrevistas, questionários, análise de
documentos, dentre outras. Além disso, é realizada a
delimitação da amostra ou caso a ser pesquisado.
Estratégia analítica Como os dados que foram coletados serão, enfim,
analisados.
Custos e cronograma Definição de orçamento, financiamento, organização
da pesquisa das etapas, segundo o tempo definido.
(BRASIL, 2015)
Na seleção do tema vamos exemplificar com o Programa Merenda Escolar e Programa Agricultura Familiar, como um dos
programas da Política de Educação e da Segurança Alimentar. Após a escolha, conforme a demanda do órgão responsável
realiza-se o levantamento bibliográfico sobre o tema, pesquisas que foram realizadas em outros municípios, dados oficiais
existentes, dentre outros.
Nesta perspectiva, pergunta-se: Qual o impacto da merenda escolar com utilização de produtos agroecológicos advindos do
programa da agricultura familiar? Houve mudança de hábitos alimentares nas crianças e adolescentes? Qual a abrangência
da mudança de hábitos na família e na comunidade? Quais as dificuldades encontradas na implantação do programa?
Para sustentar a pesquisa há a necessidade de um aprofundamento conceitual sobre o tema, como agricultura familiar,
hábitos alimentares, agroecologia, índice nutricional, participação, desta forma a análise da pesquisa terá fundamentação
teórica, fugindo dos achismos que muitas vezes permeiam as práticas nos programas e projetos.
No levantamento das hipóteses as questões deverão articular-se com os objetivos propostos no programa e na política
pública. Pretende-se com a pesquisa de avaliação da merenda escolar que 80% das crianças e adolescentes tenham mudado
seu hábito alimentar, por exemplo. Outras hipóteses poderão ser definidas dependendo da abrangência e complexidade do
programa e dos objetivos e metas a serem alcançados no planejamento do programa.
A operacionalização das variáveis está na construção de indicadores que possam medir todos os conceitos e ações
desenvolvidas no programa e a metodologia de coleta de dados a ser realizada: qualitativa ou quantitativa, ou ambas. E
através desta decisão, quais os instrumentos e técnicas a serem utilizadas.
Na abordagem quantitativa pode-se utilizar a coleta de dados através de instrumental construído para esta finalidade, com
acesso ao sistema existente no órgão responsável pela política no município. Por exemplo: número de alunos matriculados,
faixa etária, evasão escolar, índice de progressão escolar, dentre outros.
A abordagem qualitativa pressupõe a utilização de entrevistas estruturadas ou semiestruturadas, através de amostragem;
grupo focal; visitas domiciliares às famílias dos alunos; observação dirigida, dentre outras, conforme a realidade local, o
programa a ser avaliado, sua dimensão e complexidade.
about:blank 3/5
05/08/2024 15:13 about:blank
Amostragem é a coleta de dados através de uma amostra da população envolvida no programa, que seja representativa
podendo inferir no resultado do todo.
No que se refere à análise dos dados busca-se articular aquilo que foi planejado em termos do programa social, os dados
coletados, a resposta às hipóteses elaboradas para a pesquisa avaliativa, subsidiado pela conceituação teórica definida.
Para o planejamento da pesquisa avaliativa deve-se prever o orçamento de todos os itens e ações a serem desenvolvidas,
insumos e produtos necessários, recursos humanos qualificados para tal tarefa, ou seja, todas as etapas devem ser
quantificadas e orçadas, além da previsão de tempo para a execução da pesquisa.
O relatório final da pesquisa tem um papel preponderante na transparência dos resultados auferidos, desta forma é
necessário que seja divulgado, socializado não somente para os envolvidos no programa, mas também para a sociedade,
garantindo assim a transparência da política pública.
ATIVIDADE
A avaliação de programas sociais:
A. parte de uma pesquisa para conhecer a realidade local.
B. busca conhecer os dados dos envolvidos na política pública.
C. parte das hipóteses a serem levantadas para conhecer quais a relação entre meios, resultados e impactos da
intervenção.
ATIVIDADE FINAL
A avaliação é:
A. um levantamento consistente, sistemático e replicável de dados, informações e conhecimentos para aprimoramento da
intervenção programática.
B. um levantamento de dados com abordagens distintas.
C. a resposta às perguntas das hipóteses.
A avaliação de políticas públicas e programas sociais:
A. é uma pesquisa acadêmica.
B. encontra-se em um campo de estudos e pesquisas que envolve métodos e técnicas de uma pesquisa acadêmico-
científica.
C. pauta-se no estudo da realidade local.
REFERÊNCIA
BRASIL. Ministério do Desenvolvimento Social e Combate à Fome. Caderno de estudos: curso em conceitos e
instrumentos para o monitoramento de programas. Brasília, DF: MDS, 2016. Disponível em:
[Link]
%20MDS%20Monitoramento%20Caderno%20de%[Link]. Acesso em: 9 ago. 2020.
DRAIBE, S. Avaliação de implementação: esboço de uma metodologia de trabalho em políticas públicas. In: BARREIRA,
Maria C. R. N.; CARVALHO Maria do Carmo B. de (org.). Tendências e perspectivas na avaliação de políticas e
programas sociais. São Paulo. IEE/ PUC-SP. 2001.
JANNUZZI, Paulo de Martino. Avaliação de programas sociais: conceitos e referenciais de quem a realiza. Rev. Aval.
Educ., São Paulo, v. 25, n. 58, p.22-42, maio/ago, 2014. Disponível em:
[Link] Acesso em: 9 ago. 2020.
PAZ, Rosangela Dias Oliveira da. Dimensões e indicadores de participação social na avaliação de programas
habitacionais. São Paulo: PUC, 2002.
about:blank 4/5
05/08/2024 15:13 about:blank
SERAPIONI, Mauro. Conceitos e métodos para a avaliação de programas sociais e políticas públicas. Sociologia, Porto , v.
31, p. 59-80, jun. 2016 . [Link]
34192016000100004&lng=pt&nrm=iso&tlng=pt . Acesso em: 9 ago. 2020.
about:blank 5/5