Avaliação de políticas públicas- uma revisão teórica

Avaliação de políticas públicas- uma revisão teórica

(Parte 1 de 4)

Avaliação de políticas públicas: uma revisão teórica de um campo em construção* andrei pittol Trevisan** Hans michael van Bellen***

Sumário: 1. Introdução; 2. Avaliação de políticas públicas; 3. Breve histórico sobre a avaliação de políticas públicas; 4. Do “estado de campo” de avaliação de políticas públicas; 5. Metodologia de avaliação de políticas públicas; 6. Considerações finais.

Summary: 1. Introduction; 2. Evaluation of public policy; 3. Brief narrative on evaluation of public policy; 4. State of the discipline of the evaluation of public policy; 5. Methodology of public policy evaluation; 6. Final remarks.

PalavraS-chave: políticas públicas; avaliação de políticas públicas; metodologias de avaliação de políticas públicas.

Key wordS: public policy; evaluation of public policy; methodologies of evaluation of public policy.

Este artigo realiza um resgate teórico da literatura sobre a área de políticas públicas em geral, e de avaliação de políticas públicas especificamente. O conhecimento teórico-histórico de um dado campo do conhecimento é essencial para sua práxis, para uma melhor compreensão dos seus desdobramentos, sua trajetória e perspectivas. O

* Artigo recebido em ago. 2007 e aceito em mar. 2008. ** Graduado em administração pela Universidade Federal de Santa Catarina. Mestrando em administração na Universidade Federal de Santa Catarina. Pesquisador e participante do Observatório da Realidade Organizacional (UFSC/Fundação Getulio Vargas-RJ/UFPE). Endereço: Rua Vitor Konder, 302, Residencial Linda Koerich, ap. 1405 — CEP 88015-400, Florianópolis, SC, Brasil. E-mail: andreipt@hotmail.com. *** Professor permanente do Curso de Pós-Graduação em Administração e do Programa de Pós- Graduação em Contabilidade da Universidade Federal de Santa Catarina. Endereço: Caixa Postal 10042 — CEP 88062-970, Lagoa da Conceição, Florianópolis, SC, Brasil. E-mail: hansmichael@ cse.ufsc.br.

530andrei piTTol Trevisan • Hans micHael van Bellen artigo começa com uma explanação sobre políticas públicas, sua origem e dimensões conceituais. Continua com uma discussão a respeito dessa temática no Brasil, principalmente nos últimos anos. A avaliação de políticas públicas é observada com maior profundidade, atravessando diversas definições conferidas pela literatura. Destaca-se a identificação de três fases da avaliação desde a década de 1960 até os dias atuais. Posteriormente, apresentam-se metodologias de avaliação de políticas públicas, suas diversas classificações, timing, posição do avaliador, critérios e estruturação. Por fim, a possibilidade de aplicação de metaavaliações, assim como o surgimento de novas issues que se impõem ao contexto democrático-participativo brasileiro.

Evaluating public policies: a theoretical review of a field under construction This article performs a theoretical recovery of the literature about public policy in general, and evaluation of public policy specifically. The theoretical and historical understanding of a given field of knowledge is essential for its practice, including a better understanding of its consequences, its trajectory, and perspectives. The article begins with a general overview about public policy, its origins, and conceptual dimensions. It then continues with a discussion about this theme in Brazil, taking into consideration mainly the more recent years. The evaluation of public policy is observed more deeply for it has received numerous definitions within the literature. Three main phases of evaluation are identified since the 1960s until the present date. Subsequently the article presents some methodologies concerning the evaluation of public policy, including its several classifications, timing, the evaluator’s position, criteria and structure. Finally, it comments on the possibility of the application of meta-evaluations, as well as on the emergence of new issues that impose themselves into the participative-democratic Brazilian context.

1. Introdução

No final do século X, com o aprofundamento da crise do welfare state, com as convulsões econômicas, sociais e políticas enfrentadas, principalmente a partir do final da década de 1970, junto com o movimento da nova administração pública, o Estado é fortemente questionado tanto em suas funções quanto na real eficácia de suas ações interventoras na realidade social. Aceitando-se que a compreensão do sucesso e do fracasso das políticas públicas é fundamental para o melhor desempenho da administração pública, passa-se a algumas considerações sobre o “Estado em ação”.1 De acordo com Faria (2003), em seus primórdios, as políticas públicas eram consideradas quase exclusivamente outputs do sistema político, o que Termo cunhado por Jobert e Muller, 1987.

531avaliação de políTicas púBlicas justificava o fato de a atenção dos investigadores ter se concentrado inicialmente nos inputs, isto é, nas demandas e articulações de interesse. Dessa forma, antes que a análise de políticas públicas fosse reconhecida como uma subárea da ciência política, os estudos recaíam nos processos de formação de políticas públicas, “o que parece refletir o status privilegiado que os processos decisórios sempre desfrutaram junto aos profissionais da área” (Faria, 2003:21).

Nos Estados Unidos, segundo Frey (2000), pesquisas em políticas públicas começaram a se estabelecer no início dos anos 1950, sob a designação de policy science, enquanto na Europa, especialmente na Alemanha, a preocupação com campos específicos de políticas somente toma força a partir do início dos anos 1970. Nesse período a unidade de análise torna-se a própria definição das políticas públicas, o que conferiu destaque aos aspectos dinâmicos do policy process e aos distintos atores, estatais e não-estatais, geralmente envolvidos (Faria, 2003). No caso do Brasil, os estudos sobre políticas públicas são bem recentes. Nesses estudos dispersos, a ênfase recaiu ou à análise das estruturas e instituições ou à caracterização dos processos de negociação das políticas setoriais específicas.

Para Faria (2003), há atualmente uma Babel de abordagens, teorizações incipientes e vertentes analíticas que buscam dar significação à diversificação dos processos de formação e gestão das políticas públicas, considerando um mundo cada vez mais caracterizado pela interdependência assimétrica, incerteza e complexidade das questões. Assim, para que se possa entender melhor a análise das políticas, Frey (2000) apresenta algumas categorias que têm conseguido relevância na literatura, com ênfase em policy cycle (ciclo político).

O agir público pode ser dividido em fases parciais do processo políticoadministrativo de resolução de problemas, que correspondem a uma seqüência de elementos do processo. Comum a todas as propostas de divisões do ciclo político são as fases da formulação, da implementação e do controle dos impactos das políticas (Frey, 2000).

Para os fins deste artigo, destaca-se a última fase do ciclo político, a avaliação de políticas e da correção de ação (evaluation), na qual se apreciam os programas já implementados no que diz respeito aos seus impactos efetivos. Investigam-se os déficits de impacto e os efeitos colaterais indesejados para poder extrair conseqüências para ações e programas futuros. Nessa etapa, caso os objetivos do programa tenham sido atendidos, o ciclo político pode ser suspenso ou chegar ao fim, senão à iniciação de um novo ciclo, isto é, a uma nova fase de percepção e definição de problemas. “Com isso, a fase da avaliação é imprescindível para o desenvolvimento e a adaptação contínua das formas e instrumentos de ação pública” (Frey, 2000:229).

532andrei piTTol Trevisan • Hans micHael van Bellen

Na concepção apresentada do modelo de policy cycle o processo para resolução de um problema tem uma seqüência de fases. Na prática, segundo Frey (2000), os atores político-administrativos dificilmente se fixam a esse contínuo, especialmente para programas políticos mais complexos que se baseiam em processos interativos, cuja dinâmica é movida por reações mútuas dos atores envolvidos. Assim, o policy cycle pode servir como um quadro de referência para a análise processual.

Políticas públicas no Brasil

De acordo com Melo (1998), a construção histórica da agenda de políticas públicas no Brasil pode ser identificada e dividida em etapas. Porém, não se pretende um aprofundamento detalhado em cada etapa, apenas uma descrição sumária dos últimos anos e seus destaques.

A análise de políticas públicas experimentou um boom na década de 1980, impulsionada pela transição democrática. São três os motivos da expansão (Melo, 1999). Em primeiro lugar, pelo deslocamento na agenda pública. Durante os anos 1970, a agenda pública se estruturou em torno de questões relativas ao modelo brasileiro de desenvolvimento, onde a discussão limitava-se aos impactos redistributivos da ação governamental e ao tipo de racionalidade que conduzia o projeto de modernização conservadora do regime ditatorial. Eram centrais para essa agenda as questões de arranjo institucional: descentralização, participação, transparência e redefinição do mix público-privado nas políticas. A essa transformação da agenda seguiu-se uma redescoberta na agenda de pesquisas das políticas municipais e descentralização.

Em segundo lugar, não obstante o fim do período autoritário, constatouse que os obstáculos à consecução de políticas sociais efetivas continuaram existindo, o que serviu para fortalecer os estudos sobre políticas. A perplexidade e o desencantamento em relação ao Estado levaram a um maior interesse sobre as condições de efetividade da ação pública.

Em terceiro lugar, a difusão internacional da idéia de reforma do Estado e do aparelho de Estado passou a ser o princípio organizador da agenda pública dos anos 1980-90, o que provocou uma proliferação de estudos de políticas públicas. As questões de arranjo institucional ganharam grande centralidade na agenda: “(...) ao tomar-se o modo e a qualidade da intervenção pública na economia e na sociedade como objeto de estudo, cria-se por extensão um programa de pesquisa de caráter empírico sobre questões relativas à eficiência de políticas e programas” (Melo, 1999:81). Por outro lado, se antes o encanta-

533avaliação de políTicas púBlicas mento da imaginação social brasileira era o Estado, nos anos 1990, esse apego passa a ser direcionado, paulatinamente, para a sociedade civil.

De fato, nos últimos anos tem-se visto um crescimento dos estudos da área de políticas públicas no Brasil (Arretche, 2003; Souza, 2003). Conforme Arretche (2003), multiplicaram-se as dissertações e teses sobre temas relacionados às políticas governamentais; disciplinas de políticas públicas foram criadas ou inseridas nos programas de graduação e pós-graduação; criaramse linhas de pesquisa especialmente voltadas para essa área; instituíram-se agências de fomento à pesquisa, assim como linhas especiais de financiamento para a área.

Apoiando-se em Melo (1999), Arretche (2003) confirma que a área de políticas públicas no Brasil se caracteriza por uma baixa capacidade de acumulação de conhecimento, em função da proliferação horizontal de estudos de caso e da ausência de pesquisa. Souza (2003) diz que esse é o primeiro problema a ser superado pela área. A solução, felizmente, tem avançado com a criação de fóruns específicos sobre políticas públicas em espaços acadêmicos, e com o advento da informatização de periódicos nacionais e internacionais.2 “Esses fóruns e instrumentos permitem-nos conhecer melhor e mais rapidamente a produção de nossos pares, embora não exista um periódico específico que abrigue exclusivamente a produção da área” (Souza, 2003:16).

Reis (2003) assinala que a política pública não se furta ao imperativo da utilidade social, ou seja, mesmo quando adota uma postura crítica, ela o faz apostando na possibilidade de cursos de ação alternativos. Portanto, há poucas dúvidas quanto ao objeto de análise de políticas públicas. A análise do “Estado em ação” tem como objeto específico o estudo de programas governamentais, suas condições de emergência, mecanismos de operação e prováveis impactos sobre a ordem social e econômica (Arretche, 2003).

Por ser uma subárea muito ampla, decorre outro problema, ressaltado por Souza (2003) e comentado por Melo (1999): a abundância de estudos setoriais, dotando a área de uma diversificação de objetos empíricos que se expandem horizontalmente, sem um fortalecimento vertical da produção. Conforme a autora, isso acontece porque a disciplina envolve, no mínimo, análises sobre a identificação do problema que vai ou não se transformar em uma política (agenda setting), a formulação, a legitimação, gestão, implementação e avaliação da política. É da essência da área a multidisciplinaridade, razão pela qual estudos setoriais transitam em diversas áreas do conhecimento, logo, Ver: <w.scielo.org> e <w.periodicos.capes.gov.br>.

534andrei piTTol Trevisan • Hans micHael van Bellen

“em síntese, o problema do crescimento horizontal excessivo versus a falta de fortalecimento vertical decorre do crescimento da própria disciplina no Brasil, pois ela assumiu uma formação que mais gira em torno de áreas temáticas do que grupo de pesquisa” (Souza, 2003:16).

Souza (2003) sustenta-se em Melo (1999) novamente para apontar um terceiro problema, que diz respeito à proximidade da área de políticas públicas com a burocracia governamental, o que tanto pode resultar em trabalhos normativos e prescritivos, como a possibilidade desses mesmos órgãos governamentais ditarem a agenda de pesquisa acadêmica. Esse ponto é válido também para organismos multilaterais. Arretche (2003:8-9) afirma que o programa de pesquisa brasileiro tem estado fortemente subordinado à agenda política do país:

o conteúdo da produção acadêmica (teses, artigos e pesquisas) tem sido, em boa medida, a avaliação dos resultados alcançados pelas políticas em voga ou a atualização da informação existente sobre programas já consolidados. Na verdade, a subordinação da agenda de pesquisa à agenda política é potencialmente maior na área de políticas públicas do que em outras áreas do conhecimento (...).

Além da baixa capacidade de acumulação de conhecimento (Melo, 1999), Arretche (2003) e Souza (2003) destacam que os métodos de investigação têm recebido escassa atenção no debate dessa área de pesquisa. Nas palavras de Souza (2003:17), “a área ainda apresenta um uso excessivo de narrativas pouco pautadas por modelos ou tipologias de políticas públicas, por teorias próximas do objeto de análise e que mantêm uma leveza metodológica exagerada”.

Com relação às pesquisas brasileiras, Souza (2003:17) diz que urge superar a atual geração de estudos, excessivamente concentrada nos fracassos, pouco preocupada com as questões políticas e fortemente assentada no pressuposto de que a formulação e a implementação de políticas públicas são processos exclusivamente racionais e lineares, desvinculados dos processos políticos.

Essa nova geração de estudos deve seguir na direção do desenvolvimento de tipologias analíticas, e concentrar-se na identificação das variáveis que causam impactos sobre os resultados das políticas. Isso implica na superação da dicotomia dos estudos em se analisar sucessos ou fracassos para um estágio onde se enfatize o melhor entendimento dos próprios resultados (Souza, 2003).

535avaliação de políTicas púBlicas

No entender de Carvalho (2003:186), ao se considerar que o sistema das políticas públicas é um processo em fluxo, por associação uma dada política pública não poderia estruturar-se como seqüência linear de fases:

a abordagem que melhor expressa o quadro real das políticas públicas é a que a considera um processo contínuo de decisões que, se de um lado pode contribuir para ajustar e melhor adequar as ações ao seu objeto, de outro, pode alterar substancialmente uma política pública

Ao final de seu balanço sobre o estágio atual da disciplina de políticas públicas no Brasil, Souza (2003) comenta que já existe uma quantidade relevante de estudos sobre políticas públicas nacionais e sobre políticas locais, mas sabe-se muito pouco sobre questões cruciais na esfera estadual, como, por exemplo, as diferenças tão marcantes nas políticas formuladas e/ou implantadas pelos governos estaduais.

2. Avaliação de políticas públicas

Avaliar significa determinar a valia de algo, atribuir um valor (Ferreira, 1999) e outras línguas, incluindo o espanhol e o inglês, coincidem na associação de avaliação como atribuição de valor (Mokate, 2002; Garcia, 2001). No entanto, Ala-Harja e Helgason (2000) advertem, de início, que não existe consenso quanto ao que seja avaliação de políticas públicas, pois o conceito admite múltiplas definições, algumas delas contraditórias. Esse fato se explica justamente porque a área de políticas públicas é perpassada por uma variedade de disciplinas, instituições e executores, abrangendo diversas questões, necessidades e pessoas.

Ala-Harja e Helgason (2000:8) definem avaliação em termos simples, afirmando que “o termo compreende a avaliação dos resultados de um programa em relação aos objetivos propostos”.3 Combinando contribuições de diversos autores, Garcia (2001:31) define avaliação:

Avaliação é uma operação na qual é julgado o valor de uma iniciativa orga- nizacional, a partir de um quadro referencial ou padrão comparativo previa-Segundo Silva e Costa (2002), as políticas públicas tornam-se programas quando, por ação de uma autoridade, as condições iniciais para sua implementação se concretizam.

536andrei piTTol Trevisan • Hans micHael van Bellen mente definido. Pode ser considerada, também, como a operação de constatar a presença ou a quantidade de um valor desejado nos resultados de uma ação empreendida para obtê-lo, tendo como base um quadro referencial ou critérios de aceitabilidade pretendidos.

O Comitê de Assistência ao Desenvolvimento da OCDE assinala que o propósito da avaliação é determinar a pertinência e alcance dos objetivos, a eficiência, efetividade, impacto e sustentabilidade do desenvolvimento. A avaliação deve proporcionar informação que seja crível e útil para permitir a incorporação da experiência adquirida no processo de tomada de decisão. A avaliação deve ser vista como um mecanismo de melhoria no processo de tomada de decisão, a fim de garantir melhores informações, sobre as quais eles possam fundamentar suas decisões e melhor prestar contas sobre as políticas públicas (Ala-Harja e Helgason, 2000).

Thoenig (2000) declara que o uso da avaliação é orientado para ação, assim, a prioridade dela é fornecer informação. Contudo, Mokate (2002) acautela que diversas definições, inclusive a do comitê, falham em resgatar explicitamente o conceito de “valor” ou de “mérito”, pois se centram na verificação do cumprimento de um plano e análise do atingimento de objetivos, supondo que o plano e os objetivos correspondentes têm um valor já reconhecido e aceito em si.

Não obstante a grande utilidade das informações provindas da avaliação, esta é muito pouco utilizada. No caso das reformas do setor público, Thoenig (2000:5) observa que nenhuma iniciativa foi lançada para avaliar as reformas; pelo contrário, “pode-se encontrar um relativo ceticismo para com a avaliação, particularmente, entre praticantes bem-informados e experientes em reforma da gestão pública, alguns até mesmo expressam uma resistência à avaliação que parece predominar no seu próprio governo”.

As avaliações podem ser um “problema” para os governantes, executores e gerentes de projetos porque os resultados podem causar constrangimentos públicos. As informações e resultados das avaliações podem ser usados pelo público e pela imprensa para criticar os governos, da mesma forma que, em caso de “boas notícias”, os governos podem usá-las para legitimar as próprias políticas, como ganho político etc.

3. Breve histórico sobre a avaliação de políticas públicas

Os esforços e estudos de avaliação de políticas públicas se desenvolveram em diversas fases. De acordo com a literatura sobre o assunto, Faria (2005) afirma

(Parte 1 de 4)

Comentários