Valutazione delle politiche pubbliche.html



Questa voce di sociologia è solo un abbozzo. Contribuisci a migliorarla secondo le convenzioni di Wikipedia.

La valutazione delle politiche pubbliche è un'attività di ricerca e pratica professionale finalizzata ad esprimere dei giudizi empiricamente fondati sui disegni, i processi, le performances, gli effetti delle politiche pubbliche. La valutazione delle politiche pubbliche è un ambito della analisi delle politiche pubbliche.

modifica Alcune classificazioni

modifica L’approccio sistematico di Rossi, Freeman e Lipsey

Gli autori propongono un approccio sistematico alla valutazione delle politiche pubbliche (program evaluation) che si struttura essenzialmente su alcune domande cui il valutatore non può sottrarsi:

• quali sono i propositi della valutazione in questione?
• qual è la struttura e il contesto in cui si trova il programma analizzato?
• come deve essere impostata la relazione con gli stakeholders?
• quali sono le domande valutative (evaluation questions) cui è necessario dare risposta?
• quali sono i metodi applicabili per dare risposte solide alle domande poste?

Le domande valutative individuate dagli autori sono 5 e costituiscono altrettanti stadi del processo di valutazione di una politica pubblica:

1. valutazione dei bisogni sociali cui vuole rispondere il programma
2. valutazione della teoria sottesa al programma
3. valutazione del processo/implementazione
4. valutazione dell’impatto/degli effetti
5. valutazione di efficienza

Questi 5 tipi di valutazione si trovano tra loro in un rapporto gerarchico. Il livello fondamentale della gerarchia è costituito dalla valutazione del problema sociale cui il programma è indirizzato. A seguire è possibile rispondere, nell’ordine, alle altre 4 domande. Omettere uno dei passaggi indicati, comporta il rischio di una valutazione “sbagliata”, in quanto, generalmente, una valutazione di un livello di gerarchia elevato presuppone la conoscenza e l’analisi di aspetti della policy riferiti ai livelli più bassi della gerarchia valutativa (evaluation hierarchy). Ad esempio, se i risultati di una valutazione di impatto di una politica X sono negativi, quali conclusioni se ne possono trarre? Dove è stato il fallimento? Non si sono compresi a fondo i problemi sociali? La teoria della politica era costruita su una catena causale di azioni-effetti sbagliata (theory failuire)? E’ fallito qualcosa nella fase di implementazione (implementation failure)? E’ evidente che non considerando il ciclo della policy nella sua interezza né il valutatore né il decisore potranno capire le cause del fallimento ed agire di conseguenza (learning). Lo stesso ragionamento varrebbe ovviamente di fronte a risultati positivi: non considerando alcune fasi della policy è impossibile interpretare i risultati/effetti stimati con la valutazione di impatto.

La valutazione dei bisogni cui è indirizzato il programma (needs assessment)

Con questo studio valutativo si cerca di rispondere alla domanda “qual è il problema?”. Attorno a questa semplice domanda sorgono una serie di quesiti e questioni epistemologiche che in questa sede non ha senso trattare ma che il ricercatore, tuttavia, non può trascurare. Lo scopo di questo tipo di valutazione (che può essere svolta sia preventivamente che a posteriori) cerca di definire il problema nelle sue dimensioni, trends e peculiarità, facendo uso sia di tecniche e dati quantitativi che di metodi di indagine qualitativa che permettono di descrivere il problema e tener conto delle differenti percezioni dello stesso da parte dei diversi stakeholders. Necessario è anche giungere a definire chi sono i soggetti target: individuali o collettivi? Diretti e indiretti, etc.

La valutazione della teoria della politica (program theory assessment)

La teoria del programma può essere definita come l’insieme delle assunzioni circa i risultati che il programma in esame prevede di produrre e sulle strategie e le tattiche che il programma intende adottare per raggiungere i suoi obiettivi. La teoria viene scomposta dagli autori in due componenti:

• la prima è la teoria dell’impatto (impact theory) e si riferisce al cambiamento atteso in seguito al programma secondo una catena di eventi e nessi causali (per cui dall’azione A ci si aspetta un risultato B);
• la seconda è la teoria di processo (process theory) che descrive i passaggi, le attività da compiere nell’organizzazione e nell’implementazione degli interventi.

La teoria di una politica può essere esplicita o implicita. Il ricercatore-valutatore ha il compito di definirla. Per fare questo può sfruttare diverse fonti informative: a) documentazione amministrativa; b) interviste a decisori e stakeholders; c) osservazione diretta delle funzioni del programma; d) letteratura delle scienze sociali. In questo modo è possibile raccogliere 3 tipi di informazione: 1) obiettivi della politica; 2) funzioni, componenti e attività del programma; 3) la logica sequenziale che lega funzioni, attività e prodotti. Una buona analisi della teoria sottesa ad una politica permette di: i) capire quali sono gli obiettivi; ii) individuare le funzioni e le attività programmate; iii) eventualmente contribuire al ridisegno di una politica. Se la teoria sottesa ad una politica viene considerata essere ben definita e giustificata, allora è possibile proseguire con la valutazione. In caso contrario, non avrebbe senso continuare perché ogni risultato che si otterrebbe sarebbe impossibile da interpretare in relazione alla politica. Ad esempio, se – in seguito ad un’analisi di impatto condotta rigorosamente – gli effetti sulla popolazione target della politica in esame sono stimati essere positivi, come è possibile imputare i “meriti” ai decisori senza aver prima analizzato la teoria della politica, ovvero come la politica è stata disegnata? Nel caso in cui la politica fosse stata disegnata male, si potrebbe concludere che o i risultati ottenuti sono dovuti al caso o in fase di implementazione gli attori non hanno rispettato i programmi e hanno agito “indipendentemente” (in questo caso un’implementation failure determinerebbe il successo della politica).

La valutazione del processo di implementazione (process evaluation)

Lo scopo di questo tipo di valutazione è quello di conoscere “cos’è realmente il programma” e se i servizi/gli interventi raggiungono concretamente oppure no la popolazione target. Può essere effettuata a posteriori (program process evaluation), necessaria per la valutazione di impatto, o in itinere (continuous program monitoring), necessaria prevalentemente per i managers del programma in quanto fornisce un feedback regolare sull’implementazione degli interventi. La valutazione del processo attuativo di una policy assume una certa rilevanza anche in una prospettiva di accountability, in quanto rende conto a tutti i possibili stakeholders di “cosa l’organizzazione sta facendo”. Alcuni aspetti oggetto di analisi sono: a) il livello di partecipazione/coinvolgimento della popolazione target; b) il livello di “distorsione” nell’erogazione di un servizio (es. un sottogruppo partecipa più di altri…); c) il livello di dropouts. Confrontando i risultati di questa analisi con la teoria del cambiamento sottesa alla politica è possibile sapere se la politica viene implementata come era stato programmato o no (implementation failure). Un fallimento dell’implementazione può essere dovuto: a) alla non effettuazione dell’intervento, ad una sua parziale effettuazione; b) all’erogazione di un servizio sbagliato o secondo criteri distanti da quelli prescritti; c) ad un’erogazione diversificata tra la popolazione target; d) a differenti modalità di implementazione tra diverse unità territoriali incaricate (es. centri per l’impiego). Conoscere questi scostamenti dal programma è essenziale per effettuare un’analisi degli effetti.

La valutazione degli effetti della politica (impact assessment)

Gli outcomes (effetti) di un programma possono essere stimati e interpretati in diversi modi. Il valutatore deve capire e definire qual è l’effetto su cui la politica vuole influire. L’individuazione e la misurazione del nesso causale tra la variabile trattamento (il prodotto o output) e questa variabile dipendente (outcome variable) costituisce la sfida di questo tipo di valutazione. La variabile outcome può essere considerata sotto diversi punti di vista:

• outcome level: è il livello, lo stato, della caratteristica della popolazione target o della condizione sociale su cui la policy intende agire, misurato in un preciso istante nel tempo (es. il tasso di criminalità in un quartiere misurato nel tempo t);
• outcome change: è la differenza tra due misurazioni della stessa variabile outcome in tempi diversi (es. la differenza tra il tasso di criminalità nel tempo t e nel tempo t+1, ovvero dopo un intervento di riqualificazione urbana);
• program effect (impact): è la porzione di outcome change che può essere attribuita al programma (la porzione di scostamento tra le due misurazioni del tasso di criminalità attribuibile esclusivamente all’intervento di riqualificazione urbana).

L’identificazione degli outcomes rilevanti, la loro misurazione, la scelta e l’applicazione delle tecniche di misurazione e di stima costituiscono altrettanti argomenti che non possono essere affrontati in questa sede e che comunque poco si prestano a ragionamenti metodologici generali in quanto fortemente connessi alle specifiche situazioni.

Gli autori sottolineano l’importanza della distinzione tra:

• il monitoraggio e la misurazione degli outcomes
• la valutazione di impatto (secondo metodi sperimentali e non sperimentali)

Il monitoraggio (program monitoring) è definibile come la raccolta sistematica di aspetti della performance di un programma che indicano se il programma sta funzionando come era inteso inizialmente o in accordo con determinati standards previamente fissati. L’oggetto del monitoraggio è la performance del programma, che può riguardare sia i prodotti, che gli outcomes, che il processo di implementazione. Il monitoraggio, anche se basato sull’osservazione di indicatori relativi agli outcomes, non è definibile come “valutazione degli effetti”, per la quale è necessario individuare l’effetto netto della politica utilizzando tecniche più sofisticate. Il monitoraggio può, tuttavia, costituire una buona base di partenza per avviare successive valutazioni di impatto. La definizione degli standards, degli indicatori, loro misurazione ed interpretazione necessitano di particolari attenzioni e cautele.

La valutazione di impatto (impact assessment) può essere effettuata solo dopo aver effettuato le valutazioni collocate negli stadi inferiori della “gerarchia”. Si tratta fondamentalmente di un’analisi comparativa: gruppo di trattati a confronto con il gruppo di controllo; oppure valore fattuale contro valore controfattuale (stima del valore che la variabile risultato avrebbe avuto se il gruppo dei trattati non fosse stato sottoposto al trattamento). E’ possibile individuare due filoni della valutazione d’impatto:

• L’approccio sperimentale (randomized field experiments): pur con tutte le limitazioni cui è sottoposto (costi, considerazioni etiche, tempi, etc.), l’approccio sperimentale è considerato da molti il metodo valutativo per eccellenza (“the gold standard of evaluation”). In estrema sintesi, tale metodo si basa sull’assegnazione casuale (random assignment) delle unità osservate al gruppo che verrà sottoposto al trattamento o a quello che non lo sarà. La casualità assicura che i due gruppi siano mediamente uguali. La stima dell’effetto della politica avviene confrontando i valori delle variabili outcomes dei due gruppi dopo la somministrazione del trattamento (il valore del gruppo dei trattati rappresenta il fattuale, mentre quello del gruppo di controllo il controfattuale).

L’effetto della politica è dato dal valore fattuale – il valore contro-fattuale.

• L’approccio non-sperimentale (o quasi-sperimentale): i due gruppi vengono formati ex-post e non con il metodo della random assignment. Il problema in questo caso è il contenimento delle distorsioni dovute al fatto che i due gruppi non sono equivalenti. Si possono individuare due tipi di distorsione (bias):

a) selection bias (distorsione da selezione): i due gruppi non sono uguali; b) maturation (distorsione da “dinamica spontanea”): la variabile risultato varia indipendentemente dall’intervento pubblico; Alcune tecniche statistiche utilizzate per arginare tali problemi di distorsione e formulare delle stime valide sono: lo statistical matching, la multiple regression analysis, il regression discontinuity design, il difference in difference, l’interrupted-time-series analysis.

La valutazione di efficienza (efficiency analysis)

Può essere svolta ex-ante (per scelte allocative in presenza di risorse scarse – efficienza allocativa) o ex-post (come estensione della valutazione di impatto). Gli autori individuano due sotto-categorie:

• l’analisi costi-benefici (gli effetti del programma vengono espressi in termini monetari)
• l’analisi costi-efficacia (gli effetti del programma non vengono trasformati in termini monetari)

modifica Una classificazione basata sulle esigenze cognitive

Cambiando prospettiva, ovvero considerando i bisogni cognitivi, la “valutazione” può assumere 5 “forme diverse”:

1. POLICY AND PROGRAM DESIGN: la “valutazione” come strumento per allocare risorse agli usi più meritevoli
2. MANAGEMENT CONTROL: la valutazione come strumento di controllo della performance nell’ambito delle organizzazioni
3. ACCOUNTABILITY: la valutazione come veicolo per rendere conto delle realizzazioni effettuate in un certo ambito di azione pubblica
4. IMPLEMENTATION: la valutazione come strumento di analisi critica dei processi di attuazione di una politica
5. LEARNING: la valutazione come stima degli effetti prodotti da una politica (Martini, Cais 1999).

La “valutazione” come strumento per allocare risorse agli usi più meritevoli

In questo caso la “valutazione” consiste in un giudizio comparativo su diversi s/oggetti al fine di individuare i migliori o più meritevoli. Si tratta fondamentalmente di quella che comunemente viene definita valutazione ex-ante, nonostante non vi sia accordo nell’accettarla come valutazione in senso stretto. Le procedure consistono in tre passaggi essenziali: a) determinazione dei criteri (punteggi e pesi); b) esame dei N s/oggetti; c) aggregazione dei giudizi secondo tecniche diverse (individuazione dei migliori, esclusione dei peggiori, formulazione graduatorie). A questa logica di valutazione appartengono: - la selezione dei progetti (bandi di gara) - la valutazione della dirigenza - la valutazione della ricerca scientifica - le analisi costi-benefici di alternative - l’analisi multicriteri

La valutazione come strumento di controllo della performance nell’ambito delle organizzazioni

Questa analisi risponde all’esigenza di sapere se ed in che misura un’organizzazione (o meglio: una singola unità organizzativa) funziona bene (come dovrebbe). Si tratta di un’analisi della performance che ha per oggetto i costi, la qualità delle prestazioni, i volumi di attività. Si tratta di una misurazione degli scostamenti tra i valori osservati e i valori “ottimali”. Le informazioni prodotte hanno rilevanza gestionale interna. Le fasi di questo tipo di analisi sono cinque:

• individuazione delle dimensioni da sottoporre a controllo
• definizione degli indicatori che rappresentano le dimensioni o parti di esse
• individuazione degli standard appropriati per ciascun indicatore
• raccolta dei dati
• interpretazione delle deviazioni dei dati osservati dagli standards.

Si rifanno a questa logica (pur non costituendo propriamente dei metodi di valutazione): - il controllo di gestione - la certificazione di qualità - l’accreditamento di organizzazioni - le indagini di customer satisfaction

La valutazione come veicolo per rendere conto delle realizzazioni effettuate in un certo ambito di azione pubblica

Dato un complesso di interventi che usano risorse pubbliche, del cui utilizzo si vuole (o si deve) rendere conto, la valutazione è quel processo di misurazione e comunicazione sistematiche delle realizzazioni effettuate (e dei “risultati” ottenuti). Ha una valenza prevalentemente descrittiva, pone una certa enfasi su grandezze aggregate, che offrono un’immagine d’insieme dello sforzo perpetrato dall’organizzazione. Come strumento di rendicontazione la valutazione si adatta particolarmente a organizzazioni complesse e multifunzionali, oppure a grandi programmi di intervento pubblico. La ricaduta decisionale di questo tipo di valutazione non è immediata ed assume prevalentemente una valenza “comunicativa”. I termini chiave sono: trasparenza, responsabilità e legittimazione. I destinatari di questa valutazione possono essere i cosiddetti stakeholders, organi o organizzazioni sovraordinate, oppure, più generalmente, tutti i cittadini.

Alla base di un rapporto di accountability sta fondamentalmente un impegno a fare qualcosa per qualcun altro. Questo impegno può essere imposto dal soggetto esterno, concordato o contrattato tra le parti, od offerto volontariamente dal soggetto delegato in cambio dell’attribuzione di responsabilità. L’informazione raccolta ed elaborata a supporto di questa funzione quindi deve essenzialmente controllare che “le cose promesse siano state fatte, fatte in tempo e fatte bene”.

Gli autori sottolineano l’ambiguità del termine obiettivo, che può assumere due valenze:

• Obiettivo come perseguimento di un target stabilito e quantificato (o quantificabile) a priori. Il target può essere un certo volume di produzione, il completamento di un progetto, il raggiungimento di livelli qualitativi di un servizio. Verificare se l’obiettivo è stato raggiunto significa in questo caso essenzialmente “confrontare il target prestabilito con ciò che è stato ottenuto/fatto/prodotto”, e questa è l’essenza dell’informazione prodotta a supporto dell’accountability.
• Obiettivo come modifica di una situazione ritenuta non desiderabile mediante l’uso di strumenti di intervento pubblico (ad esempio, la riduzione delle tossicodipendenze, l’aumento della concorrenza nei mercati, la riduzione dell’inquinamento, etc.). In questo caso “verificare se gli obiettivi sono stati raggiunti” significa molto di più rispetto ad una verifica delle “cose fatte”, al raggiungimento di un target prestabilito. Qui sorge essenzialmente un problema di attribuzione di causalità, e in seconda battuta di identificazione delle ragioni (organizzative, di contesto) per cui il cambiamento si è o non si è verificato. Qui non ci si trova più di fronte ad un’esigenza di accountability, ma di learning (vedi punto 5).

La raccolta e l’interpretazione dell’informazione per sostenere la funzione di accountability è tutt’altro che banale, pur esulando dal problema di attribuzione di causalità. Raccogliere ed interpretare le informazioni necessarie affinché qualcuno realmente arrivi a rendere conto delle proprie azioni non è cosa facile. La maggior sfida viene nel momento finale, quello che consiste nell’emettere un giudizio sulla performance del soggetto che deve rendere conto delle proprie azioni. Diversamente dall’attribuzione di causalità, che può essere fatta con strumenti relativamente formalizzati e rigorosi delle scienze sociali, qui si tratta di fare una più informale attribuzione di responsabilità.

La valutazione come strumento di analisi critica dei processi di attuazione di una politica

L’oggetto dell’analisi in questo caso non è né giudicare la performance né rendere conto delle realizzazioni. L’oggetto della valutazione è in questo caso la c.d. black box, ovvero la fase del processo di una policy in cui le idee e i programmi vengono trasformati in azioni e pratiche amministrative. In altre parole, attraverso strumenti prevalentemente di tipo qualitativo, vengono studiati i processi attuativi della politica pubblica (implementation research) .

Alcune pratiche riferibili a questo filone: - descrizione di ciò che è stato fatto (monitoraggio) - confronto tra ciò che è stato realizzato e il disegno originario - esame sistematico dei punti di forza e di debolezza.

La valutazione come stima degli effetti prodotti da una politica

E’ la valutazione in senso stretto. Rappresenta uno strumento che aiuta a capire se un intervento pubblico produce gli effetti desiderati. Pur trattandosi di una valutazione ex-post, essa è una valutazione prospettica, nella misura in cui aiuta i decisori a riorientare il disegno delle politiche sulla base delle stime prodotte. Si tratta di una valutazione da tenere nettamente distinta dalla rendicontazione valutativa. I due tipi di valutazione, come già detto, rispondono ad esigenze cognitive differenti e utilizzano, quindi, propri metodi e strumenti di raccolta dati, analisi e comunicazione. La valutazione, intesa come learning, rientra appieno nel filone della evaluation research /program evaluation americana (vedi Rossi, Freeman e Lipsey). E’ mirata ad un intervento preciso, mentre l’accountability è generale; le informazioni prodotte dalla valutazione intesa come learning sono approfondite e circoscritte mentre quelle prodotte dall’accountability sono periodiche, descrittive e semplificate; ancora, questo tipo di valutazione utilizza metodi quantitativi e qualitativi delle scienze sociali (basati sull’approccio controfattuale), mentre l’accountability mantiene prevalentemente un’impostazione tipica della logica di controllo.

modifica Voci correlate

Analisi delle politiche pubbliche

modifica Collegamenti esterni

• Progetto Valutazione
• Il sito sulla valutazione di Claudio Bezzi

modifica Bibliografia

• Capano G, Giuliani M. (2005), Dizionario di politiche pubbliche, Carocci Editore, Roma

• King J.A., Lyons Morris L., Taylor Fitz-Gibbon C. (1987), How to assess Program Implementation, Sage Publications, Thousand Oaks, CA

• Martini A., Mo Costabella L., Sisti M. (2006), Valutare gli effetti delle politiche pubbliche: Metodi e applicazioni al caso italiano, Formez

• Martini A., Sisti M. (2002), Indicatori o analisi di performance? Implicazioni dell’esperienza statunitense di performance measurement, Rivista trimestrale di scienza dell’amministrazione

• Martini A., Cais G. (1999), Controllo (di gestione) e valutazione (delle politiche): un (ennesimo ma non ultimo) tentativo di sistemazione concettuale, www.prova.org.

• Palumbo M. (2001), Il processo di valutazione: Decidere, Programmare, Valutare, Franco Angeli, Milano

• Patton M.Q. (1986), Utilization-focused Evaluation, Sage Publications Inc., CA

• Patton, M.Q. (1990), Qualitative evaluation and research methods (2nd ed), Sage, Newbury Park, CA

• Rossi P.H., Lipsey M.W, Freeman H.E. (2004), Evaluation: A systematic approach, Sage Publications, Inc., CA (Google Libri)

• Stame N. (1998), L’esperienza della valutazione, Collana di Studi sociali, Edizioni SEAM, Roma ISBN: 888179117X

• Weiss C.H. (1998), Evaluation – Methods for studying programs and policies, Prentice Hall, Inc. NJ

• Weiss C.H. (1972), Evaluation Research: Methods of assessing program effectiveness, Prentice Hall, Inc., NJ