Cultura della valutazione, convegno degli Emeriti fridericiani con Giovannini

199
in foto Enrico Giovannini al convegno Apef su "La Valutazione d’Impatto delle Politiche Pubbliche e della Regolamentazione" di Napoli

Come mai l’attuazione in Italia della valutazione di impatto, strumento previsto dalla nostra legislazione sulla scia di quella europea, tarda ad affermarsi? Quali sono le ragioni che ostacolano la diffusione della cultura della valutazione? E ancora. Quale ruolo devono avere i dati? Cosa è opportuno misurare? Quanto è importante, per dirla con Einaudi, “conoscere per governare”? Sono alcuni degli interrogativi posti alla base del convegno tenutosi questa mattina all’Accademia Pontaniana di Napoli dal titolo “La Valutazione d’Impatto delle Politiche Pubbliche e della Regolamentazione”. Un seminario promosso dall’Associazione Professori Emeriti Fridericiani (Apef), presieduta da Carlo Lauro, emerito di Statistica dell’Università Federico II.
Approfonditi gli aspetti metodologici, giuridici ed economici della disciplina, anche alla luce delle esperienze condotte in Italia, al fine di diffonderne la conoscenza e superare gli ostacoli per la sua applicazione più ampia ed efficiente. Presente ai lavori, insieme ai soci Apes, il Console Generale degli Stati Uniti d’America a Napoli Tracy Roberts-Pounds.
Saluti istituzionali affidati al professore ordinario di Diritto costituzionale e direttore del Dipartimento di Giurisprudenza dell’Università di Napoli Federico II Sandro Staiano, intervenuto anche a nome del rettore Matteo Lorito, e alla professoressa Maura Striano, assessore all’Istruzione del Comune di Napoli e docente ordinaria di Pedagogia generale. Quindi, l’introduzione sulle culture della valutazione, toccata a Mita Marra, associato di politica economica della Università Federico II. Primo intervento dello stesso Carlo Lauro sulle metodologie relative alla valutazione di impatto. A seguire i principi giuridici a cura di Massimo Villone, emerito di Diritto costituzionale, e le esperienze in Italia, con la relazione di Enrico Giovannini, ordinario della Università di Roma Tor Vergata e già presidente dell’Istat e ministro delle Infrastrutture e della Mobilità sostenibili. Degli aspetti economici ha discusso Massimo Marrelli, emerito di Scienza delle finanze, mentre le conclusioni sono state affidate a Luigi Fusco Girard, emerito di Estimo della Federico II.

in foto il Console Generale degli Stati Uniti d’America a Napoli, Tracy Roberts-Pounds, al convegno Apef

Staiano e Striano, i punti di vista di università e comune
Ad aprire il convegno sono state le due istituzioni coinvolte dall’Apef: Federico II e Comune di Napoli. Per il Direttore del Dipartimento di Giurisprudenza Staiano “la qualità della legislazione in Italia è molto bassa” e ciò si deve anche al fatto che la “cultura della valutazione si afferma nel nostro Paese in maniera molto contrastata e lenta da ormai decenni”. Per il docente di diritto “rimangono diverse criticità sotto alcuni profili, dovute anche alla scarsa dotazione delle pubbliche amministrazioni di competenze professionali adeguate a svolgere questa analisi, con dei limiti strutturali, che rendono meno obiettiva l’analisi stessa”. Di qui Staiano ha anche ricordato come vi siano una serie di “esenzioni”. “La sottrazione di alcuni di questi atti all’adeguata valutazione d’impatto dovrebbe far riflettere”, ha aggiunto. “Non si tratta soltanto di situazioni emergenziali ma anche di snodi particolarmente delicati come la proposta di regionalismo differenziato, che avrebbe avuto bisogno di un’analisi d’impatto molto approfondita anche in termini di sostenibilità organizzativa”. Stigmatizzato infine l’utilizzo sempre più frequente di “Dpcm”, rispetto a cui “soltanto l’1 per cento fa registrare una adeguata analisi d’impatto”.

in foto da sinistra Luigi Fusco Girard, Maura Striano, Sandro Staiano e Carlo Lauro

La parola è dunque andata alla professoressa Striano, che a nome del sindaco Manfredi, ha rilanciato l’alleanza tra territorio, università ed istituzioni perché “occasioni come queste non siano sprecate ma contribuiscano ad attivare un circuito di ulteriori riflessioni, in cui i cittadini siano attivamente coinvolti all’interno una progettualità comune”. La docente di pedagogia ha ricordato di essere stata tra i valutatori Anvur della terza missione, segnalando come “molti progetti non erano stati pensati e concepiti con la logica della valutazione d’impatto”. Striano ha aggiunto che “questo tipo di cultura dipende sì dalla governance ma anche dalla formazione del personale universitario e amministrativo degli atenei”.

Mita Marra: Valutazione sia un patrimonio di modelli e teorie di medio raggio
Nell’introdurre il tema della cultura della valutazione, la professoressa Marra ha posto l’accento sulla necessità di valorizzare “l’eterogeneità dei contesti in cui si calano i programmi, che non possono essere standardizzati”. Di qui la docente ha rimarcato come in Italia non vi sia “un’istituzione dedicata alla valutazione delle leggi”. “Non si valuta l’impatto delle politiche pubbliche, il monitoraggio dei fondi. La stessa Corte dei Conti è composta da soli magistrati e non esperti di metodologia socio economica”, ha aggiunto. Per poi evidenziare: “Il valutatore non è un algoritmo né un agente che risponde al principale, è piuttosto un attore indipendente che contribuisce a creare conoscenza utile alla politica”.

in foto la professoressa Mita Marra della Università Federico II

I sette peccati capitali della valutazione. L’intervento di Carlo Lauro
Nel corso del suo puntuale e scrupoloso intervento, il professor Lauro ha introdotto, attraverso la metafora del paradiso perduto, il concetto di valutazione. Questo il testo integrale. “In principio Dio creò il cielo e la terra. Il settimo giorno, mentre si accingeva al meritato riposo, osservando il creato, Dio ebbe a  concludere: ‘Non si poteva fare di meglio’. Intanto che Dio faceva queste considerazioni lo avvicinò il suo arcangelo più bello e più splendente e gli chiese: ‘Signore, come fate a sapere che ciò che avete creato è davvero perfetto? Quali sono i criteri su cui fondate la vostra valutazione? Su quali dati basate il vostro giudizio? Non siete per caso un poco troppo vicino alla situazione per esprimere una valutazione imparziale ed equa?’ Tutte queste domande turbarono molto il suo giorno di riposo. L’ottavo giorno Dio, mandato a chiamare il suo arcangelo, sbottò: ‘Lucifero, vai all’inferno'”. Subito dopo il professor Lauro ha commentato: “Le domande di Lucifero sembrano ancora oggi quanto mai attuali. Un qualunque esercizio di valutazione deve partire dalla definizione delle finalità e dell’oggetto della valutazione stessa (risultati o output, conseguenze di breve/medio periodo detti outcome, e impatti in termini di sostanziali modifiche ), dalla identificazione dei criteri su cui essa si basa, dei suoi strumenti di analisi e dei relativi dati”. Quindi, Carlo Lauro ha svolto una riflessione sulla definizione e gli scopi della valutazione. “E’ il processo di raccolta sistematica e analisi di diverse forme di dati (sia quantitativi, qualitativi, testuali), con il fine di stabilire (assessing) il valore delle ricadute, l’adeguatezza, l’efficacia e l’efficienza, la sostenibilità ed i benefici di una politica o di una regolamentazione, tenuto conto delle azioni e delle risorse impiegate per fare fronte agli obiettivi cui sono indirizzate. Ma tale valutazione, lungi dall’essere fine a se stessa, coerentemente con il suo significato di valorizzare, deve essere finalizzata all’apprendimento (learning) al fine di perseguire il miglioramento continuo dei risultati e degli impatti, ma anche quello di supportare scelte e decisioni (decision making)”.
Il professor Lauro ha anche illustrato quelli che ha definito i “sette peccati capitali della valutazione”. Si tratta di “obiettivi vaghi o ambiziosi; ignorare il contesto; valutare l’impatto e non il processo; confondere output e outcome; non tenere conto dell’ipotesi controfattuale; non tenere conto della multidimensionalità della valutazione; usare dati e metodi inappropriati; non coinvolgere gestori e destinatari dell’intervento”. Il presidente dell’Apef ha poi nelle sue conclusioni rimarcato l’importanza dell’utilizzo strategico delle “attività di valutazione dei provvedimenti pubblici e della regolazione”, che pone oggi una serie di sfide di tipo scientifico ed organizzativo”. Per Lauro appare “sempre più evidente l’esigenza di dotare la Pubblica amministrazione di metodologie e modelli statistici ad hoc capaci di supportare le attività valutative secondo nuove logiche, nel rispetto della coerenza, della sequenzialità, della multidimensionalità e della casualità”. Inoltre, “si dovrebbero istituire osservatori stabilmente adibiti alla produzione sistematica di misurazioni durante l’intero ciclo di valutazione, alla costituzione di basi dati funzionali a tali analisi, alla diffusione delle best practices nazionali e internazionali”. “Al fine di superare i gap culturali e metodologici ricordati è altresì auspicabile – ha concluso – il fare ricorso ad un approccio interdisciplinare alla valutazione con il coinvolgimento di soggetti portatori di diverse competenze tecnico-scientifiche (giuridiche, statistiche, economiche, aziendalistiche, psicologiche)”.

in foto da sinistra Luigi Fusco Girard, Maura Striano, Sandro Staiano e Carlo Lauro

Villone: Non è incentivazione alla conoscenza ma funzione connessa al governo
Di riferimenti normativi ha parlato il professor Villone, il quale si è concentrato sugli aspetti giuridici della valutazione, esaminando con i presenti in maniera scrupolosa i due provvedimenti cardine dell’analisi: il Regolamento (Dpcm 169/2017) e la Guida (Direttiva del Presidente del Consiglio dei Ministri del 16 febbraio 2018). Il docente emerito di Diritto costituzionale, a lungo parlamentare, ha spiegato che “non si tratta di una generica incentivazione alla conoscenza ma di una funzione strettamente connessa al governo, un fatto politico istituzionale”. Ha quindi rilevato come “l’analisi dell’impatto della regolamentazione (Air) sia esclusa per provvedimenti di notevole impatto, come le Leggi di bilancio, e preveda invece l’esenzione per gli atti ad impatto ridotto”. Per Villone si tratterebbe di un passaggio che ha “escluso per il massimo ed esentato da richiesta per il minimo” la valutazione, il che farebbe capire i limiti di questo procedimento. Il docente ha ricordato anche come nell’ultima relazione disponibile sul tema, quella del 2021 riferita al 2020, si faccia riferimento alle cause ostative del processo di valutazione citando la pandemia e il Pnrr.

in foto Massimo Villone, emerito di Diritto costituzionale della Università Federico II

Giovannini: Mio unico ministero a fare la valutazione d’impatto del Pnrr
Nel biennio 2021-2022 il Ministero delle Infrastrutture e della Mobilità Sostenibili ha adottato un nuovo modello di valutazione ex-ante dei progetti di propria competenza, a partire da quelli inseriti nel Pnrr. In particolare, è stato adottato un approccio basato sul perseguimento degli Obiettivi di sviluppo sostenibile dell’Agenda 2030 dell’ONU, basandosi su valutazioni di tipo sia qualitativo che quantitativo, dove possibile. E’ stato disegnato anche un modello di “scoring” per valutare la qualità dei progetti, ai fini del loro finanziamento. Si tratta di un nuovo approccio che andrebbe rafforzato ed esteso a tutti gli investimenti pubblici. “L’analisi preliminare della valutazione d’impatto l’abbiamo voluta fare per il pezzo di nostra competenza del Pnrr e siamo stati l’unico ministero a farla”. Dei 61,5 miliardi del Piano nazionale di Ripresa e Resilienza e Pnc di pertinenza del Mims parla Enrico Giovannini, ordinario a Tor Vergata, già a capo dell’Istat e ministro del governo Draghi. “Dove quei 61 miliardi e rotti sarebbero finiti abbiamo provato a capirlo – ha aggiunto – e siamo arrivati alla conclusione che l’investimento avrebbe generato un fabbisogno di input di lavoro pari ad oltre 600 mila unità, presenti per circa la metà nel settore delle costruzioni e per oltre 100 mila unità negli altri servizi di mercato. La forte concentrazione dell’impatto in alcuni settori determina una notevole pressione potenziale sull’offerta, che appare elevata soprattutto per il settore dell’Ingegneria civile, seguito da Ricerca e Sviluppo e Costruzione di edifici”. Inoltre, l’ex ministro ha ricordato come il suo dicastero abbia preferito investire su obiettivi di sviluppo sostenibile, riducendo i tempi di viaggio, con l’abbattimento al Sud per il 24 per cento dei tempi di percorrenza, e sul minore impatto delle emissioni di Co2″. Infine, Giovannini ha ricordato come servano “persone convinte” per poter diffondere una sana cultura della valutazione in grado di “guidare le decisioni del governo verso quello sviluppo sostenibile contemplato nella roadmap per la Repubblica del benessere”.

Enrico Giovannini, ordinario della Università di Roma Tor Vergata e già presidente dell’Istat e ministro delle Infrastrutture e della Mobilità sostenibili

Marrelli: Connessione tra l’analisi costi-benefici e la qualità della legislazione
Sul calcolo dell’entropia si è soffermato invece Massimo Marrelli, emerito di Scienza delle finanze, il quale ha spiegato in premessa come “quanto più è maggiore il numero di attributi considerati rilevanti e, di conseguenza il numero di leggi che disciplinano tutte possibili fattispecie (finezza della partizione di tutti i possibili eventi), tanto maggiore è la possibilità di errore e tanto maggiore l’entropia”. “L’entropia – ha aggiunto – implica l’incertezza del diritto. Si manifesta nei risultati delle decisioni giudiziali, nel comportamento della burocrazia e via discorrendo”. Il professor Marrelli ha anche mostrato un esempio sulla rappresentazione grafica del Decreto legge 76/2020, che ha plasticamente fatto notare la complessità di un provvedimento legislativo italiano. La sua relazione è stata improntata alla connessione tra l’analisi costi-benefici e la qualità della legislazione, giungendo alle conclusioni che “la valutazione economica di progetti e/o programmi è uno strumento utile di supporto alle decisioni politiche; tuttavia, per poter ambire ad essere tale deve essere correttamente impostata senza trascurare gli elementi di contorno del progetto e l’ambiente in cui si opera”.

in foto Massimo Marrelli, emerito di Scienza delle finanze della Federico II

Luigi Fusco Girard: Valutazione è un diritto ma anche un dovere
Nelle sue conclusioni Luigi Fusco Girard, professore emerito di Estimo, ha ricordato come sia un obbligo costituzionale dar conto di cosa si fa ai cittadini. “E’ un diritto ma anche un dovere farsi valutare. Il nostro obiettivo, come terzo settore, è sollecitare la politica, le istituzioni, a fare di più, a coinvolgere le popolazioni nelle scelte strategiche di un territorio. E’ un modo anche per capire ai fruitori di un progetto che è il loro progetto, non di altri, non del ministero, perché concorre a migliorare la qualità della vita di chi in quel posto ci abita. E gli indicatori servono a far questo, a capire se ci stiamo avvicinando o allontanando rispetto ad un obiettivo fissato, vanno identificati attraverso analisi scientifiche”.

in foto Luigi Fusco Girard, professore emerito di Estimo