Riflessioni sulla valutazione della ricerca e l'istituzione dell'ANVUR

L'ANVUR: alcune perplessità

Introduzione

Per parlare correttamente di valutazione nel campo della ricerca scientifica occorre partire da un assunto di base: la ricerca è un'attività di cui è difficile comprendere a fondo i meccanismi e prevedere con certezza i risultati nonché valutare il loro impatto.

Ciò nondimeno, queste difficoltà non impediscono di sottoporre l'attività di ricerca e sviluppo a valutazione sia sotto il profilo strettamente scientifico che socio-economico. Ciò è tanto più necessario nelle moderne democrazie, in cui ormai c'è una cultura di public accountability dell'operatore pubblico rispetto ai cittadini e di value for money riferito al valore sociale ed economico degli investimenti pubblici.

Se occorre quindi valutare la ricerca sulla spinta delle esigenze prima richiamate, la valutazione va intesa come un processo mirato all'analisi della rilevanza, dell'efficienza e dell'efficacia di politiche, programmi, prodotti, di operatori e istituzioni, di gruppi di ricerca e di singoli nel perseguire gli obiettivi prefissati.

Dal punto di vista del cosa si valuta è opportuno distinguere la valutazione di merito della qualità della ricerca che non può che essere basata sul giudizio degli addetti ai lavori, i cosiddetti pari . Essi utilizzano paradigmi ormai consolidati e riconosciuti a livello internazionale. Un altro tipo di valutazione riguarda il giudizio sugli effetti socio-economici della ricerca in termini di efficienza, efficacia ed impatto, per i quali possono essere utilizzate tecniche e strumenti di analisi comparativa formalizzate.

Dal punto di vista del quando si valuta, con riferimento al ciclo di esecuzione della R&S, occorre distinguere:

•  la valutazione ex ante che riguarda la riguarda la progettazione degli interventi e la definizione degli obiettivi, nonché dei modi con cui perseguirli;

•  la valutazione in-itinere in cui lo scopo è la verifica dei progressi conseguiti durante lo svolgimento dell'attività, (molto importante nei grandi progetti);

•  la valutazione ex-post , che riguarda la misurazione dei risultati e degli effetti dell'intervento.

L'Agenzia Nazionale di Valutazione del sistema Universitario e della Ricerca ( ANVUR ), proposta dell'attuale governo, ha come compito proprio la valutazione ex-post , i cui esiti potranno essere utilizzati da chi ha responsabilità decisionale per ottimizzare l'allocazione delle risorse tra le varie strutture e premiare così il merito.

L'obiettivo è quello di migliorare la qualità del sistema italiano della ricerca, allineandolo a quello dei paesi più avanzati.

L' ANVUR dovrebbe però essere solo un primo tassello di un sistema nazionale di valutazione perché, alla valutazione ex-post , va affiancato la valutazione ex-ante ed in-itinere non basata sul controllo burocratico formale del rispetto di format e procedure ma su un giudizio di merito da affidare ad una Agenzia Nazionale per il finanziamento della ricerca che operi, sulla base di indirizzi politici di carattere strategico, in piena autonomia scientifica ed organizzativa secondo il modello della National Science Foundation americana o altre strutture europee simili.

La filosofia della valutazione ex-post

La valutazione dell'Università e della ricerca va inserita in un contesto in cui viga un modello organizzativo che sia costituzionalmente corretto e socialmente accettabile. Perché sia tale, deve basarsi su tre principi correlati: autonomia, responsabilità, valutazione.
L'autonomia deve essere il tratto distintivo delle istituzioni scientifiche secondo quanto previsto dal fondamento costituzionale.

Essa deve essere piena ed effettiva, il che significa che il modello di autonomia universitario va completato liberandolo dai tratti eteronomi ancora presenti mentre i diritti di autonomia degli enti di ricerca non strumentali, quasi totalmente annullati dalla legislazione più recente, vanno ripristinati.

Un'autonomia piena è garanzia di libertà e pertanto funzionale allo sviluppo della scienza. Ma l'autonomia presuppone che le istituzioni scientifiche debbano “rispondere” dell'uso dei poteri conferiti, dei risultati raggiunti e dell'impiego delle risorse assegnate.

Questo deve avvenire sulla base di criteri ed indicatori il più possibile oggettivi, predefiniti, chiari e “verificabili”. In sostanza, non c'è libertà di insegnamento e ricerca senza autonomia; non c'è autonomia senza responsabilità e non c'è responsabilità senza una valutazione dei risultati.

Si tratta, come è facile notare, di un modello che storicamente non ha tradizione nel nostro Paese in cui ha sempre prevalso, anche in regime di parziale autonomia, la logica del controllo delle attività inteso come controllo sugli atti o sui comportamenti, piuttosto che sui risultati. Ma la valutazione non deve essere intesa solo come una sorta di momento di “verifica sociale”. Sicuramente, c'è l'esigenza di una pubblica rendicontazione delle risorse date alla ricerca, ma il significato più rilevante di un sistema di valutazione deve essere quello di strumento per migliorare la performance del sistema universitario e della ricerca pubblica e privata. Perché questo avvenga, occorre evitare una valutazione di tipo burocratico - sostanzialmente meccanicistica - in cui non è previsto un coinvolgimento attivo delle strutture valutate.

E' necessario invece che la valutazione diventi un processo interattivo - anche iterativo se occorre - tra valutatore e valutato, in modo da arrivare a conclusioni al termine di un percorso trasparente, comprensibile e condiviso. Anche una valutazione ben progettata ed eseguita, se non è adeguatamente partecipata da coloro che vengono valutati, che sono la sorgente primaria delle informazioni necessarie per un'efficace valutazione, può portare a risultati esattamente opposti a quelli desiderati.

In un processo valutativo basato essenzialmente su documenti, infatti, si possono verificare comportamenti opportunistici e quindi distorsivi da parte di chi impara a rispettare formalmente i criteri fissati ed i parametri relativi indipendentemente dalla qualità del lavoro svolto.

Le difficoltà intrinseche del processo valutativo possono essere percepite attraverso l'esempio riportato nel saggio di Giorgio Sirilli “Ricerca & Sviluppo”, pubblicato da Il Mulino, che riguarda la seguente libera trasposizione della Genesi della Bibbia, intitolata “La prima valutazione” scritta da un anonimo valutatore.

Il primo giorno Dio creò il cielo e la terra. E Dio vide tutto quello che aveva fatto. “Guarda” disse Dio “è veramente molto buono”. E venne sera, e poi mattina: era il sesto giorno. E il settimo giorno Dio si riposò dopo il suo lavoro. Venne quindi da Lui il Suo arcangelo che Gli chiese: “Dio, come fai a sapere che quello che hai creato è “veramente molto buono”? Quali sono i Tuoi criteri? Su quali dati basi la Tua valutazione? Non sei Tu forse un po' troppo direttamente coinvolto per dare un giudizio spassionato?” Dio riflettè su queste domande per tutto il settimo giorno, e il Suo riposo fu molto agitato. L'ottavo giorno Dio disse: “Lucifero, vai all'inferno”.

Gli strumenti della valutazione ex-post

La valutazione ex-post della ricerca è prassi consolidata in vari Paesi europei Regno Unito in primis . Anche Olanda, Germania, Francia ed altri hanno accumulato in questo campo un'esperienza di qualche decennio. Nel complesso, pur in presenza di culture e strutture diverse, le metodologie di valutazione impiegate sono sostanzialmente standardizzate e generalmente accettate.

Tipicamente vengono utilizzati differenti indicatori quantitativi oggettivi, correlati in modo tale da assicurare una valutazione sufficientemente “robusta”. Poiché ogni indicatore, da solo, ha delle controindicazioni che possono essere fuorvianti, l'uso congiunto di più di uno di loro serve ad evitare conclusioni non corrispondenti alla situazione effettiva. Così, ad esempio, pubblicazioni su riviste internazionali prestigiose, citazioni, impact factor , collaborazioni internazionali con sedi di riconosciuta eccellenza, capacità di attrazione di studiosi stranieri sono tutti esempi di fattori misurabili che esaminati contestualmente sono in grado di offrire, in generale, un rendiconto sufficientemente oggettivo della qualità scientifica, difficilmente contestabile.

Alla valutazione quantitativa viene di norma affiancata anche una valutazione “a caldo”, e più soggettiva, tramite il meccanismo del peer-review. Un panel di esperti valuta i risultati visitando anche le istituzioni, i laboratori, i gruppi di ricerca e discutendo dal vivo con le persone coinvolte ai vari livelli di responsabilità. Alla fine di quest'attività periodica, che in generale è concentrata in pochi giorni, formula un giudizio articolato con delle raccomandazioni sempre nello spirito di essere di aiuto a migliorare qualità, efficienza ed efficacia delle strutture di ricerca. L'internazionalità del panel è fondamentale per garantire un sufficiente distacco e l'obiettività del giudizio, pur nella soggettività delle opinioni da cui si parte per costruirlo.

L'organizzazione del sistema di valutazione ex-post, la ripartizione delle competenze e l'istituzione dell'ANVUR

Un sistema nazionale di valutazione ex-post dovrebbe essere organizzato su due livelli:

•  un livello centrale per la valutazione esterna alle strutture da valutare;

•  un livello periferico per l'attività di valutazione interna o di auto-valutazione.

Al livello centrale dovrebbe spettare la competenza esclusiva sulla valutazione esterna della didattica degli atenei, della ricerca pubblica e della ricerca privata finanziata con fondi pubblici. L'organismo centrale inoltre dovrebbe interagire con le strutture periferiche e di autovalutazione, esercitando una funzione di indirizzo, supporto, coordinamento e vigilanza.

Appare anche opportuno affidare all'organismo centrale altri due compiti di grande rilievo:

•  la stesura di una relazione periodica sullo stato dell'Università e della ricerca in Italia, da presentare a governo e Parlamento come base conoscitiva indispensabile per le decisioni di rispettiva competenza;

•  la costruzione e la gestione di un'anagrafe nazionale dei risultati della ricerca e delle competenze da utilizzare come strumento facilitatore dell'incontro tra domanda ed offerta di ricerca che certamente è uno dei punti di debolezza del nostro Paese.

Credo, invece, che l'istituzione di un'anagrafe della ricerca, intesa come strumento fondamentale per poter coordinare i vari canali di finanziamento delle ricerche nei differenti settori, sia più di pertinenza di chi istituzionalmente è preposto all'erogazione delle risorse e quindi, in futuro, dell'auspicata Agenzia Nazionale per il finanziamento della ricerca pubblica.

Relativamente, alla sua connotazione, l'organismo centrale deve avere le stesse caratteristiche di terzietà di un' authority e quindi di indipendenza dal governo e dalle istituzioni scientifiche da valutare. Gli organi di vertice devono operare a tempo pieno ed esclusivo per le funzioni che l'agenzia deve svolgere.

Per assicurare maggior trasparenza rispetto alle caratteristiche di indipendenza, è opportuno prevedere per gli organi di vertice un mandato lungo (cinque anni sembra un tempo ragionevole) non rinnovabile, con alcune incompatibilità temporali a fine mandato relativamente a funzioni e cariche interagenti con le competenze dell'Agenzia.

A livello periferico operano oggi i nuclei interni di valutazione che hanno competenze sia relativamente alle attività didattiche (per le sole Università) e di ricerca che alle attività di gestione amministrativa delle singole istituzioni. Sarebbe opportuno separare i controlli di gestione dalla valutazione della didattica e della ricerca.

Si tratta di attività diverse che richiedono competenze diverse. Naturalmente gli organi di governo delle istituzioni scientifiche devono saper avvalersi di entrambi i tipi di controlli per giungere a valutazioni complessive delle loro strutture interne (per esempio un dipartimento universitario o un istituto del CNR). La separazione, anche organizzativa, delle due funzioni può favorire un rapporto più efficace con l'organismo centrale.

Rispetto a questa impostazione la struttura e l'organizzazione ipotizzata per l'ANVUR non sono del tutto soddisfacenti e suscitano alcune perplessità di fondo. Infatti il regolamento approvato nel Consiglio dei Ministri nella seduta del 5 Aprile 2007,peraltro eccessivamente dettagliato, costituisce un passo indietro rispetto alle originarie linee guida che il ministro Mussi aveva elaborato e diffuso nei mesi precedenti. Vediamo brevemente il perché.

La prima osservazione è che si fa fatica nel testo licenziato a trovare traccia, nella metodologia di lavoro dell'Agenzia, del coinvolgimento pieno della comunità scientifica ed accademica che è fondamentale perché gli esiti della valutazione siano accettati e visti come stimolo per il miglioramento della qualità del nostro sistema scientifico e di alta formazione.
 

Una seconda rilevante osservazione è che, rispetto al disegno originario di un sistema nazionale di valutazione, le competenze della Agenzia sono state volutamente limitate soltanto agli Enti vigilati dal Ministero dell'Università e della Ricerca ed ai programmi finanziati esclusivamente dal ministero stesso. In questo modo, sfuggono alla valutazione i risultati relativi a tutti gli altri programmi di ricerca finanziati con risorse pubbliche che sono quantitativamente la parte più rilevante. La conseguenza di questa scelta è che questo organismo finisce con l'essere più una struttura tecnica alle dipendenze del ministro che non quell'autorità terza ed indipendente che era stata vagheggiata anche nella scorsa legislatura.

Questa impressione viene rafforzata dal metodo proposto per la nomina dei vertici dell'Agenzia. Infatti, se il metodo basato sulle indicazioni di un comitato di selezione va certamente bene per gli enti di ricerca, perché costituisce un equilibrio trade-off tra responsabilità politica ed autogoverno della comunità scientifica, esso appare inopportuno nel caso dell'ANVUR. Se l'agenzia deve avere in concreto ed anche mostrare caratteristiche di terzietà rispetto alla comunità scientifica da una parte ed il governo dall'altra, allora sembra opportuno che entrambi i soggetti non abbiano un ruolo sostanziale nella scelta del Presidente e degli altri membri del Consiglio Direttivo.

Forse la sede più adatta è il Parlamento con un meccanismo simile a quello di nomina dei componenti delle authority , anche per mettere al riparo l'Agenzia dagli effetti di possibili cambiamenti di governo.

Mi rendo conto che anche questa proposta ha, nella realtà italiana, delle controindicazioni, ma resta fondamentale il principio che, per questo tipo di strutture la cui attività è di interesse generale e che devono poter lavorare su un orizzonte temporale medio-lungo soprattutto nella fase iniziale, sia necessario un consenso bipartisan ed un controllo sul loro funzionamento sottratto al governo di turno.

Conclusioni

A conclusione di queste brevi riflessioni su un tema di grande complessità ed oggetto di dibattito continuo, anche nei Paesi di più antica tradizione nel campo della valutazione della ricerca, è opportuno sottolineare alcuni rischi.

Il primo è che un'ANVUR, ridimensionata nelle competenze e strutturata come un organismo emanazione del ministro, invece di essere la leva per il miglioramento della qualità e la semplificazione del funzionamento del nostro sistema scientifico, finisca col diventare un'ulteriore struttura burocratica che si aggiunge a quelle già esistenti favorendo ancora una volta i comportamenti opportunistici che hanno spesso caratterizzato la vita accademica nel nostro Paese.

Un ulteriore rischio che mi sembra di intravedere è un'insufficiente consapevolezza dei tempi e dei costi della valutazione. La valutazione ex-post della ricerca richiede tempo ed i miglioramenti della performance delle istituzioni coinvolte non si potranno apprezzare significativamente nel breve termine, che è il tipico orizzonte temporale di chi opera a livello politico.

Inoltre, occorre aver sempre presente che una buona valutazione è un'attività costosa ed impegnativa che, se ben eseguita, contribuirà a cambiare cultura e comportamenti all'interno del sistema scientifico italiano e, come tutti i buoni investimenti, produrrà benefici ampiamente superiori al suo costo.

L'importante è non pretendere risultati immediati ed avere anche la pazienza di costruire gradualmente le strutture e formare le competenze professionali necessarie nel settore della valutazione che oggi sono certamente insufficienti nel nostro Paese.