|
In data 1 ottobre 2010 risulta emanato il documento
elaborato dai delegati delle associazioni scientifiche
rappresentative dei settori disciplinari, per quanto
interessa i settori giuridici, in particolare con
l’obiettivo di effettuare la valutazione della
produzione scientifica attraverso criteri e soluzioni
unitarie per l’area giuridica.
in particolare mi soffermo sul punto 3: “ Valutazione
delle riviste. Premessa: peculiarità della ricerca nei
settori del diritto positivo”, del Documento riportato
qui in calce.
Esso appare discutibile sotto vari aspetti.
Possono in effetti muoversi tre fondamentali critiche ,
una attinente al soggetto che lo ha redatto ed emanato,
una di carattere procedurale ed una nel merito per il
contenuto dello stesso.
1° Rilievo
Circa il rilievo di carattere soggettivo deve rilevarsi
che al documento non è stata data adeguata pubblicità
sia in relazione ai suoi contenuti che in relazione ai
suoi autori.
L’Organo che avrebbe dovuto operare la scelta dei
criteri e la successiva valutazione avrebbe dovuto
essere Organo neutrale, super partes. Magari risultante
dalla compartecipazione esplicita di più Associazioni ed
evitando conflitti di interesse.
2° Rilievo
Circa i rilievi di carattere procedurale deve dirsi che
non risulta che il documento sia stato portato a
conoscenza di tutte le Riviste presenti nell’area o
“mercato”, che dir si voglia. Manca, almeno per quanto
risulta , una notificazione del documento, né si dà
conto nel testo, espressamente e formalmente ,
dell’avvenuto compimento di tale incombente minimale,
che avrebbe posto in essere una sorta di
contraddittorio, consentendo utili contributi di tutte
le parti interessate.
3° Rilievo
E’ noto che il processo di valutazione normalmente è
composto di almeno tre fasi essenziali :
a) la fissazione dei criteri alla luce dei quali si deve
effettuare l’esame del soggetto da valutare;
b) disamina effettiva, obiettiva e esplicita del
soggetto da valutare ( nel caso in questione: le
Riviste), anche con metodo comparativo;
c) assegnazione , con riguardo al complesso dei fattori,
ai soggetti valutandi di un giudizio, se vogliamo più
semplicemente , di un “voto” o l’attribuzione a un
livello o fascia o altro [come è avvenuto nel caso].
Ora nel caso sono stati fissati i criteri o fattori di
valutazione [ peraltro discutibili, come di vedra’
infra], ma non è stata fatta o almeno o non è stata
pubblicata né è stata data specifica dimostrazione
dell’effettuazione concreta della valutazione , anche
attraverso un metodo comparativo, del singolo soggetto,
evidenziandone pregi e limiti. Si è in definitiva
saltati dalla premessa alla conclusione senza passare
per la fase intermedia della concreta valutazione del
soggetto valutando . E’ mancato il vero processo di
valutazione o almeno sarà rimasto nel “foro interno” di
chi ha operato.
Brevemente poi quanto ai criteri di valutazione
adottati.
Essi sono stati:
a) qualità (dei contenuti);
b) prestigio della rivista;
c) diffusione nella comunità scientifica nazionale;
d) diffusione nella comunità scientifica internazionale.
Ora balza subito agli occhi che solo il primo dei
quattro elementi elencati è un fattore di valutazione,
essendo gli altri tre, in linea fondamentale, solo delle
risultanti della “qualità” delle pubblicazioni. Esse
pubblicazioni saranno tanto più prestigiose e diffuse
quanto più la loro “qualità” sarà buona. Non può
scambiarsi la causa con l’effetto.
Successivamente nel documento si vogliono definire i due
fattori sub b e sub c, con le carenze e contraddizioni
poc’anzi dette.
Per quanto attiene alla “qualità” delle pubblicazioni,
nel documento si dice:
- per qualità dei contenuti – stante l’ovvia
impossibilità di valutare oggettivamente il merito in
senso assoluto – la risultante della ponderata
combinazione dei seguenti indicatori.
L’eventuale ruolo svolto dalla rivista, di punto di
riferimento editoriale di studiosi costituenti una parte
significativa della comunità scientifica.
La frequenza di contributi di autori di riconosciuta
autorevolezza scientifica.
Il livello di approfondimento scientifico dei
contributi, a prescindere dal prestigio del loro autore
o dei direttori; in questo senso, si dovrà sempre, in
ogni caso, distinguere tra contributi dottrinali
compiuti, contributi pubblicati allo stato grezzo (es.
relazioni a convegni) in attesa di una maggiore
rifinitura, commenti a caldo di decisioni
giurisprudenziali e novità legislative, contributi a
carattere informativo. Se, ad esempio, un gruppo di
studiosi di chiara fama assumesse la direzione di una
testata al fine di pubblicarvi i propri pareri
professionali, sarebbero sicuramente soddisfatti al
massimo livello i criteri di cui ai nn. 2 e 3: tuttavia
la rivista non potrebbe comunque essere classificata
nella categoria A.
Ora non v’è chi non veda che ,anche in tal caso si fa
riferimento a elementi esterni e non ad elementi interni
“veri indicatori di qualità”.
I punti 1 e 2 sono sicuramente elementi esterni ( il
ruolo nel panorama giuridico della Rivista è un
posterius rispetto alla qualità dimostrata; riferirsi
poi ai contributi di autori di riconosciuta
autorevolezza è una affermazione apodittica, si
tratterebbe di buoni contributi perchè portati da autori
noti e dominanti sulla piazza: è il ritorno al deprecato
“principio di autorità” che tanto ha danneggiato anche
nei secoli scorsi la scienza e il progresso della
società, almeno fino all’ illuminismo kantiano ).
Riguardo il punto n.3: richiamarsi all’approfondimento
scientifico dei contributi , questo sì è vero fattore,
che però non viene definito. Si dimentica ad esempio il
tasso di innovazione e di creatività senza del quale si
legittima una scienza giuridica piatta, autoreferenziale
che si trascina facendo riferimento a sé stessa, senza
guardare i mutamenti sociali e/o si pone a rimorchio
della pur autorevole giurisprudenza, certamente più
calata nella realtà sociale-diritto vivente .
Da ultimo ci chiediamo come mai manchi la “citazione”,
elemento essenziale per i peer review, ai fini della
valutazione di un saggio; si può azzardare l’ipotesi non
ci credono neanche gli estensori del documento stante la
strumentalità nell’uso di tal fattore.
In definitiva tale documento ripropone le carenze del
passato. Occorrerebbe invece una discontinuità col
passato che garantisca un sistema centrato sul merito.
Spetta al Ministero dell’Università e della Ricerca
l’importante compito di introdurre adeguati strumenti
innovativi.
Si puo’ rimediare? Ai posteri l’ardua sentenza.
Documento elaborato dai delegati delle associazioni
scientifiche rappresentative dei settori disciplinari:
IUS 01 (Diritto privato); IUS 04 (Diritto commerciale);
IUS 07 (Diritto del lavoro); IUS 08 (Diritto
costituzionale); IUS 09 (Istituzioni di diritto
pubblico); IUS 10 (Diritto amministrativo); IUS 15
(Diritto processuale civile); IUS 16 (Diritto
processuale penale); IUS 21 (Diritto pubblico
comparato).
VALUTAZIONE DELLA PRODUZIONE SCIENTIFICA:
CRITERI E SOLUZIONI UNITARIE PER L’AREA GIURIDICA
Sommario: 1. Osservazioni preliminari: ragioni della
necessità e dell’urgenza che le associazioni si occupino
del tema. – 2. Cosa è richiesto alle associazioni:
obiettivi e modalità operative. – 3. Valutazione delle
riviste. Premessa: peculiarità della ricerca nei settori
del diritto positivo. – 4. Criteri generali e prime
definizioni. Necessità di operare una prima
interpretazione transitoria dei criteri. – 5.
Valutazione rebus sic stantibus della qualità e della
diffusione internazionale (modalità transitorie di
applicazione dei criteri). – 6. Segue. Criteri di
valutazione transitori. – 7. Valutazione futura della
qualità e della diffusione internazionale (modalità
definitive di applicazione dei criteri). – 8. Criteri
della valutazione futura. – 9. Criteri di valutazione
dei lavori non pubblicati su riviste.
1. Osservazioni preliminari: ragioni della necessità e
dell’urgenza che le associazioni si occupino del tema.
Sia nell’ambito dei singoli Atenei, sia in ambito
nazionale, la valutazione della produzione scientifica
ha assunto un ruolo centrale ai fini della ripartizione
dei fondi. Un ruolo non trascurabile è altresì assegnato
alla medesima valutazione dai progetti di riforma del
reclutamento.
Segnatamente:
a) in molti Atenei sono già operanti Osservatori della
ricerca che, con criteri non sempre trasparenti,
valutano le pubblicazioni dei docenti, traendone
graduatorie che fungono poi da ratio della distribuzione
delle risorse tra i dipartimenti. L’esperienza dei
colleghi che hanno partecipato alla regolamentazione e
allo svolgimento dei relativi procedimenti trasmette la
costante della prevalenza di criteri consolidati nelle
aree delle scienze naturali e condivisi da una cospicua
porzione delle scienze sociali (ad esempio l’economia).
Si tratta dei c.d. “criteri riconosciuti in ambito
internazionale”: peer review, impact factor,
accreditamento I.S.I. Ciò conduce il più delle volte ad
una valutazione decisamente inadeguata della ricerca
giuridica con conseguente penalizzazione dei
corrispondenti dipartimenti e Facoltà.
b) il Ministero dell’Università utilizza oramai
costantemente (anche) il parametro delle valutazione:
nella ripartizione di posti e di risorse, come ha fatto
per la distribuzione della seconda tranche dei
finanziamenti previsti nella finanziaria 2008 per posti
da ricercatore e per l’ultima ripartizione del F.F.O.,
facendo riferimento agli esiti del C.I.V.R. 2001/2003;
ai fini della costituzione delle commissioni di concorso
e degli scatti retributivi biennali dei docenti, come è
previsto dalla l. n. 1/2009. E’ tra l’altro in via di
costituzione l’Agenzia Nazionale per la Valutazione
della Ricerca, la quale opererà necessariamente sulla
base di criteri predefiniti e dalle cui valutazioni
dipenderà una porzione progressivamente crescente del
finanziamento agli Atenei.
Più in generale, l’idea della valutazione qualitativa
sulla base di criteri internazionalmente riconosciuti e
in qualche misura “oggettivi” costituisce infine il leit
motiv delle più recenti ipotesi di riforma del
reclutamento poiché viene reputata idonea a soddisfare
un’esigenza di controllabilità esterna dell’operato (pur
sempre discrezionale) delle commissioni di concorso.
Dinanzi a ciò, il CUN ha già da tempo opportunamente
auspicato che, ove possibile, alla definizione dei
criteri di valutazione concorrano le associazioni
rappresentative dei settori disciplinari interessati. A
tal fine, i tempi sono peraltro piuttosto stretti. Come
si diceva, numerosi osservatori locali hanno già
iniziato a funzionare, come pure è in fase avanzata la
realizzazione di un organismo centrale di valutazione.
Lo stesso Ministero per l’Università ha all’ordine del
giorno la predisposizione, in autonomia, di criteri di
valutazione: è facilmente immaginabile che, in assenza
di una adeguata proposta da parte delle associazioni,
saranno replicati in sede nazionale i problemi già
verificatisi nei singoli atenei.
Per le ragioni esposte e con la finalità di fornire in
tempi rapidi una risposta unitaria alle connesse e
delicate problematiche, le associazioni rappresentative
delle più numerose tra le aree giuridiche caratterizzate
dal fatto di avere quale oggetto di studio principale il
diritto positivo interno si debbono impegnare ad operare
congiuntamente. Per queste aree, infatti, le istanze di
allineamento con i criteri di valutazione
internazionale, da un lato, e di internazionalizzazione
degli studi, dall’altro, pongono problemi peculiari e
assai delicati di carattere scientifico e culturale. In
particolare, il presente documento è stato elaborato per
l’approvazione da parte dei Consigli direttivi delle
associazioni rappresentative degli studiosi operanti nei
settori IUS 01, IUS 04, IUS 07, IUS 08, IUS 9, IUS 10,
IUS 15, IUS 16, IUS 17, IUS 21.
Un più generale coinvolgimento dei settori dell’area 12
– con partecipazione di storici, filosofi, comparatisti
e internazionalisti, i cui studi hanno un oggetto
(almeno in gran parte) internazionalmente condiviso -
per quanto opportuno, non può che essere successivo
rispetto alla soluzione dei menzionati problemi da parte
delle aree che ne sono direttamente investite.
2. Cosa è richiesto alle associazioni: obiettivi e
modalità operative.
La valutazione complessivamente richiede:
a) classificazione delle riviste operata in ragione di
quattro classi (A,B,C,D)1;
b) criteri relativi alle collocazioni di scritti brevi
diverse dalle riviste (volumi collettivi, atti di
convegno, scritti “in onore” ecc.);
c) criteri relativi a parti di commentari, voci
enciclopediche, capitoli di trattati;
d) indicatori di massima relativi alla valutazione
distinta per generi letterari (monografia, saggio,
commento alla giurisprudenza ecc.).
Si tratta ovviamente di criteri astratti, per loro
natura opinabili in concreto con riferimento allo
specifico livello qualitativo di ciascun contributo.
Tali criteri sono tuttavia già ora utilizzati sia dagli
Osservatorii d’Ateneo sia in sede nazionale. La loro
predisposizione da parte delle associazioni risponde
perciò esattamente all’esigenza di mantenere un delicato
equilibrio, con la consapevolezza dei loro limiti e,
specificamente, di ciò che l’esito della loro
applicazione può valere come mero indicatore generico e
relativo sul piano della qualità ed esprime invece più
propriamente la misura dell’impegno profuso in ragione
del livello di elaborazione e del grado di rifinitura
degli scritti, espressi questi ultimi dal genere
letterario e dalla collocazione editoriale.
Entrando nel merito, la parte più cospicua del lavoro è
costituita dalla classificazione delle riviste. Questa –
come sarà meglio chiarito al seguente par. 3 – si deve
svolgere su un doppio binario, imponendosi da un lato la
valutazione dell’esistente, sulla base della situazione
attuale delle riviste, e, dall’altro lato,
l’individuazione di criteri da applicare a termine
breve, che incentivino l’adozione di misure adeguate ad
allineare le riviste di area giuridica a quelle di altre
aree senza stravolgerne i caratteri peculiari. Su di
essa si è perciò, in prima battuta, concentrata
l’attenzione. Successivamente sono stati affrontati i
restanti criteri, la precisazione dei quali si mostra
peraltro in buona parte consequenziale.
3. Valutazione delle riviste. Premessa: peculiarità
della ricerca nei settori del diritto positivo.
La definizione e l’applicazione di criteri di
classificazione delle riviste dell’area giuridica e, in
particolare, di quelle di interesse dei settori di
diritto positivo non è agevole come forse è per altre
aree scientifiche – in particolare per quelle delle
scienze naturali –, dove una gerarchia nel rilievo delle
pubblicazioni in base alla loro collocazione è radicata
nella tradizione e consolidata anche a livello
internazionale. La tradizione degli studi giuridici
manca di una simile esperienza e, anzi, consente
numerosissimi riferimenti a scritti di primaria
importanza e notorietà apparsi nelle pagine di riviste a
rilevanza regionale o prevalentemente dedicate al
commento a caldo di decisioni giurisprudenziali. A ciò
si aggiunge una vocazione soltanto parziale degli studi
giuridici – non comparatistici –
all’internazionalizzazione. Tale vocazione, infatti,
stante la disomogeneità dei sistemi nazionali, è
strettamente dipendente dagli argomenti trattati e dallo
specifico taglio nonché dalla finalità propria di
ciascuna singola ricerca.
L’impossibilità, dunque, di riprodurre un ordine
qualitativo già consolidato e altresì l’impossibilità di
adottare il criterio della rilevanza internazionale come
prevalente, rendono innanzitutto necessaria la
declinazione delle qualità in base alle quali costruire
le quattro categorie richieste ai fini della
valutazione.
Nel delineare il quadro dei criteri valutativi, occorre
peraltro tenere in considerazione un ulteriore
importante carattere, proprio ed irrinunciabile delle
scienze giuridiche positive: esse sono per definizione
scienze pratiche. Il che vuol dire non soltanto che la
relativa riflessione è sempre orientata alla soluzione
di problemi concreti, ma anche che esse svolgono appieno
la loro funzione soltanto ove siano in grado di
dialogare efficacemente con la pratica. Se, dunque, i
criteri da articolare dovranno essere tali da evitare un
appiattimento culturale della dottrina sulle esigenze
quotidiane degli operatori, ciò non si dovrà tradurre
nell’opposto errore di incentivare l’assunzione di un
atteggiamento autoreferenziale. In altre parole,
l’obiettivo che occorre porsi è quello di stimolare la
qualità degli studi, al fine di recuperare il ruolo, che
dovrebbe appartenere alla dottrina, di alta
interlocuzione con la pratica; non quello, invece, di
creare una frattura netta che collocherebbe la scienza
giuridica fuori dalla realtà mortificandone di fatto la
funzione. A questo fine, è opportuno distinguere la
valutazione della produzione di singoli studiosi, ai
fini della quale deve sempre essere prevalente il
profilo squisitamente scientifico e culturale, da quella
delle strutture di ricerca, compito delle quali è anche
quello di promuovere la divulgazione – sia pure
altamente qualificata – dei progressi della scienza
giuridica.
Altro aspetto della ricerca da considerare attentamente
è la pluralità di metodi e di prospettive che possono
caratterizzare il progetto culturale perseguito a mezzo
di una rivista. Tale pluralità costituisce una ricchezza
non sacrificabile. E’ perciò essenziale che i criteri di
valutazione siano il più possibile neutrali; che non
comportino cioè, da se medesimi, la prevalenza di un
metodo su altri. Il rischio – riscontrabile
nell’esperienza di altri Paesi – sarebbe quello di un
non certo auspicabile monopolio culturale, al quale
corrisponderebbe un impoverimento complessivo degli
studi e del dibattito scientifico.
4. Criteri generali e prime definizioni. Necessità di
operare una prima interpretazione transitoria dei
criteri.
Il lavoro fin qui svolto, anche sulla base dei documenti
già in precedenza elaborati da alcune delle associazioni
qui rappresentate, consente di formulare le osservazioni
che seguono.
In via generala la distinzione in classi può essere
operata sulla base della combinazione dei seguenti
criteri2:
a) qualità (dei contenuti);
b) prestigio della rivista;
c) diffusione nella comunità scientifica nazionale;
d) diffusione nella comunità scientifica internazionale.
Tuttavia, mentre dei criteri enunciati sub a) e c) è
possibile articolare interpretazioni che siano
immediatamente utilizzabili e si possano al contempo
reputare soddisfacenti anche per il futuro, con
specifico riguardo ai criteri di cui alle lettere b) e
d) si pongono i già menzionati problemi di allineamento
con le aree diverse da quella giuridica.
In altre parole, dei criteri da ultimo menzionati è
necessario formulare una prima interpretazione che tenga
conto dell’organizzazione attuale delle riviste
giuridiche. Ciò, perché sia possibile una immediata
classificazione i cui esiti rispondano ai valori che,
allo stato, si possono reputare generalmente
riconosciuti. Tale interpretazione deve essere tuttavia
considerata inderogabilmente provvisoria: utilizzabile,
cioè, soltanto in sede di prima applicazione. Fin d’ora
saranno perciò formulate le rispettive interpretazioni
definitive, le quali chiameranno le riviste che
intendano conservare o migliorare la propria valutazione
ad un serio sforzo di riorganizzazione nel senso, si
ripete ancora una volta, dell’utilizzazione di
meccanismi di controllo della qualità e di
accreditamento internazionalmente riconosciuti e già
diffusi nella maggior parte dei settori scientifici
diversi da quelli giuridici.
L’interpretazione definitiva dei criteri costituirà il
parametro di una nuova valutazione, che dovrà avere
luogo a partire dall’anno 2012.
Dunque, i criteri enunciati sub b) e c) possono essere,
fin d’ora in via definitiva, cosi specificati:
b) per prestigio di una rivista si intende l’alta
considerazione della quale la medesima gode presso la
comunità scientifica in ragione del suo impegno civile,
della sua continuità culturale e dell’autorevolezza
scientifica del direttore e/o del comitato scientifico;
e
c) per diffusione nella comunità scientifica nazionale
si intende la diffusione tra gli studiosi costituenti,
appunto, la comunità scientifica, rilevata, tra l’altro,
dalla evidente incidenza sulla dottrina successiva e
dalla presenza della rivista nelle principali
biblioteche scientifiche. Peraltro, diffusione
scientifica non è da confondersi con divulgazione: non
si considera perciò rilevante la diffusione in senso più
ampio, la quale non necessariamente corrisponde alla
vocazione scientifica della rivista ed è invece, spesso,
testimonianza del suo carattere divulgativo o, altre
volte, della sua ispirazione a finalità principalmente
commerciali. Al contrario, si deve considerare
positivamente il requisito della diffusione anche per le
riviste che ospitano il dibattito scientifico proprio di
una comunità specializzata, anche quando non
corrispondente ad un intero settore scientifico
disciplinare. Ciò, in particolare, ove si tratti di
riviste di alto profilo scientifico, alle quali è
presumibile che qualsiasi autore che scriva, anche
occasionalmente, nella specifica materia preferisca
indirizzare il proprio contributo per avere una maggiore
visibilità tra gli studiosi a essa interessati.
5. Valutazione rebus sic stantibus della qualità e della
diffusione internazionale (modalità transitorie di
applicazione dei criteri).
Nessuno dei tre metodi comunemente utilizzati per la
valutazione delle riviste in ambito internazionale
(impact factor, peer review, accreditamento ISI) è
attualmente applicabile alle riviste giuridiche che
trattano principalmente il diritto positivo italiano: è
perciò necessario individuare definizioni transitorie
dei criteri della qualità e della diffusione
internazionale che, prescindendo da tali metodi,
consentano di operare una classificazione seria e
soddisfacente.
Al riguardo è anzitutto necessario esplicitare le
ragioni che inducono ad escludere l’utilizzabilità di
criteri attualmente utilizzati dal Ministero per diverse
finalità ovvero da altri proposti in altra sede. Tali
sono: a) l’apprezzamento della qualità degli studiosi
componenti le direzioni delle riviste, sulla base della
loro partecipazione a PRIN. ammessi al cofinanziamento;
b) l’apprezzamento della qualità degli studiosi
componenti le direzioni, sulla base della loro afferenza
ad Atenei valutati positivamente.
Ebbene. Il primo criterio manifesta diversi spiccati
profili di criticità. Innanzitutto i progetti in
questione sono presentati da gruppi numerosi di studiosi
e non è in alcun modo possibile stabilire quanto a
ciascuno di essi sia riferibile della ideazione o della
realizzazione del progetto medesimo. In secondo luogo,
la valutazione dei progetti non è libera, nel senso che
l’ammissione al cofinanziamento dipende non già soltanto
dalla qualità dei progetti ma altresì, principalmente,
dalle risorse disponibili, il che facilmente produce la
necessità di selezionare tra progetti omogenei sul piano
della qualità. Ancora, criterio principale di selezione
ai fini dei finanziamenti PRIN è l’attualità
dell’oggetto della ricerca (per definizione il progetto
deve essere di “interesse nazionale”): è culturalmente
inaccettabile che – per diversi fini – si valuti la
qualità di uno studioso sulla base della valutazione nel
merito della sua scelta in ordine all’oggetto della sua
ricerca. Infine, è vero invece esattamente il contrario.
Ove la valutazione della ricerca fosse fatta seriamente,
i suoi esiti dovrebbero rappresentare un importante
elemento di valutazione ai fini dell’accreditamento dei
gruppi di studiosi che presentano PRIN.
Il secondo criterio esibisce semplicemente un vizio di
circolarità: se si valutano gli Atenei sulla base della
valutazione della ricerca non si può valutare la ricerca
sulla base della valutazione degli Atenei. Va peraltro
sottolineato un difetto di impostazione anche in ordine
alla funzione della valutazione, la quale deve fondarsi
esclusivamente sulla qualità individuale degli studiosi.
Ove punto di riferimento fosse invece l’Ateneo, il
prestigio degli studiosi – nella specie, dei direttori
delle riviste – sarebbe la risultante della media della
produttività di un numero assai cospicuo di suoi
colleghi e, nella sostanza, avrebbe come fattore
determinante la delibera della facoltà che lo ha
chiamato.
Queste le ragioni per escludere i menzionati criteri,
ragionevole sembra invece che, in una fase transitoria,
si intenda:
- per qualità dei contenuti – stante l’ovvia
impossibilità di valutare oggettivamente il merito in
senso assoluto – la risultante della ponderata
combinazione dei seguenti indicatori.
L’eventuale ruolo svolto dalla rivista, di punto di
riferimento editoriale di studiosi costituenti una parte
significativa della comunità scientifica.
La frequenza di contributi di autori di riconosciuta
autorevolezza scientifica.
Il livello di approfondimento scientifico dei
contributi, a prescindere dal prestigio del loro autore
o dei direttori; in questo senso, si dovrà sempre, in
ogni caso, distinguere tra contributi dottrinali
compiuti, contributi pubblicati allo stato grezzo (es.
relazioni a convegni) in attesa di una maggiore
rifinitura, commenti a caldo di decisioni
giurisprudenziali e novità legislative, contributi a
carattere informativo. Se, ad esempio, un gruppo di
studiosi di chiara fama assumesse la direzione di una
testata al fine di pubblicarvi i propri pareri
professionali, sarebbero sicuramente soddisfatti al
massimo livello i criteri di cui ai nn. 2 e 3: tuttavia
la rivista non potrebbe comunque essere classificata
nella categoria A.
- per diffusione nella comunità scientifica
internazionale, la eventuale presenza della rivista in
biblioteche straniere. Al riguardo, è sembrato decisivo
il dato che distingue le aree qui rappresentate: non
esiste una comunità internazionale unitaria che si
esprima attraverso riviste comuni poiché non vi è
unitarietà della materia oggetto di ricerca né dei
linguaggi tecnici, legati alla singolarità di ciascuna
tradizione. Se per alcune tematiche è possibile
l’utilizzazione di linguaggi comuni, lo stesso non
sarebbe possibile per gran parte della materia né
sarebbe culturalmente opportuno incentivare la
concentrazione degli studi sulle tematiche ad oggi
internazionalizzabili. Del resto, il medesimo criterio
conduce a reputare massimo il livello di
internazionalizzazione di riviste giuridiche straniere
quali la Harvard law review o il Yale law journal, le
quali non possiedono alcun elemento intrinseco di
internazionalità (i.e. nazionalità prevalente degli
autori, ispirazione trasnazionale del metodo o dei temi
trattati, lingue utilizzate) ma, più semplicemente, sono
riviste domestiche presenti nella maggior parte delle
biblioteche giuridiche del mondo.
6. Segue. Criteri di valutazione transitori.
Ricomponendo il quadro, ai fini della classificazione da
operare nell’immediato, i quattro criteri generali
enunciati al precedente paragrafo 3 possono essere così
illustrati:
a) per qualità dei contenuti si intende la risultante
della ponderata combinazione dei seguenti indicatori.
L’eventuale ruolo svolto dalla rivista, di punto di
riferimento editoriale di studiosi costituenti una parte
qualitativamente significativa della comunità
scientifica.
La frequenza di contributi di autori di riconosciuta
autorevolezza scientifica.
Il livello di approfondimento scientifico dei
contributi, a prescindere dal prestigio del loro autore
o dei direttori; in questo senso, si dovrà sempre, in
ogni caso, distinguere tra contributi dottrinali
compiuti, contributi pubblicati allo stato grezzo (es.
relazioni a convegni) in attesa di una maggiore
rifinitura, commenti a caldo di decisioni
giurisprudenziali e novità legislative, contributi a
carattere informativo.
b) per prestigio di una rivista si intende l’alta
considerazione della quale la medesima gode presso la
comunità scientifica in ragione del suo impegno civile,
della sua continuità culturale e dell’autorevolezza
scientifica del direttore e/o del comitato scientifico;
c) per diffusione nella comunità scientifica nazionale
si intende la diffusione tra gli studiosi costituenti,
appunto, la comunità scientifica, rilevata, tra l’altro,
dalla evidente incidenza sulla dottrina successiva e
dalla presenza della rivista nelle principali
biblioteche scientifiche. Peraltro, diffusione
scientifica non è da confondersi con divulgazione: non
si considera perciò rilevante la diffusione in senso più
ampio, la quale non necessariamente corrisponde alla
vocazione scientifica della rivista ed è invece, spesso,
testimonianza del suo carattere divulgativo o, altre
volte, della sua ispirazione a finalità principalmente
commerciali. Al contrario, si deve considerare
positivamente il requisito della diffusione anche per le
riviste che ospitano il dibattito scientifico proprio di
una comunità specializzata, anche quando non
corrispondente ad un intero settore scientifico
disciplinare. Ciò, in particolare, ove si tratti di
riviste di alto profilo scientifico, alle quali è
presumibile che qualsiasi autore che scriva, anche
occasionalmente, nella specifica materia preferisca
indirizzare il proprio contributo per avere una maggiore
visibilità tra gli studiosi a essa interessati.
d) per diffusione nella comunità scientifica
internazionale, si intende la eventuale presenza della
rivista in biblioteche straniere.
Applicando dunque i medesimi criteri la partizione in
classi può essere così prospettata:
A: riviste di prestigio e tradizione e/o di qualità
eccellente e primaria diffusione nella comunità
scientifica italiana e/o internazionale, anche
specializzata.
B: riviste di livello scientifico alto o medio, anche a
contenuto giurisprudenziale, secondo i medesimi criteri
di cui sub a).
C: riviste contenenti prevalentemente annotazioni alla
giurisprudenza, anche locale; riviste a carattere
prevalentemente informativo con diffusione nazionale;
annali.
D: riviste a carattere prevalentemente informativo di
interesse locale; altre riviste di interesse scientifico
medio-basso.
7. Valutazione futura della qualità e della diffusione
internazionale (modalità definitive di applicazione dei
criteri).
Come osservato nel precedente paragrafo 3, i criteri
utilizzati per valutare la qualità dei contenuti e la
diffusione internazionale debbono essere adeguati nella
prospettiva di una nuova valutazione da effettuare per
l’anno 2012.
La finalità da perseguire e quella di incentivare le
riviste a riorganizzarsi, adottando tutte le misure che
non contrastino con la propria vocazione culturale.
E’ appena il caso di osservare che, tra i menzionati
criteri internazionalmente riconosciuti, quello
dell’impact factor è difficilmente utilizzabile nelle
materie giuridiche, sia per la struttura dei relativi
studi, sia per l’inesistenza di un citation index
completo e attendibile. Il medesimo criterio presenta
altresì profili di criticità assai accentuati,
recentemente segnalati da più parti nella comunità
scientifica. Esso, infatti, da un lato premia la scelta
di temi di studio di moda, orientando in maniera
distorsiva la ricerca; dall’altro lato, non distingue
tra citazioni adesive e citazioni critiche legittimando
il paradosso della prevalenza dello studioso che ha
ottenuto un numero elevatissimo di stroncature su quello
che ha invece conseguito un buon numero di
apprezzamenti.
E’ pertanto preferibile limitare l’attenzione agli altri
due criteri.
Dunque, quanto al criterio della qualita’ della
pubblicazione, è opportuno che gli indicatori utilizzati
per la valutazione transitoria siano integrati con
l’introduzione del sistema della peer review, indice per
eccellenza di qualità delle riviste. Detto sistema
dovrebbe condurre ad uno scrutinio dei contributi da
parte di esperti non, o non completamente, coincidenti
con le direzioni e/o comitati scientifici delle riviste.
Il sistema, per essere riconosciuto, necessita di
apposito statement, riportato nella pubblicazione. In
assenza di statement formale esso non può operare come
criterio valutativo.
Quanto al criterio della diffusione internazionale è
anzitutto da considerare la possibilità di riferirsi, in
tutto o in parte, ai requisiti richiesti per
l’accreditamento ISI, quali abstracts in lingua inglese;
traduzione in lingua inglese dei titoli dei contributi
ecc. (cfr. Isi). Significativo può altresì essere
reputato il riconoscimento negli indici di Università e
comunità accademiche straniere (per le Università dei
paesi anglo-americani, Law Journal Index). Più complesso
appare invece considerare l’inserimento nei diversi albi
o indici internazionali, reso improbabile dal carattere,
sovente, solo interno degli studi giuridici e
soprattutto dall’utilizzo, il più delle volte non
rinunciabile, della lingua italiana.
Ancora con riguardo al criterio della diffusione –
questa volta con rilievo anche in ambito nazionale –
saranno infine da tenere presenti, quali criteri
concorrenti con gli altri, quelli della digitalizzazione
dell’archivio e della disponibilità (anche) on-line del
contenuto delle riviste. Si tratta infatti di meccanismi
i quali in via astratta testimoniano una massima
vocazione della rivista alla diffusione, accentuandone
in maniera esponenziale l’accessibilità, e, in concreto,
facilitano gli abbonamenti delle biblioteche italiane e
straniere, poiché non pongono i problemi di gestione e
di spazi che sono invece posti dai fascicoli cartacei.
8. Criteri della valutazione futura.
Ferme le premesse e le considerazioni espresse ai
paragrafi che precedono, a far capo dall’anno 2012 la
valutazione delle riviste sarà effettuata alla stregua
dei già declinati criteri generali:
a) qualità (dei contenuti);
b) prestigio della rivista;
c) diffusione nella comunità scientifica nazionale;
d) diffusione nella comunità scientifica internazionale.
Tali criteri saranno così interpretati:
a) per qualità dei contenuti si intende il livello di
approfondimento scientifico dei contributi ospitati, a
prescindere dal prestigio del loro autore o dei
direttori; in questo senso, si dovrà sempre, in ogni
caso, distinguere tra contributi dottrinali compiuti,
contributi pubblicati allo stato grezzo (es. relazioni a
convegni) in attesa di una maggiore rifinitura, commenti
a caldo di decisioni giurisprudenziali e novità
legislative, contributi a carattere meramente
informativo.
Strumento inderogabile per il controllo della qualità è
costituito dalla revisione paritaria (peer review). A
questa stregua:
potranno essere collocate in classe A esclusivamente
le riviste i cui contenuti siano sottoposti a revisione
in misura non inferiore al 60% della loro totale
consistenza;
potranno essere collocate in classe B esclusivamente
le riviste i cui contenuti siano sottoposti a revisione
in misura non inferiore al 45% della loro totale
consistenza;
salva l’eccezione di seguito espressa, sarà
allineata alla valutazione della rivista esclusivamente
la valutazione dei lavori, - a qualunque genere
ascrivibili - di dimensioni superiori alla misura
indicativa di 20.000 battute, che siano stati sottoposti
a revisione.
La qualità della revisione è, a sua volta, criterio di
classificazione delle riviste. In particolare, con
riguardo ai revisori si reputano a tal fine
significativi il prestigio e la produttività
scientifica.
La revisione dovrà essere conformata in ragione dei
seguenti caratteri:
Ai fini A-B è essenziale che la revisione sia
rigorosamente regolata e principalmente esterna o,
altrimenti, affidata ad un organo indipendente rispetto
alla direzione. Ai fini della classificazione ai livelli
C-D. è sufficiente che vi siano una direzione o un
comitato scientifico che si assumano la responsabilità
delle pubblicazioni.
Più in particolare, la revisione necessaria ai fini
della qualificazione in A o B è reputata attendibile
quando:
- sia affidata a un organo stabile della rivista,
indipendente rispetto alla direzione, o a studiosi
esterni ordinati in un elenco e l'organo o l'elenco
siano composti da un numero di revisori proporzionato
alla quantità dei lavori pubblicati, i quali revisori
non svolgano lo stesso ruolo per più di un'altra
rivista. Ai fini della collocazione in classe A,
s’intende proporzionato un numero di revisori pari
almeno al triplo dei fascicoli pubblicati annualmente,
aumentato, con eventuale arrotondamento per difetto, di
una unità ogni due fascicoli. Ai fini della collocazione
in classe B, s’intende proporzionato un numero di
revisori pari almeno al triplo dei fascicoli pubblicati
annualmente.
- sia effettuata da almeno due revisori;
- l'attribuzione dei lavori sia effettuata con criteri
oggettivi - se non per sorteggio, anche in liste
ristrette - talsí da rendere plausibile l'indipendenza
del giudizio;
- sia prevista, a posteriori e in caso di giudizio
positivo, la pubblicazione assieme ai contributi, dei
nomi dei revisori che li hanno valutati. I revisori
possono invece rimanere occulti nel caso di esito
negativo;
- sia prevista soltanto in casi eccezionali, inerenti
alla specificità dell'argomento trattato, la possibilità
di chiedere la revisione ad uno studioso esterno;
- sia prevista, parimenti soltanto in casi eccezionali,
la possibilità per la direzione di assumere la
responsabilità di articoli e saggi provenienti da autori
di fama internazionale o di prestigio tali da
rappresentare un indubbio arricchimento per l'immagine
della rivista;
- sia richiesto ai revisori di garantire il rispetto dei
criteri qualitativi e quantitativi espressi al cpv della
presente lettera a) nonché, per ciascun genere
letterario, nell’allegato n. 1 (Generi letterari) del
presente documento;
Ai fini della classificazione in A è necessario che
tutti i revisori appartengano, o siano appartenuti, al
ruolo dei professori ordinari;
Ai fini della classificazione in B è necessario che
tutti i revisori appartengano, o siano appartenuti, al
ruolo dei professori ordinari o associati;
La revisione necessaria ai fini della qualificazione in
C o D è reputata attendibile quando vi siano una
direzione o un comitato scientifico che si assumono la
responsabilità delle pubblicazioni, composti da un
numero di studiosi proporzionato al numero e all’entità
dei contributi pubblicati annualmente.
Sono altresì criteri di valutazione della qualità,
ulteriori e non sostitutivi rispetto alla revisione:
- la frequenza di contributi di autori di riconosciuta
autorevolezza scientifica;
- la puntualità nella pubblicazione dei fascicoli, in
coerenza con la periodicità propria della rivista.
b) Per prestigio di una rivista si intende l’alta
considerazione della quale la medesima gode presso la
comunità scientifica in ragione del suo impegno civile,
della sua continuità culturale, del prestigio e della
produttività scientifica dei direttori e/o del comitato
scientifico. In particolare, ai fini della valutazione
della direzione e/o del comitato scientifico, saranno
tenuti in considerazione esclusivamente i componenti i
quali non ricoprano analogo ruolo per più di un’altra
rivista di rilievo nazionale;
c) per diffusione nella comunità scientifica nazionale
si intende la diffusione tra gli studiosi costituenti,
appunto, la comunità scientifica, rilevata, tra l’altro,
dalla evidente incidenza sulla dottrina successiva e
dalla presenza della rivista nelle principali
biblioteche scientifiche. Peraltro, diffusione
scientifica non è da confondersi con divulgazione: non
si considera perciò rilevante la diffusione in senso più
ampio, la quale non necessariamente corrisponde alla
vocazione scientifica della rivista ed è invece, spesso,
testimonianza del suo carattere divulgativo o, altre
volte, della sua ispirazione a finalità principalmente
commerciali. Al contrario, si deve considerare
positivamente il requisito della diffusione anche per le
riviste che ospitano il dibattito scientifico proprio di
una comunità specializzata, anche quando non
corrispondente ad un intero settore scientifico
disciplinare. Ciò, in particolare, ove si tratti di
riviste di alto profilo scientifico, alle quali è
presumibile che qualsiasi autore che scriva, anche
occasionalmente, nella specifica materia preferisca
indirizzare il proprio contributo per avere una maggiore
visibilità tra gli studiosi a essa interessati.
In via applicativa:
- ai fini della qualificazione in B, si reputa a
diffusione nazionale la rivista presente in almeno 10
biblioteche universitarie. Ai fini della qualificazione
in A è necessaria la presenza in almeno 10 biblioteche
universitarie di almeno 5 diverse Regioni;
- ai fini della qualificazione in A, è altresì
necessaria la consultabilità per via telematica degli
indici nonché degli abstracts dei contributi;
- le riviste telematiche sono reputate idonee, dal punto
di vista della diffusione, a essere collocate in A
qualora risultino ad accesso libero ovvero a esse siano
abbonate almeno 15 biblioteche universitarie;
d) per diffusione nella comunità scientifica
internazionale, si intende la fruibilità delle
pubblicazioni da parte della comunità internazionale e
la loro attitudine a stimolare il dialogo scientifico
con studiosi di altri Paesi.
In particolare, ai fini della qualificazione in A è
necessaria la consultabilità in via telematica di titoli
e abstracts in lingua inglese nonché la presenza di
almeno una tra le seguenti condizioni:
- la presenza di scritti integrali in lingua straniera -
nella pubblicazione in forma cartacea o su web - anche,
se del caso, in conseguenza della partecipazione della
rivista a network internazionali;
- la presenza, nella direzione, di componenti stranieri,
la quale si traduca nella presenza costante di
contributi di studiosi di altri Paesi;
- la presenza della rivista in almeno 10 biblioteche
universitarie di almeno tre Paesi diversi dall’Italia;
- la presenza in indici internazionali e/o in cataloghi
di Università straniere a essi assimilabili3.
9. Criteri di valutazione dei lavori non pubblicati su
riviste.
Criterio generale per la valutazione dei lavori
pubblicati non pubblicati in riviste è quello del
prestigio della collocazione editoriale.
Ai fini del relativo giudizio, si dovrà distinguere
esclusivamente tra editori di rilevanza locale e
nazionale. Il giudizio sarà poi formulato esclusivamente
sulla base delle caratteristiche della singola opera,
collana, trattato o commentario secondo i parametri di
seguito articolati.
Condizione essenziale ai fini della valutabilità delle
opere pubblicate in forma monografica o a più mani è che
esse siano collocate in collane ovvero in trattati o
commentari.
La valutazione in ordine al prestigio dipenderà dalla
presenza di un sistema di revisione paritaria.
La revisione – la quale può essere affidata anche alla
direzione o al comitato scientifico delle collane,
purché vi sia ragionevole proporzione tra il numero dei
componenti e quello dei volumi pubblicati - si reputa
attendibile quando:
a) collane, trattati e commentari siano dotati di una
direzione o di un comitato scientifico o di revisori
composto da un numero di studiosi adeguato con
riferimento alle specifiche aree disciplinari
interessate ovvero quando il singolo volume sia
pubblicato sotto la responsabilità di uno o più
curatori;
b) sia effettuata da almeno due studiosi, il cui nome
sia riportato nella pubblicazione;
c) sia richiesto ai revisori di garantire il rispetto
dei criteri qualitativi e quantitativi di cui
all’allegato n. 1 (Generi letterari) del presente
documento.
Affinché i direttori e componenti o i componenti del
comitato scientifico o di revisori siano considerati
nella valutazione, è necessario che essi non
appartengano a organi con analoghe funzioni per più di
cinque tra collane, trattati e commentari.
In particolare, ai fini della classificazione in AA è
necessario che i direttori o i componenti del comitato
scientifico o di revisori appartengano a più di due
differenti Atenei e che appartengano ovvero siano
appartenuti al ruolo dei professori ordinari;
Ai fini della classificazione in A è necessario che i
direttori o i componenti del comitato scientifico o di
revisori appartengano ovvero siano appartenuti al ruolo
dei professori ordinari.
VALUTAZIONE DELLA PRODUZIONE SCIENTIFICA:
CRITERI E SOLUZIONI UNITARIE PER L’AREA GIURIDICA
Allegato n. 1 – Generi letterari
Sommario: 1. Premessa. – 2. Limiti quantitativi
generali. – 3. Definizioni, qualità e valutazione. – 4.
Tabella delle valutazioni per tipologia. – 5. Tabella
delle valutazioni per tipologia, specificate in base
alla collocazione editoriale.
1. Premessa.
La classificazione dei generi letterari, intesa come
attribuzione di un valore (ad es. A) o di una forbice di
valori (ad es. A-C) a ciascuno di essi, è operazione
inevitabile ai fini di qualsiasi ipotesi di valutazione
diversa da quella basata sul diretto, discrezionale,
apprezzamento degli studi da parte di un singolo o di
una commissione a ciò preposti. E’, tuttavia, altresì
operazione estremamente delicata ed è, comunque la si
realizzi, caratterizzata da un ampio margine di errore.
Essa infatti presuppone la semplificazione di un
panorama estremamente frammentato, qual è quello delle
forme degli studi giuridici, sulla base di standards
valutativi i quali – ben noti ai giuristi – per quanto
necessari pagano sempre un prezzo piuttosto elevato in
termini di corrispondenza ai valori effettivi.
Per ridurre tali costi si possono reputare utili i
seguenti accorgimenti: a) l’adozione di definizioni dei
generi letterari che privilegino la loro sostanza
rispetto alla mera forma editoriale; b) la
prospettazione di valutazioni che si concretizzino
sempre con il riferimento alla collocazione editoriale,
la quale consente strumenti di valutazione non
standardizzati ma di merito (peer review); c) l’adozione
di limiti quantitativi di valutabilità per le
pubblicazioni di rango medio/basso, onde evitare che una
mera somma algebrica privilegi la quantità rispetto alla
qualità degli studi.
Pur con l’adozione dei menzionati accorgimenti è bene
che si tenga sempre presente che non vi sono criteri
automatici che consentano il pieno apprezzamento del
valore scientifico e culturale di un’opera. Non vi sono
cioè criteri che possano sostituire la lettura diretta.
Nel merito, un “articolo” può ben valere assai più di
una “monografia”: per fare esempi non sospetti, basti
pensare all’articolo con il quale Ronald Coase ha vinto
il premio Nobel o a quello che ha fruttato a Guido
Calabresi l’insegnamento a Yale. E’ perciò da tenere
fermo che ai fini delle procedure di valutazione
comparativa per la nomina nei ruoli universitari,
l’esistenza di criteri di valutazione “oggettiva” può
avere funzione incentivante la serietà dei giudizi e
semmai può determinare specifiche esigenze di
motivazione, ma non può in sé costituire la ratio dei
relativi esiti.
Ai fini poi della valutazione individuale per la
partecipazione alle commissioni di concorso e per la
progressione nel trattamento economico, occorre tenere
presente che ogni classificazione ha dei minimi e dei
massimi. In altre parole, esemplificando, se uno scritto
di dieci pagine su una Rivista prestigiosa è
qualificabile come articolo e valutabile in categoria A
e se la stessa qualificazione spetta ad uno scritto di
quaranta o cinquanta pagine pubblicato sulla medesima
rivista, l’autore che in un anno pubblichi sei o sette
scritti brevi risulterà assai più produttivo di quello
che ne pubblichi soltanto due sia pure estremamente
impegnativi: è inutile dire che molto facilmente la
valutazione diretta dei contributi scientifici
produrrebbe un esito opposto. E’ perciò necessaria una
buona dose di elasticità.
Con riguardo alla produttività degli Atenei,
l’utilizzazione dei criteri di valutazione può invece
essere maggiormente esaustiva, sempre che la
comparazione si operi tra aree omogenee quanto a
tipologia dei prodotti della ricerca. E’ infatti assai
problematica la riduzione ad unità di prodotti recanti
la medesima qualifica (ad es. “articolo”) ma
appartenenti a settori scientifici tra loro non
assimilabili (medicina, fisica, diritto ecc.). Anziché
delegare in toto la valutazione ai Nuclei di Ateneo,
meglio sarebbe allora la prospettazione di una
graduatoria nazionale per macroaree, dove a ciascuna
posizione corrisponda un punteggio.
Infine, la valutazione si mostra utile senza riserve per
il perseguimento delle due seguenti finalità:
a) a livello di sistema, incentivare la selezione delle
pubblicazioni e l’incremento della qualità delle riviste
scientifiche;
b) nel giudizio sui singoli, evidenziare le situazioni
di inattività.
E’ appena il caso di aggiungere che, per le finalità di
ripartizione delle risorse di Ateneo, la valutazione
dovrà necessariamente tradursi in indici numerici, il
che comporta l’attribuzione di punteggi ai prodotti
della ricerca, in ragione della loro qualificazione.
L’operazione è estremamente delicata poiché attraverso
di essa prende consistenza la diversità di ponderazione
dei generi letterari. Al riguardo non è tuttavia
possibile operare proposte fuori dal quadro complessivo
– attualmente ancora assai confuso – della valutazione
operata per tutte le aree dai Nuclei di Ateneo.
2. Limiti quantitativi generali.
L’adozione di limiti quantitativi alla valutabilità, per
quanto opportuna, richiede una specificazione
preliminare. Segnatamente, tali limiti si possono
reputare senz’altro efficienti nella valutazione interna
(ovvero nella comparazione della produzione scientifica
di studiosi appartenenti) alle aree che la adottano. Nel
confronto con le altre aree essi richiederebbero invece
una forma di reciprocità consistente nell’adozione di
misure analoghe. In assenza di reciprocità i medesimi
limiti si tradurrebbero in uno squilibrio
ingiustificato: in tali casi non si devono perciò
considerare applicabili4.
Ciò premesso, fatte salve le specifiche limitazioni che
saranno espresse con riferimenti a singoli generi
letterari, è opportuno stabilire che comunque, in via
generale, non si possano valutare, per ciascun
quinquennio, più di 5 opere classificate nella categoria
D e 5 opere classificate nella categoria C. Nel relativo
conto non entrano tuttavia le valutazioni connesse alla
direzione/revisione di riviste o di cura di volumi, in
considerazione della diversità dell’attività valutata
rispetto a quella di produzione scientifica in senso
stretto.
3. Definizioni, qualità e valutazione.
La definizione dei generi letterari gioca un ruolo non
trascurabile ai fini dell’adeguatezza della valutazione.
La partizione correntemente utilizzata fa riferimento a
tipi individuati sulla base di caratteristiche materiali
(libro, volume) ovvero meramente editoriali, oggettive
(es. monografia) o anche soltanto individuabili per
relationem rispetto all’inserimento del lavoro in una
rubrica piuttosto che in un’altra di una rivista (es.
‘articoli’, ‘saggi’, ‘recensioni’). E’ necessario fare
invece riferimento a tipi ideali, i quali, individuati
sulla base dell’esperienza in ordine ai contenuti degli
studi giuridici, siano in grado di rappresentare
modalità ed entità dello sforzo scientifico.
A questa stregua è, in particolare, necessario
ridefinire le quattro categorie sostanziali attorno alle
quali è possibile condensare la pluralità delle
tipologie editoriali: monografia
(scientifica/divulgativa); articolo; nota a sentenza;
recensione. Le restanti categorie – individuabili sulla
base di caratteri meramente formali – potranno così
trovare referenti sostanziali omogenei. Ad esempio, una
voce di enciclopedia, a seconda della sua estensione e
dell’impegno scientifico in essa profuso, può avere
valore di monografia (scientifica o divulgativa), valore
di articolo o, infine, appartenere al genere ampio degli
scritti minori, di entità non sufficiente per esprimere
valore di articolo. Così, le relazioni a convegno, una
volta pubblicate sono in tutto assimilabili ad articoli.
La loro concreta valutazione – come per gli articoli –
dipende perciò esclusivamente dalla loro collocazione
editoriale: se in riviste (e di quale categoria) o
esclusivamente in raccolte di atti; dipende cioè da
quale selezione hanno superato per giungere alla
pubblicazione.
Definiti i menzionati tipi ideali, è poi opportuno
chiarire le qualità che determinano il valore delle
opere ad essi ricondotte. Ciò, sia quale riscontro
dell’avvenuta qualificazione, sia come generale
indicatore di merito per i casi nei quali una
valutazione di merito (a priori o a posteriori) sia
richiesta, sia, infine, per orientare la modalità e il
grado di selettività delle revisioni che
rappresenteranno il criterio principale per la
classificazione delle collocazioni editoriali.
I tipi ideali e conseguentemente ciascuna specifica
tipologia sono valutabili in astratto individuando per
lo più un arco di valori, da un massimo a un minimo. La
valutazione concreta è poi la risultante della
combinazione tra la valutazione della tipologia con la
categoria di appartenenza della rivista (o
collana/enciclopedia/trattato ecc.) ove il contributo è
ospitato.
a) MONOGRAFIA SCIENTIFICA.
E’ il prodotto più complesso e significativo della
produzione scientifica nel campo giuridico. Richiede
impegno e tempi notevolmente superiori rispetto a tutti
gli altri generi letterari. In particolare, si può
reputare che l’elaborazione di un serio lavoro
monografico richieda non meno (talvolta molto più) del
tempo e dell’impegno necessari per l’elaborazione di 4
articoli corposi.
Qualificando un lavoro come monografia sulla semplice
base della forma di libro si peccherebbe, tuttavia, sia
per eccesso che per difetto. Per eccesso, si peccherebbe
poiché tale forma è assai spesso assunta da lavori di
mera ricognizione di dottrina e giurisprudenza, che
della monografia non hanno l’approccio critico e
costruttivo, e talvolta da raccolte di articoli le quali
benché tematicamente omogenee non costituiscono un
lavoro organico. Per difetto, si peccherebbe poiché il
rilievo scientifico e l’organicità della monografica si
riscontrano spesso in lavori formalmente qualificabili
in altro modo: parti ampie di volumi a più mani, parti
ampie di trattato o di commentario (per le quali la
pubblicazione in forma di volume non monografico dipende
da una scelta meramente editoriale), voci di
enciclopedia. Caratteristica comune di questi lavori è
che potrebbero essere pubblicati come volume
monografico. Valore di monografia è infine – sia pure
eccezionalmente – espresso da volumi destinati alla
didattica, ove questi rappresentino la sintesi del
pensiero e dell’esperienza culturale del loro autore.
Definizione.
Per lavoro avente valore di monografia scientifica
s’intende uno studio approfondito ed organico,
caratterizzato da ampio respiro culturale e sistematico
e da approccio critico costruttivo, finalizzato alla
prospettazione di soluzioni originali e innovative. Le
dimensioni non costituiscono un criterio di
qualificazione e valutazione dell’opera, salvo per ciò
che esse eventualmente esprimano in ordine alla misura
dell’impegno culturale e sistematico. Tuttavia, ai fini
della qualificazione, è possibile individuare una misura
minima indicativa nella consistenza tipografica di circa
280.000 battute5, al netto di indici ed eventuali
allegati.
Qualità.
Le qualità da assumere a criterio di valutazione di
lavori qualificati come monografie scientifiche sono: a)
l’originalità del contributo; b) il respiro culturale e
sistematico; c) la profondità e la coerenza del percorso
argomentativo.
VALUTAZIONE: AA - C
b) MONOGRAFIA A CARATTERE DIVULGATIVO, RICOGNITIVO O
DIDATTICO.
I medesimi caratteri di ampiezza e sforzo ricostruttivo
delineati con riguardo alla tipologia della monografia
scientifica sono riscontrabili in opere aventi tuttavia
una finalità prevalentemente ricognitiva ed espositiva
ed esprimenti perciò un contenuto critico ed un apporto
di originalità decisamente inferiori.
Definizione.
Per lavoro avente valore di monografia a carattere
divulgativo, ricognitivo o didattico s’intende uno
studio approfondito ed organico, caratterizzato da
completezza dell’informazione sui temi trattati e
coerenza dell’impianto espositivo.
Qualità.
Le qualità da assumere a criterio di valutazione di
lavori qualificati come monografie a carattere
divulgativo, ricognitivo o didattico sono: a) l’ampiezza
della trattazione; b) la completezza dell’informazione;
c) la coerenza dell’impianto espositivo.
VALUTAZIONE: B – D (non più di 3 nel quinquennio)
c) ARTICOLO.
E’ il tipo letterario più diffuso, caratterizzato,
peraltro, dal massimo grado di eterogeneità. In forma di
articolo sono stati pubblicati studi che si possono
reputare pietre miliari nella evoluzione della scienza
giuridica; nella medesima forma sono pubblicati lavori
di poco o nessun impegno critico. In forma di articolo
sono pubblicati scritti ampi, che per complessità e
consistenza si avvicinano alla sostanza di lavori
monografici, e scritti di estensione minima, talvolta
privi di riferimenti bibliografici. Ancora, anche tra i
lavori più brevi e meno articolati e informati taluni
esprimono qualità considerevoli in ragione della
originalità e della efficacia critica delle idee
rappresentate. In definitiva, il panorama è troppo ampio
per definire in modo univoco un tipo corrispondente ad
una ratio oggettiva di valutazione. “Articolo” è
definizione residuale di ciò che non appartiene ad altre
tipologie più precisamente qualificabili (note a
sentenza, recensioni ecc.). Sul piano meramente
quantitativo si può soltanto, stipulativamente,
stabilire una consistenza tipografica indicativa minima
di circa 20.000 battute, al di sotto della quale lo
scritto debba essere qualificato come “commento”. Per il
resto, si mostra fondamentale la selezione effettuata
dalle riviste, la quale comporta una valutazione nel
merito di tutte le caratteristiche e, dunque, della
qualità degli scritti in esse pubblicati. Dunque,
stabilita la suddetta consistenza minima, ai fini della
generica qualificazione è opportuno rinviare all’esito
di tale selezione, adottando una definizione in buona
misura tautologica. Ai fini della specifica valutazione
è conseguentemente fondamentale la qualità della rivista
dalla quale lo scritto è stato selezionato, potendosi
stabilire una stretta corrispondenza tra valutazione
delle riviste e qualità degli scritti in esse ospitati.
Ciò, naturalmente, sul presupposto che le riviste siano
classificate in fascia alta (A-B) soltanto se e in
quanto dotate di meccanismi selettivi (per il futuro,
obbligatoriamente sistemi di peer review) che
garantiscano una effettiva valutazione di qualità.
Le stesse considerazioni si possono riferire agli
articoli pubblicati su volumi collettanei. In questo
caso si può reputare essenziale la valutazione
effettuata dalla direzione della collana nella quale è
inserito il volume. Infine, analogo trattamento meritano
le voci di enciclopedia e le parti di commentari e
trattati che abbiano una consistenza maggiore del
singolo commento e minore della monografia.
Definizione.
E’ articolo un lavoro di consistenza tipografica minima
pari a circa 20.000 battute pubblicato come tale da una
rivista classificata come rilevante dal settore
scientifico di riferimento. E’ articolo altresì il
lavoro, di eguale minima consistenza, pubblicato su
volume collettaneo, avente rilievo scientifico per il
settore di riferimento.
Qualità.
Le qualità da assumere a criterio di valutazione di
lavori qualificati come articoli sono: a) l’originalità
e l’utilità pratica delle idee espresse; b) la
consapevolezza culturale; c) la consistenza critica del
percorso argomentativo.
VALUTAZIONE: A-D
d) NOTE A SENTENZA
La nota o commento a sentenza – lavoro che di regola
richiede impegno e tempo di elaborazione notevolmente
inferiori a quelli richiesti per un articolo di qualità
elevata – è genere nobile nella tradizione degli studi
giuridici. Essa è infatti strumento principale e
insostituibile di dialogo tra dottrina e giurisprudenza
costituendo per ciò stesso un punto di raccordo tra
teoria e pratica essenziale per l’evoluzione
dell’ordinamento giuridico nel suo complesso. Il genere
comprende due specie: la nota critica e la nota
meramente espositiva (c.d. redazionale). Alla prima
specie si possono ascrivere contributi anche eccellenti,
che per profondità e spessore delle argomentazioni sono
paragonabili ad articoli di prima qualità. E’ perciò
opportuno distinguere, nella medesima specie, questi
casi – ove è rilevante l’interesse scientifico – da
quelli comunque reputabili di interesse scientifico in
quanto caratterizzati da approccio critico. Quanto alle
dimensioni del lavoro, si può reputare che una nota
critica debba consistere in un minimo di 20.000 battute.
Scarso è invece il rilievo scientifico dei lavori
appartenenti alla seconda specie. Anche in questo caso,
come per gli articoli, si mostra essenziale ai fini
della qualificazione, prima, e della valutazione, poi,
la selezione di merito operata dalle riviste.
Non è tuttavia possibile stabilire, come per gli
articoli, una perfetta correlazione tra classificazione
della rivista e valutazione del lavoro in essa
pubblicato. Occorre infatti considerare che le note
qualificabili come “di rilevante interesse scientifico”
non sono frequenti e che invece si possono reputare
ottimi e degni di essere pubblicati in riviste di
eccellenza – anche in ragione della funzione
summenzionata – lavori qualificabili come “di interesse
scientifico”. La relativa valutazione non può però
incidere sulla valutazione allo stesso modo di un
articolo. Il problema si pone, ovviamente, nelle
valutazioni che non consentono un controllo di merito
dei singoli scritti. Segnatamente, il problema non si
pone nelle procedure di valutazione comparativa, ove una
commissione ha il compito di leggere e giudicare gli
scritti dei candidati. Si pone invece, ad esempio, nella
valutazione della produttività periodica degli studiosi;
in casi come questo, onde limitare il pericolo di
discriminazione in un senso (nota a sentenza meritevole
di essere valutata in categoria A ma valutata
automaticamente come B) o nell’altro (nota a sentenza
meritevole di essere valutata come B ma valutata
automaticamente come A in quanto pubblicata in una
rivista classificata in categoria A) è opportuno
individuare dei criteri convenzionali basati sulla
limitazione quantitativa dei lavori valutabili. Ciò a
correzione del semplice riferimento alla categoria della
rivista sulla quale è pubblicato il lavoro, per impedire
che la quantità di lavori meno impegnativi risulti
maggiormente premiante rispetto alla qualità di lavori
più impegnativi, con un conseguente effetto
disincentivante, e per riequilibrare il peso di generi
letterari che, di regola, devono assumere peso diverso.
Definizione.
E’ nota a sentenza di rilevante interesse scientifico il
commento caratterizzato da un approccio spiccatamente
critico e da una profondità di argomenti, che
travalicando le linee della decisione assunta ad oggetto
costituisca un apprezzabile contributo alla materia
specificamente considerata.
E’ nota a sentenza di interesse scientifico il commento
caratterizzato da un approccio critico nella valutazione
– anche quando adesiva – delle argomentazioni espresse
dalla decisione assunta ad oggetto.
E’ nota a sentenza a carattere espositivo il commento
consistente nella mera ricognizione delle posizioni
assunte dalla giurisprudenza e ricostruzione delle
opinioni espresse dalla dottrina in ordine ai problemi
affrontati dalla decisione assunta ad oggetto.
Qualità.
Le qualità da assumere a criterio di valutazione di
lavori qualificati come note a sentenza sono: a) la
profondità degli argomenti; b) l’approccio critico.
VALUTAZIONE:
Note di rilevante interesse scientifico A (non più di 2
nel quinquennio)
Note di interesse scientifico B - C (non più di 5 nel
quinquennio)
Note a carattere espositivo D (nel numero consentito
dalla generale
limitazione di cui al n. 2 del presente
allegato).
e) RECENSIONI
La recensione è genere letterario dal passato illustre,
oggi in via di estinzione. La sua utilità è tuttavia
indiscussa e la relativa valutazione deve essere perciò
tale da incentivarne la rifioritura anziché determinarne
la definitiva scomparsa. Una recensione ben fatta, con
argomenti articolati, che valuti a fondo gli snodi del
percorso del lavoro analizzato, contestualizzandoli
culturalmente anche in relazione alle acquisizioni della
letteratura più o meno recente sul medesimo argomento o
su argomenti connessi, è lavoro impegnativo non meno di
un articolo di livello medio alto. Altra cosa sono le
recensioni stringate e acritiche o sommariamente
critiche, oggi notevolmente più diffuse, le quali però,
nella sostanza, di poco si discostano dalle mere
segnalazioni e come tali debbono essere qualificate e
valutate. Anche con riguardo alle recensioni è peraltro
opportuna la previsione di un limite quantitativo
poiché, se non deprimerne la valutazione è, come detto,
un incentivo alla rifioritura del genere, occorre anche
evitare una eccessiva cumulabilità che disincentiverebbe
dall’impegno in lavori più impegnativi.
Definizione.
E’ recensione il lavoro, di estensione corrispondente ad
un articolo, avente ad oggetto l’approfondita analisi e
la argomentata valutazione di un’opera di recente
pubblicazione.
E’ segnalazione lo scritto di dimensioni modeste,
recante la sintetica descrizione e la sommaria
valutazione di un’opera di recente pubblicazione.
Qualità
Le qualità da assumere a criterio di valutazione di
lavori qualificati come recensione sono: a) la
profondità dell’analisi; b) la completezza del quadro
nel quale l’analisi è condotta; c) l’esaustività delle
argomentazioni recate a fondamento della valutazione
espressa in ordine all’opera recensita.
VALUTAZIONE:
Recensioni B- D
Segnalazioni N.C.
f) ALTRO
Ciò che non rientra nelle tipologie specificamente
delineate e che non possiede, per estensione e qualità,
valore di articolo può essere fatto rientrare in una
categoria residuale. Il valore dei lavori in essa
collocati può esclusivamente variare in relazione alla
qualità della rivista o della collana ove si trovano
pubblicati.
VALUTAZIONE: C - D
4. Tabella delle valutazioni per tipologia.
Tipologia
Valutazione
Monografia o Trattato Scientifico in forma di libro
(compresi trattati, commentari), o parte ampia ed
organica di essi
AA-C
Monografia o Trattato in forma di libro
(compresi trattati, commentari), o parte ampia ed
organica di essi, con funzione prevalentemente
divulgativa, ricognitiva o didattica
Massimo 3 nel quinquennio
B-D
Traduzione di un libro
C
Articolo su libro o parte equivalente di Commentario o
Trattato
A-D
Commento di singola norma su Commentario, non
equivalente ad articolo
Massimo 5 nel quinquennio
C-D
Voce di Enciclopedia - di rilevante interesse
scientifico
- a carattere espositivo
AA-B
B-D
Prefazione o breve introduzione
N.C.
Traduzione di Contributo Speciale su Volume
D
Relazione di Atto di Convegno in Rivista
A-D
Riassunto di Atto di Convegno in Rivista
N-C
Traduzione di Atto di Convegno in Rivista
D
Articolo pubblicato su Rivista
A-D
Nota a sentenza: - di rilevante interesse scientifico
Massimo 2 nel quinquennio
- di interesse scientifico Massimo 5 nel quinquennio
- a carattere espositivo
A
B-C
D
Recensione in Rivista Massimo 5 nel quinquennio
Segnalazione in rivista
B-D
N.C.
Altro
C-D
Traduzione di articolo in Rivista
D
Relazione di Atto di Convegno in Volume
B-D
Riassunto di Atto di Convegno in Volume
N.C.
Traduzione di Atto di Convegno in Volume
D
Cura di Atti e Volumi miscellanei Massimo 3 nel
quinquennio
Cura di volumi organici (come volumi di Trattati,
commentari o collane tematiche) Massimo 2 nel
quinquennio
C-D
A-C
Direzione/Responsabilità/Revisione di riviste Massimo 2
a rilevanza nazionale e 1 a rilevanza locale
A-D
Direzione di collane scientifiche, Trattati e Commentari
Massimo 2
A-D
5. Tabella delle valutazioni per tipologia, specificate
in base alla collocazione editoriale.
Tipologia
Valutazione tipologica
Valutazione rivista/collana ecc.
Valutazione prodotto
Monografia o Trattato Scientifico in forma di libro
(compresi trattati e commentari), o parte ampia ed
organica di essi
AA-B
A
B
C
D
AA
A
B
C
Monografia o Trattato in forma di libro (compresi
trattati, commentari), o parte ampia ed organica di
essi, con funzione prevalentemente divulgativa,
ricognitiva o didattica
Massimo 3 nel quinquennio
B-C
A
B
C
D
B
B
C
D
Traduzione di un libro
C
A-C
C
Articolo su libro o parte equivalente di Commentario o
Trattato
A-D
A
B
C
D
A
B
C
D
Commento di singola norma su Commentario, non
equivalente ad articolo
Massimo 5 nel quinquennio
C-D
A
B
C
D
C
C
D
D
Voce di Enciclopedia - di rilevante interesse
scientifico
- a carattere espositivo
AA-B
B-D
A
B
B
C
D
AA-A
B
B
C
D
Altro
C-D
A
B
C
D
C
D
Traduzione di Contributo Speciale su Volume
D
A-D
D
Relazione di Atto di Convegno in Rivista
A-D
A
B
C
D
A
B
C
D
Traduzione di Atto di Convegno in Rivista
D
A-D
N.C.
Articolo pubblicato su Rivista
A-D
A
B
C
D
A
B
C
D
Nota a sentenza: - di rilevante interesse scientifico
Massimo 2 nel quinquennio
- di interesse scientifico Massimo 5 nel quinquennio
- a carattere espositivo
A
B-C
D
A
A
B
C
A-D
A
B
B
C
D
Recensione in Rivista Massimo 5 nel quinquennio
Segnalazione in rivista
B-D
N.C.
A
B
C
D
A-D
B
C
D
D
N.C.
Traduzione di articolo in Rivista
D
A-D
D
Relazione di Atto di Convegno in volume
B-D
A
B
C
D
B
B
C
D
Traduzione di Atto di Convegno in volume
D
A-D
D
Cura di Atti e volumi miscellanei Massimo 3 nel
quinquennio
Cura di volumi organici (come volumi di Trattati,
commentari o collane tematiche e volumi tematicamente
strutturati) Massimo 2 nel quinquennio
C-D
A-D
A
B
C
D
A
B
C
D
C
C
D
D
A
B
C
D
Direzione/Responsabilità/Revisione di riviste Massimo 2
a rilevanza nazionale e 1 a rilevanza locale
A-D
A
B
C
D
A
B
C
D
Direzione di collane scientifiche, Trattati e Commentari
Massimo 2
A-D
A
B
C
D
A
B
C
D
1 Taluni Osservatorii formalizzano anche una sottostante
classe N.C., riferita a pubblicazioni prive di rilevanza
scientifica in relazione al settore disciplinare di
riferimento o a pubblicazioni di tipo giornalistico o
comunque non qualificabili come riviste scientifiche per
struttura, natura o ambito di diffusione. E’ evidente
che, pur senza formalizzare tale categoria, nella
classificazione non possono entrare (neanche nella
categoria D) le pubblicazioni prive di specifico e
pertinente rilievo scientifico.
2 I criteri di seguito articolati riguardano parimenti
le riviste edite in forma cartacea e quelle on-line.
Queste ultime, in particolare, sono da prendere in
considerazione ove posseggano i requisiti che la legge
prescrive ai fini della loro stretta qualificazione come
riviste e della loro conseguente, assoluta equiparazione
alle riviste cartacee.
3 Non esistono indici il cui valore sia unanimemente
riconosciuto. L’indice scientifico internazionale
maggiormente noto è il Journal Citation Report prodotto
dall’ISI, altri indici piuttosto diffusi, sia pure meno
diretti nella modalità di utilizzo ai fini della
classificazione, sono SCOPUS e Ulrichsweb. Per gli
indici di Università e comunità accademiche straniere è
possibile menzionare quale esempio (per le Università
dei paesi anglo-americani) il Law Journal Index.
4 Si mostra in realtà piuttosto rozzo e decisamente
inadeguato il metodo attualmente utilizzato dai Nuclei
di valutazione operanti negli Atenei, consistente nella
comparazione diretta dei prodotti di tutte le aree;
comparazione che implica non soltanto l’adozione di
classificazioni e di criteri omogenei ma anche, a monte,
l’omogeneità delle rispettive forme di pubblicazione dei
risultati della ricerca e delle forme della ricerca. A
questo metodo, che si può definire orizzontale, sarebbe
preferibile un altro, che si può definire verticale (più
simile, mutatis mutandis, a quello adottato dal CIVR)
consistente nella comparazione degli esiti di una
valutazione per aree omogenee a livello nazionale. Gli
Atenei dovrebbero cioè soltanto comparare le valutazioni
date alle singole aree in rispettivi ranking nazionali.
5 Considerando che la consistenza media di una pagina si
può individuare in circa 2600/2800 battute, il limite
corrisponde ad un minimo indicativo di circa 100/110
pagine secondo una impaginazione ragionevolmente
contenuta. |
