Accademia Oscura

Scrivere un articolo del genere senza finire accusato di essere antivax e antitutto e' difficile, perche' chiunque faccia notare un problema a livello di scienza, o nel modo in cui viene “generata” oggi e' un rejetto. Quindi, continuero' a scrivere questo articolo basandomi su due fatti.

L' Universita' tecnica di Zurigo, uno delle più importanti al mondo (Tra gli altri, ci ha studiato Einstein, per dire) , ha deciso di non rendere più utilizzabili i dati della sua produzione scientifica alle società che stilano i ranking annuali delle principali università. Ha vietato, cioe', che i dati sulla produzione bibliografica fossero usati per calcolare quanto autorevole fosse la loro universita'. E' una mossa coraggiosa, che viene da un'universita' che non ha bisogno di altra autorevolezza.

Il secondo fatto e' che European Research Council (ERC), l’ agenzia europea per la ricerca di base, ha sollecitato i suoi selezionatori a non considerare i tradizionali indici di valutazione delle pubblicazioni, in particolare l’Impact Factor (che quantifica l’impatto scientifico di una rivista) e l’H-Index (sull’impatto scientifico di un autore).

Per capire quale sia il problema, posso fare una premessa. Esistono due tipi di “ricerca” : pubblica e privata. Quella privata, la piu' semplice da analizzare , e' quella che ha fatto i vaccini contro il Covid-19, quella che ci ha dato processori sempre piu' veloci, e quasi tutti i miglioramenti nelle tecnologie che usiamo.

Come fa la ricerca privata a stabilire chi sia bravo e chi no? Beh, usa un criterio principalmente economico, e degli strumenti principalmente economici. Il numero di brevetti, la loro resa e il loro valore di mercato, e ovviamente le vendite legate alle nuove “scoperte”.

E da questo decide i finanziamenti da assegnare a persone e gruppi. La ricerca privata ha alcuni metodi in comune, come per esempio il metodo sperimentale, ma non ha TUTTI i metodi in comune, per esempio la peer review. Se qualcuno costruisse un microprocessore a fotoni, non aspetterebbe certo i concorrenti per validare la sua scoperta: se l'oggetto funziona, lo si brevetta e lo si mette sul mercato. Da quel punto funziona, ma solo perche' e' nelle tasche di tutti. E coi proventi, si finanzierebbe ancora piu' ricerca.

Se dovessi fare un esempio, porterei quello del led a luce blu, che e' stato il risultato di una ricerca condotta in privato da un'azienda giapponese. Lo hanno fatto, hanno visto che la luce era blu, e poi hanno messo sul mercato il led a luce blu e ci hanno fatto gozzillioni di dollari. Peer review? E da chi dovevano farsela fare, da Matsushita-Kotobuki, o da Sony? Erano i concorrenti.

Se invece spostiamo il problema del finanziamento e della validazione nel mondo della ricerca pubblica, normalmente inteso come “accademia”, non otteniamo criteri cosi' chiari. E non otteniamo criteri piu' chiari perche' si e' scelto un metodo che noi , nel ventunesimo secolo, (secolo dei social media) consideriamo debolissimo, e facile da falsificare.

Un tempo, cioe', quando non esistevano ancora i social network, sarebbe stato semplice pensare che la peer review e contare il numero di citazioni fossero una specie di metodo granitico. Ma oggi, abituati ai social network, ci viene semplice cogliere l'analogia tra peer review positiva e un “like”, e una peer review negativa come un “dislike” (come accade su Reddit o su Youtube – che pero' ha reso invisibile il dislike). Anche l'idea di calcolare quanto influente sia la rivista e quanto influente sia l'autore, e' mappabile con la reputazione dell'autore, o dalla reputazione del canale. Pensate a TikTok, per dire.

Ma l'accademia e' nata prima. E prima, usare un metodo di finanziamento di universita' e gruppi basato su reputazione e diffusione , cioe' un criterio tipico del mondo bibliografico, non veniva ancora riconosciuto come un metodo che ha fallito miseramente su tutti i social.

Quando andate su Amazon a vedere le recensioni dei prodotti, che sono l'analogo di una peer review, oggi come oggi vi chiedete subito quale sia l'agenda di chi scrive la recensione, e come se non bastasse vi chiedete subito se non sia vera o falsa.

Allo stesso modo, potete cercare di stimare il rating di un venditore, che e' come cercare di stimare il canale, o la rivista che pubblica un certo articolo, ma sappiamo bene quante tecniche esistono per falsificare anche questo.

in senso storico, il fatto che i metodi classici per la validazione e finanziamento dei gruppi accademici stiano venendo messi in dubbio coincide con una consapevolezza nuova: conosciamo questi metodi perche' sono usati anche nei social e sui market online, e sappiamo benissimo che sono facili da fregare.

Certo, il vecchio professore incartapecorito che accende i cellulari col becco di Bunsen (e poi si lamenta che non funzionano bene) accettera' facilmente la via tradizione. Ma quando, piano piano, giovani professori fanno carriera, arrivando ai piani alti, arriva consapevolezza la consapevolezza che quei metodi sono davvero deboli.

Se qualcuno ci proponesse un sistema di rating di una camera d'albergo basata sul fatto che UNA persona straniera ci e' stata e gli e' piaciuta (ovvero, una singola peer review positiva) , storceremmo il naso. Vogliamo ALMENO decine se non centinaia di review. E se lo scientista mi risponde che la peer review del collega contiene dati, posso far presente che di recensioni positive o negative piene di dati (filmati o fotografie) e' pieno tutto il web. Ma non ci convincono tanto bene.

Certo, le review su internet non sono inutili: se io vedo un prodotto che ha centinaia o migliaia di feedback, e sono quasi tutti positivissimi, mentre ce ne sono pochi negativi e sono legati a sfighe che succedono o a gusti personali, allora so che il prodotto e' molto probabilmente credibile.

Ma so anche che , assumendo agenzie apposite, si possono comprare sia review che rating, e quindi non ho , come dire, una certezza “scientifica”.

In effetti, quando spiegate ad un giovane in che modo un paper viene validato , in genere strabuzzano gli occhi. In pratica, ti rispondono, esiste una specie di social network di scienziati, che si danno il like o i dislike , esistono gli scienziati con una grande reputazione – come esistono gli influencer – ed esistono riviste importanti, come esistono canali importanti, o chat importanti su Discord.

Bisogna riconoscere che l'analogia c'e'.

E quindi riesco ad immaginare l'analogo di tutti i metodi di reputation management e di adversising, che trovo sui social. Gente che se fa una review positiva si porta a casa il prodotto gratis, cosi' come gente che se partecipa ad un congresso e cita l'organizzatore si vedra' l'organizzatore che poi lo cita, o altri allo stesso congresso che lo citano.

Per capire come si materializza il problema in pratica – sessismo a parte, o forse no – i consiglio di ascoltare questo video.

Tutto ruota , ovviamente, sulla produzione continua di “papers”, che come avete sentito dire da Sabine, sono soldi, e sono usati sia nel ranking delle universita', che nel ranking dei ricercatori e dei gruppi, sia per stilare le “classifiche delle migliori universita' “, sia per assegnare i fondi ai gruppi di ricerca.

Non so come finira' questa vicenda: mano a mano che si diffonde la consapevolezza di quanto sia debole e inaffidabile il criterio seguito sinora, prima o poi le persone cominceranno a scegliere da sole le case produttrici dalle quali comprano la scienza, sotto forma di tecnologia.

Non c'e' dubbio, cioe', che APple sappia quel che fa quando costruisce un cellulare. Ma ne compreremmo uno costruito dall'universita' di Atlanta?

Uriel Fanelli

Il blog e' visibile dal Fediverso facendo il follow a:

@uriel@keinpfusch.net

Contatti: