Can we come back to the “normality”?

L’APPUNTAMENTO CON I RISULTATI DELLE RILEVAZIONI INVALSI

Premessa doverosa

Sono da sempre convinto della importanza delle rilevazioni annuali che INVALSI compie sui livelli di apprendimento nella nostra scuola, del valore essenziale di questo aspetto della Ricerca Educativa, delle modalità di restituzione all’intero sistema, e con articolazioni che nel tempo si sono andate via via approfondendo, dei risultati di tale ricerca in termini di strumenti preziosi di elaborazione diagnostica su diversi livelli.

In primo luogo, come strumenti utili a supportare la “razionalità decisoria” relativa al sistema stesso innanzitutto in termini strategie di politiche dell’istruzione e di conseguenza della congruenza e dei risultati delle scelte operative ad esse legate.

In secondo luogo, proprio per i caratteri delle articolazioni delle restituzioni di rilevazioni condotte sull’universo del sistema, come strumenti di possibile e analitico riscontro della stessa operatività molecolare a livello di scuola e di classe.

Per tali ragioni di fondo sono sempre stato convinto della necessità di sviluppare attorno a tali aspetti essenziali della Ricerca Educativa il massimo di consapevolezza dei significati specifici degli indicatori e dei protocolli utilizzati, del valore sostanziale di strumenti per l’impegno analitico diagnostico dei dati rilevati, della necessità di accompagnare tale impegno analitico diagnostico a tutti i livelli del sistema, dai decisori agli interpreti professionali.

Come sempre nella Ricerca e in particolare nella ricerca sociale: gli esiti non sono “certezze indiscutibili” ma strumenti per approfondire, verificare, ricombinare scelte operative. Tanto più se l’oggetto è un sistema sociale complesso e particolarmente articolato e pluridimensionale come la scuola.

In questi anni di costruzione del sistema di rilevazione, che hanno in parte accompagnato anche il mio precedente lavoro professionale nella scuola, ho sempre constatato la presenza di un elemento negativo, costituito da un equivoco (politico/professionale) fonte di un doppio movimento contrario a tale impegno. Le rilevazioni dell’INVALSI sono spesso interpretate come “valutazione degli alunni”, intese come valutazione dei risultati dei singoli, che sono di norma impegno essenziale del lavoro specifico dei docenti. E non come rilevazioni “di sistema”.

Da tale equivoco, variamente interpretato nascono le reazioni negative diverse per orientamento ma come se avessero il medesimo “stampo”: chi (giustamente) ribadisce che la “valutazione degli apprendimenti degli studenti” non può essere ridotta alla rilevazione con i test, e per di più su parti (necessariamente) ristrette e limitate dei processi di apprendimento e formazione, finisce per testimoniare e dichiarare a gran voce la inutilità e, a volte, “la molestia” delle rilevazioni nazionali.

In tal modo indirettamente si supporta la considerazione della stessa inutilità della rilevazione sistemica come strumento di supporto alla razionalità decisoria delle politiche dell’istruzione. E contemporaneamente ci si defila dall’impegno analitico diagnostico sulla stessa operatività molecolare del fare scuola quotidiano e situato. Come se il lavoro della scuola non necessitasse invece di un continuo interrogarsi sui risultati e sulle alternative.

Si tratta in sostanza di una remissione di responsabilità sulle scelte e sulle alternative in relazione agli effetti sia a livello delle politiche dell’istruzione (cercare una relazione tra esiti delle rilevazioni e scelte politico-amministrative risulta impegno imbarazzante) sia a livello molecolare si scuola, di classe, di docenti, dove finisce per prevalere la riproduzione e ripetizione del “canone”. Gli effetti ed i risultati si misurano in relazione al loro adeguarsi al canone.

La distinzione strutturale, filosofica ed operativa tra la “valutazione degli apprendimenti” come parte fondamentale della responsabilità del lavoro docente (per altro uno dei punti deboli della cultura professionale) e le “rilevazioni sistemiche” che, per il carattere delle restituzioni effettuate, si offrono come strumenti di analisi diagnostica ai diversi livelli di articolazione sistemica fino a quello “molecolare” (fino a strumenti di interrogazione analitica sul lavoro in classe…) è l’elemento essenziale la cui consapevolezza dovrebbe guidare le lettura dei dati che INVALSI ci propone annualmente.

A maggior ragione in questo 2021.

E tuttavia non si può che constatare che la consapevolezza e la padronanza dei significati sopra richiamati sia l’elemento ancora debole e critico della esperienza ormai pluriennale di quella specifica ricerca valutativa affidata all’INVALSI.

Se un appunto critico mi sento di fare alla attività dell’Istituto è proprio quello della insufficiente promozione e diffusione di quella cultura della valutazione: la capacità di coinvolgere le scuole e i docenti e di “fidelizzare” l’organizzazione scolastica attraverso la consapevolezza del valore analitico-diagnostico dei dati della ricerca restituiti alla riflessione collettiva del sistema scolastico. Dai suoi interpreti diretti nel loro lavoro, ai decisori nei diversi livelli di decisionalità articolata di sistema.

Insomma, la capacità di coniugare l’impegno nella ricerca scientifica e il permanente miglioramento dei suoi protocolli e risultati, con il suo riflesso sulla “organizzazione della cultura” nel mondo della scuola.

Alcuni dei caratteri del dibattito che si è subito sviluppato il giorno stesso della presentazione complessiva degli esiti delle rilevazioni testimoniano tale elemento critico.

La ricerca contingente delle “responsabilità”

È una deriva inevitabile in questo anno segnato dagli effetti delle emergenze. Comprensibile.

Tuttavia, è evidente la distorsione del collegamento causale tra risultati delle rilevazioni e le diverse emergenze. (Lockdown e Didattica a Distanza…). Più si propongono collegamenti immediatamente causali (“è colpa della DAD”… ma anche “Se non ci fosse stata la DAD dove saremmo…), più si rinuncia a quel lavoro analitico che potrebbe far fruttare i dati delle rilevazioni come strumenti di conoscenza del sistema e delle sue problematiche.

Vorrei contribuire a tale lavoro analitico con approfondimenti specifici, ma per questo impegno rimando al momento in cui saremo in possesso delle restituzioni complete dei dati rilevati.

Mi limito qui a ricordare:

1. La considerazione che gli elementi di emergenza di questo biennio abbiano avuto un peso nel determinare il peggioramento dei dati sui livelli di apprendimento ha la forza dell’ovvio. Non così ovvie le correlazioni tra diverse fenomenologie di peggioramento, quantificazioni relative e i diversi elementi dell’emergenza (Vedi oltre qualche segnalazione)

2. Sono anni che le rilevazioni ci restituiscono dati “critici” (è un eufemismo per diversi aspetti) dei livelli di apprendimento promossi dal sistema scolastico italiano. Critici per i livelli medi, critici per la distribuzione diseguale dei risultati sia per ordini di scuola, per distribuzione geografica, per composizione degli indicatori di distribuzione del reddito e dello sviluppo sociale e culturale, critici per i livelli di dispersione sia esplicita che implicita, critici per la distribuzione dei livelli di apprendimento considerati essenziali.

3. L’effetto dei fattori di emergenza si iscrive perciò su un retroterra già segnato da elementi critici ed inadeguatezze di sistema. Il “popolo della scuola” protagonista delle rilevazioni del 2021 è già segnato da una storia formativa pregressa sviluppata in un sistema inadeguato. Come si distribuiscano perciò i diversi elementi di aggravamento prodotti della pandemia sui diversi fattori di criticità pregressa è elemento che richiede surplus analitico, non semplificazione causalistica.

4. Tali considerazioni valgono anche per alcuni (pochi) aspetti positivi. Per esempio, i miglior risultati relativi alla Scuola primaria certamente sono (anche) correlabili al fatto che in questo ordine di scuola si sono sofferte meno chiusure; ma non si può dimenticare che tale dato (i risultati della primaria italiana che reggono nella comparazione internazionale) è consolidato in tutte le rilevazioni precedenti. Quali sono dunque i reali punti di forza?

Per sintetizzare potremmo suggerire a chi si impegna nella analisi dei dati INVALSI, due costrutti “metodologici” (mi si passi l’ironia): “ricordare sempre che piove sul bagnato” e che perciò “non si può tornare alla normalità, perché è nella normalità che sta il difetto”.

O, se volete, non abbiamo “paradisi perduti” da riconquistare.

Suggerimenti analitici

Come già ricordato proverò a cimentarmi con una analisi dettagliata dei risultati delle rilevazioni quando saranno disponibili le restituzioni complete. Qui vorrei semplicemente suggerire alcuni spunti di riflessione su elementi che vedo trascurati nel confronto immediato che si è sviluppato in questi giorni, e che volentieri lascio sviluppare ai “volenterosi”

1. Credo sia interessante ed importante che nell’osservare il calo dei punteggi medi registrati per italiano e matematica nei diversi livelli di scuola (p.es. 4 punti in italiano, 7 punti in Matematica nella secondaria di primo grado, ma l’indicazione vale per tutti gli ordini di scuola e quali che siano i differenziali di punteggio tra il 2019 e il 2021) si tenga conto non solo degli scostamenti anche del confronto tra le gaussiane rappresentative delle rilevazioni precedenti e di quella del 2021. Lascio l’analisi agli interessati: per esempio osservo che nella primaria (risultati complessivi confortanti) la gaussiana dei dati di italiano del 2021 si restringe rispetto a quella del 2019 mentre quella di matematica si allarga sia per il grado 2 che per il 5. Provarsi ad interpretare nell’analisi.

2. Nell’esaminare i diversi risultati, in particolare nella secondaria superiore si tenga presente che aumenta lo scarto di copertura tra il campione e la popolazione. Mentre per la secondaria di primo grado il campione è al 97,2% e la popolazione al 93.4%, per tutta la superiore il campione è al 93%, la popolazione all’81%. Ma in alcune Regioni, come la Campania, la Puglia, la Sicilia, il differenziale è assai elevato (per il grado 13 in Puglia lo scarto va da circa 90% al 50%). Si tenga inoltre conto che si tratta di regioni che hanno normalmente risultati inferiori alla media nazionale.

3. La correlazione tra aumento degli studenti in difficoltà e indice ESCS di appartenenza, che dimostra che le maggiori difficoltà siano legate a contesti economico sociali e culturali più bassi conferma anch’essa il carico socialmente non uniforme degli elementi di emergenza, ma sarebbe opportuna una analisi più dettagliata. Il confronto di punteggi medi della popolazione suddivisa per quartili di ESCS di appartenenza dava anche in passato valori testimonianza di grandi diseguaglianze. E tuttavia occorre esplorare più attentamente di dati con maggiori disaggregazioni.

Per esempio, se si osserva il rapporto tra studenti in difficoltà e ESCS di appartenenza nei punteggi relativi a Matematica per il grado 8 (secondaria di primo grado) confrontando i dati 2021-2018 e 2021-2019 si riscontar un relativo appianamento degli andamenti, o comunque una correlazione più complessa della affermata causalità diretta.

4. Il costrutto di Learnig Loss mostra da un lato elementi di conferma della “verità” ovvia: si “perde di più” nelle situazioni locali caratterizzate da punteggio già inferiori alla media nazionale. E quindi l’emergenza approfondisce le differenze. Ma dall’altro lato si dimostra anche la ambiguità dell’indicatore “apprendimento perso”.

In alcune rilevazioni si registrano elevati gradi di “learnig loss” in regioni che presentano un più alto livello di punteggi medi: in Matematica grado 13 compaiono con “perdite” sopra la media nazionale regioni come Veneto, Friuli, Toscana, Liguria, Marche; in Italiano sempre grado 13 compaiono con perdite più elevate della media ancora Toscana, Veneto, Friuli….E si tratta di Regioni che hanno invece tradizionalmente e stabilmente punteggi più elevati della media nazionale. In questo caso si potrebbe dire paradossalmente che “perdono di più quelli che vanno meglio”.

Ciò si presterebbe a interpretazioni interessanti. Dove la scuola tradizionale (il canone) è più consolidata e “produttiva” l’emergenza che ti obbliga a cambiare modelli e organizzazione, incide più negativamente. Viceversa, dove l’organizzazione è “normalmente” più debole, la necessità di mutare il “canone” richiama una sorta di “capacità di arrangiarsi”. Processi che alimentano in modo assai differente il difettoso costrutto interpretativo di learning loss (incidentalmente ricordo che la necessità di ricerca e di misure di tale “variabile” (?) è stata significativamente (?) ribadita più volte dalla Fondazione Agnelli…)

5. Altro spunto interessante e necessario di analisi dei dati è quello relativo alla distribuzione delle differenze (tra comparti geografici, tra scuola, tra classi). Nelle restituzioni tradizionali dell’INVALSI tali differenze vengono correttamente interpretate come indicatori di equità del sistema.

Stando ai dati presentati complessivamente per il 2021 si segnala uno spostamento dalla variabilità tra le scuole alla variabilità tra le classi. La differenza tra scuole si attenua, la differenza tra classi si accentua. Anche in tale caso l’analisi dovrebbe essere diretta ad indentificare i fattori di tale spostamento.

Per esempio, si potrebbe ipotizzare con un certo fondamento (da dimostrare) che nella fase in cui la scuola è stata chiamata ad “inventarsi” modelli diversi di organizzazione degli spazi, dei tempi, e della strumentazione didattica (vedi DAD/DID) la variabile “caratteristiche del/dei docenti” abbia assunto un valore rilevante, e da qui la differenza tra le classi. Ovviamente una interpretazione “scomoda” da avallare. Ma che potrebbe segnalare i campi prioritari di intervento per migliorare i risultati.

6. Infine, la questione della dispersione scolastica. Sia quella esplicita (abbandoni ecc…) sia quella implicita legata al raggiungimento di livelli accettabili di apprendimento. Anche in tale caso le rilevazioni 2021 mostrano un peggioramento. Ma vorrei anche in tale caso ricordare che il relativo peggioramento ha per oggetto un inaccettabile valore consolidato oltre il 20% nella “normalità”. Non possiamo “scoprire” questo drammatico punto di caduta (fallimento?) del sistema di istruzione italiano legandolo alla pandemia. Appunto: non si può “tornare alla normalità” perché “il problema sta prima ancora proprio nella normalità”.

We can’t come back to “normality” because the problem is just the “normality”