Scuola e Intelligenza Artificiale: cosa sapere

Scuola e Intelligenza Artificiale

Negli ultimi anni si è assistito ad un’esplosione dello sviluppo dell’intelligenza artificiale (“AI“) e, con essa, alla sua presenza in molti ambiti della nostra vita. L’IA ha avuto un impatto profondo sul modo in cui affrontiamo qualsiasi sfida, aprendo nuovi orizzonti e creando nuove problematiche giuridiche.

Uno dei principali settori che negli ultimi anni ha dovuto modificare le proprie strategie per adattarsi alle nuove esigenze della società è stato quello dell’istruzione.

A seguito delle gravi limitazioni imposte dalla pandemia di Covid-19, la didattica a distanza (DAD) ha assunto un ruolo di primo piano, offrendo agli studenti la possibilità di ottenere qualifiche e certificati senza la necessità di sostenere esami in presenza, grazie all’implementazione di sistemi di controllo (“proctoring” in inglese), in cui lo studente viene monitorato da remoto per evitare imbrogli e sotterfugi.

L’AI mette a disposizione delle Organizzazioni formative numerosi strumenti per consentire questo controllo, strumenti che rientrano sotto il nome di “e-proctoring” oppure “remote proctoring”. Tuttavia, i sistemi di e-proctoring rappresentano una sfida sia per gli educatori che per le aziende di formazione, poiché nella loro implementazione devono essere presi in considerazione aspetti quali la sicurezza, la protezione della privacy dei dati personali raccolti dal sistema e l’accessibilità per tutti i discenti. L’attività di valutazione e verifica dell’apprendimento può prevedere, inoltre, un trattamento di dati aggiuntivo volto all’identificazione dell’individuo e delle sue azioni. Pensiamo per esempio alla registrazione dell’immagine durante un esame per certificare la validità del test e l’assenza di attività non consentite.

Scopo di questo articolo è proprio quello di analizzare i sistemi di monitoraggio nella formazione online e, in particolare, cosa sia l’e-proctoring e quali sfide comporti.

Tipologie di sistemi di monitoraggio nell’e-learning

Come abbiamo già anticipato, la valutazione degli studenti che frequentano i sistemi di formazione online può essere effettuata attraverso diverse alternative. Di seguito sono elencate le più comuni.

• Esame in sede: è il metodo tradizionale. L’esame viene sostenuto dal discente presso la sede dell’organizzazione. Uno o pochi supervisori o esaminatori (“Proctor”) identificano e controllano gli studenti che svolgono l’esame. Questa alternativa non è particolarmente adatta alle istituzioni che elargiscono i propri servizi in modalità e-learning, in quanto impedisce la possibilità di accesso a tutti i discenti, tenendo conto che l’e-learning può estendersi su più paesi e persino su più continenti.
• Esami in videoconferenza: l‘esame viene condotto online e in tempo reale, un proctor fisico per ogni determinato numero di studenti controlla che non ci siano brogli durante l’esame attraverso l’utilizzo di webcam, microfoni e condivisione dello schermo. Ciò implica l’utilizzo di un numero elevato di proctor che, nella maggior parte dei casi, non è disponibile.
• Sistema di proctoring remoto o e-proctoring: si tratta di un sistema che utilizza l’AI per il suo funzionamento. La piattaforma su cui si svolge il test è dotata di un software abilitato a gestire principalmente due aspetti: (i) convalidare l’identità dello studente che sta svolgendo il test e (ii) monitorare il comportamento dello studente attraverso l’uso della telecamera e microfono del computer e, in secondo luogo, registrare l’attività dello studente sul computer e su internet.

E-proctoring

Il sistema di e-proctoring può essere suddiviso, a sua volta in due sistemi:

• (i) sistema automatizzato di proctoring completamente indipendente del fattore umano, ove il software e l’IA svolgono tutti i compiti previsti;
• (ii) un sistema di “recorded proctoring”, cioè di registrazione, ove il software registra i dati della webcam, microfono e schermo per poi permettere la sua revisione da un Proctor fisico, permettendo così all’insegnante di rivedere le registrazioni del test e di identificare eventuali violazioni delle regole del test.
  In entrambi i casi, il software può generare rapporti o avvisi in base a criteri o ad algoritmi predeterminati.

Il proctoring da remoto può essere uno strumento molto utile negli scenari di formazione e valutazione 100% online, in quanto facilita l’identificazione e la valutazione dei discenti e non richiede un gran numero di proctor fisici. Tuttavia, il loro impiego comporta grandi sfide, soprattutto in relazione all’uso e alla sicurezza dei dati personali dei discenti nonché la accessibilità di questo software.

Sfide e problemi legali nell’uso di sistemi di e-proctoring

La tecnologia di e-proctoring, a differenza delle altre due alternative, richiede un trattamento massivo sia delle immagini che dei dati di condotta degli studenti per il riconoscimento e la valutazione del loro comportamento durante il test, classificati dal Regolamento europeo sulla protezione dei dati (“GDPR”) come dati biometrici (articolo 9). Il sistema interagisce con lo studente, utilizzando i suoi dati biometrici per rilevare le emozioni e per classificare lo studente in base al suo profilo, al fine di determinare se esiste un rischio di illeciti durante il test.

NOTA: I dati biometrici sono una categoria particolare di dati personali disciplinata dal GDPR, secondo il quale, possono essere trattati solo in casi di particolare necessità o, in via eccezionale, in presenza di un consenso espresso, informato e libero dell’interessato, ai sensi dell’articolo 9, paragrafo 2, lettera a), del GDPR ed in conformità alle misure di garanzia disposte dalla autorità.

In merito alla DAD, il Garante italiano, col Provvedimento di 26 marzo 2020, si è pronunciato indicando la necessità di svolgere una valutazione di impatto come richiesto dall’art. 35 del GDPR. Ciò è ritenuto necessario poiché i sistemi di e-proctoring sono considerati soluzioni tecnologiche invasive a causa dell’utilizzo dei dati biometrici.

L’IA ACT: cos’è

L’IA Act è la proposta di legge europea sull’intelligenza artificiale (cioè, l’IA Act), che dovrebbe essere approvata il prossimo aprile. Essa va oltre le normative attualmente vigenti e incorpora espressamente le precauzioni e garanzie per lo sviluppo e l’uso di sistemi di identificazione biometrica nel campo dell’istruzione o della formazione professionale, definiti “di alto rischio”. Questo perché possono “determinare il percorso d’istruzione e professionale della vita di una persona e quindi incidere sulla sua capacità di garantire il proprio sostentamento” e “se progettati e utilizzati in modo inadeguato, tali sistemi possono violare il diritto all’istruzione e alla formazione, nonché il diritto alla non discriminazione, e perpetuare modelli storici di discriminazione” (come disposto nel considerando 35 del IA Act);

L’IA act richiede, inoltre, l’opportuna identificazione, analisi e valutazione dei rischi noti e prevedibili associati al sistema di IA in questione.  Infatti, non sono poche le autorità pubbliche che, a oggi, hanno considerato i sistemi di e-proctoring come fonte di discriminazioni, chiedendo la supervisione dei sistemi da persone ai fini di minimizzare i rischi. Per esempio, ci sono stati casi in cui si è scoperto che il software ha portato a risultati discriminatori nei confronti di donne di colore o persone con disabilità.

Insieme alla necessità di valutare i rischi collegati all’utilizzo di questi strumenti, in base ai principi di trasparenza e correttezza previsti nella legge privacy, il IA Act aggiunge l’obbligo di documentare e disporre delle istruzioni per l’uso del software, in modo conciso e chiaro, anche in relazione ai possibili rischi in termini di diritti fondamentali e discriminazione, nonché di implementare la supervisione del sistema da parte di umani.

Il contenuto della proposta di IA act, sebbene non definitivo, risponderebbe ad alcune problematiche ed incertezze che, nella pandemia Covid-19, furono oggetto di analisi da parte delle autorità privacy europee.  Servano da esempio:

• l’ordinanza nei confronti dell’ Università L.B. del 16 settembre 2021, per la quale il Garante ha considerato illecito il trattamento dei dati biometrici da parte del software e-proctoring utilizzato dalla università poiché il consenso degli alunni non è stato libero, in ragione dello squilibrio della posizione degli stessi rispetto al Titolare del trattamento, e le informazioni fornite erano insufficienti (provvedimento che nel 2022 viene attenuato dal Tribunale di Milano);
• la nota dell’autorità spagnola 0036/2020 in cui si raccomanda l’uso di queste piattaforme solamente quando non esistono alternative meno invasive, e comunque garantendo un trattamento dei soli dati strettamente necessari per la finalità prevista (sulla base del principio di minimizzazione e con l’ulteriore necessità di effettuare le corrispondenti analisi dei rischi e valutazioni di impatto sulla protezione dei dati).Bisogna sottolineare che entrambe le decisioni si riferiscono a enti pubblici o a enti che offrono istruzione pubblica e che i test o le procedure di selezione sviluppati da enti privati possono avere una maggiore discrezionalità nel determinare i criteri di selezione e le modalità tecniche di esecuzione, sempre nei limiti delle norme sulla protezione dei dati e sulla non discriminazione.

In sintesi, l’IA act fungerebbe da guida per la corretta implementazione dei sistemi di e-proctoring, creando un quadro di riferimento per l’attuazione congiunta a livello europeo. Tuttavia, dovremo attendere la versione finale del documento per poter dare una risposta più approfondita del tema, soprattutto tenendo conto dei progressi che L’Intelligenza Artificiale ha subito negli ultimi mesi, in particolare con lo sviluppo di tecnologie come ChatGPT.

Raccomandazioni per l’implementazione di sistemi di monitoraggio

Per riassumere quanto sopra, riportiamo alcune raccomandazioni per valutare l’idoneità di un sistema di valutazione online che utilizza l’intelligenza artificiale:

• Regolamentazione del rapporto con il fornitore del software. Come richiesto della normativa privacy (art. 28 del GDPR) e dal Provvedimento di 26 marzo 2020 del Garante, qualora la piattaforma prescelta comporti il trattamento di dati personali di studenti per conto dell‘organizzazione, il rapporto con il fornitore e responsabile del trattamento, dovrà essere regolato con contratto o altro atto giuridico.
• Implementazione di Procedure e valutazione dei rischi. Data la particolarità dei dati trattati durante l’implementazione dei sistemi di e-proctoring, sarà opportuno, prima del suo inserimento, effettuare una corretta implementazione di procedure di Privacy by Design e by Default così come un’analisi dei rischi potenziali a cui sono esposti i dati personali (DPIA), identificando i rischi che possono colpire i dati e le persone che li hanno generati. Indicherà inoltre le misure di salvaguardia da attuare per ridurre i rischi che incidono sulla loro sicurezza.
• Trasparenza e correttezza in termini di protezione dei dati. Il fornitore di software deve fornire informazioni chiare e complete sul trattamento dei dati personali effettuato dal sistema di e-proctoring sia all’organizzazione di formazione che ai discenti. Tra altro, sarà di somma importanza che il fornitore del software dichiari dove si trovano i server, quali dati sono raccolti, quale sia la data retention e se i dati possono essere trasferiti a terzi o, fuori dello Spazio Economico Europeo.
• Conoscenza del ruolo delle parti coinvolte. Si dovranno fornire informazioni chiare ai discenti e ai formatori sull’uso del sistema di proctoring. Oltre a ciò, deve essere spiegato lo scopo del programma, le sue funzionalità e le procedure da seguire e le conseguenze del mancato rispetto delle stesse. In questo modo le parti coinvolte sapranno qual è il loro ruolo, cosa ci si aspetta da loro e agiranno di conseguenza.
• Usare la tecnologia in modo responsabile ed accessibile. Non possiamo lasciare la valutazione solo nelle mani dell’intelligenza artificiale. Come abbiamo spiegato nella sezione precedente, i sistemi di e-proctoring non sono efficaci al 100%, possono essere parziali, segnalare “falsi positivi” e, in più, generare discriminazione. Per evitare questa situazione, la nostra raccomandazione è di optare per sistemi che siano monitorati da un supervisore o da un insegnante che possa intervenire se necessario.

In tutto ciò, sarà necessario tenere conto della responsabilità dell’Istituto di formazione, come Titolare del trattamento dei dati, dato che sarà proprio il Titolare a dover rispondere per la scelta dei sistemi e per eventuali violazioni in materia di protezione dei dati personali.

 

 

Documenti analizzati

EUR-Lex – 310401_2 – EN – EUR-Lex (europa.eu)

EUR-Lex – 52021PC0206 – EN – EUR-Lex (europa.eu)

Sentenza 8174/2022 del Tribunale di Milano.

Ordinanza ingiunzione nei confronti di Università Commerciale “Luigi… – Garante Privacy

ai-00086-2022.pdf (aepd.es)

2020-0036_Crue datos biométricos (aepd.es)

ExamSoft’s remote bar exam sparks privacy and facial recognition concerns | VentureBeat

 

Chat GPT: la nuova frontiera dell’AI