Introduzione

Per consentire agli Atenei di effettuare analisi di dettaglio sui dati degli studenti, Cineca ha realizzato quelli che in letteratura sono definiti ODS: Operational Data Store. Gli ODS, a loro volta, sono organizzati in quelli che Pentaho definisce Business Model (BM). Ogni Business Model raccoglie più ODS al fine di costituire un aggregato di ODS consistente che permette di effettuare analisi su un determinato contesto di dati. I business model realizzati in ambito "Studenti" sono i seguenti:

1. Appelli Esame;
2. Verbali Appelli Esame;
3. Tirocini, Stage e Placement;
4. Mobilità Internazionale;
5. Questionari;
6. Questionari ANVUR Docenti;
7. Questionari Classifiche;
8. Questionari Pubblici;

I dati modellati nei BM possono essere utilizzati per realizzare reportistica sia aggregata che di dettaglio (le informazioni contenute sono caratterizzate atomicamente, dove possibile, fino al livello del Codice Fiscale dello studente).

I tipi di reporting possibili sono i seguenti:

• Reporting statico che visualizza il dato in modalità non interattiva.
• Reporting ad-hoc tabulari/grafici risultanti da interrogazioni non predefinite e personalizzabili, con filtri su un set di attributi. I report così realizzati sono esportabili in vari formati (xls, csv, pdf).

L’Ateneo ha a disposizione due prodotti per realizzare i report, che fanno entrambi parte della suite PENTAHO:

• Pentaho Report Designer: ambiente per la realizzazione di report integrato con la Pentaho Solution
• Web ad hoc Report: un tool integrato nella piattaforma Pentaho. Basato su teconologia Web 2.0 (AJAX,DHTML) per la generazione di report via Web. E’ sostanzialmente un ambiente cui si accede via Web che permette all’utente finale di estrarre i dati in modo semplice e generare report personalizzati. I report così generati sono
  • Visualizzabili via WEB
  • Esportabili in formato excel o pdf
  • Pubblicati per la consultazione di altri utenti

Attributi comuni a più ambiti

Didattica appello - Facoltà

Elenco attributi della Business View:

Didattica appello - Dipartimento

Elenco attributi della Business View:

Didattica appello - Corso

Elenco attributi della Business View:

Attività didattica appello

Elenco attributi della Business View:

Appello

Appello - docente abilitato

Appello - presidente commissione

Appello - tipologia gestione

STU - Appelli Esame

Il Business Model degli Appelli d'Esame ha come obiettivo principale quello di consentire di analizzare gli Appelli d'Esame da un punto di vista degli studenti che si sono iscritti ai vari appelli, di quelli che si sono presentati all'Appello e di quelli che, alla fine, hanno superato l'appello. Gli appelli sono definiti sulla coppia: Corso-Attività didattica. Gli studenti iscritti agli appelli possono avere nei loro libretti attività didattiche differenti da quelle di definizione dell'appello perché in fase di configurazione dell'appello si possono definire più attiivtà didattiche compatibili con quella di base. Per tale motivo nel modello dati sono state mappate la Didattica e attività didattica di iscrizione dello studente e la Didattica e attività didattica di definizione dell'appello.

Inoltre lo studente iscritto allo stesso appello può risultare su più verbali, va selezionato l'ultimo verbale valido (verbale valido) per escludere i verbali di revoca.

Di seguito lo schema concettuale del Business Model:

Attributi 

Didattica Studente - Facoltà

Didattica Studente - Dipartimento

Didattica Studente - Corso

Attività didattica studente

Turno

Turno - presidente

Iscritti appello

Iscritti appello - verbale

Attributi libretto

Sessione

Verbali

Misure

STU - Verbali Appelli Esame

Il Business Model dei Verbali Appelli Esame ha come obiettivo principale quello di consentire di analizzare i diversi status di lotti e verbali degli Appelli.

Di seguito lo schema concettuale del Business Model:

Attributi

Lotto - tipologia gestione

Attributi lotto

Attributi transizione stato lotto

Misure

STU - Tirocini, Stage e Placement

Questo ambito di analisi è in fase di revisione. Al termine della fase di revisione verrà pubblicato il manuale utente aggiornato.

STU - Mobilità Internazionale

Questo ambito di analisi è in fase di revisione. Al termine della fase di revisione verrà pubblicato il manuale utente aggiornato.

STU - Questionari

Il prodotto Operational Data Store sull’ambito Questionari di Valutazione della Didattica si posiziona come uno strumento utile a diversi attori dell’Università sia Accademici (ad. Es. Presidenti del Corso di Laurea) che Tecnico-Amministrativi (ad es. Uffici Statistici e Controllo di Gestione) ai fini dell’analisi e del reporting relativamente ai questionari somministrati e compilati dagli studenti mediante il sistema ESSE3.

In un contesto in cui la valutazione dell’attività didattica si introduce all’interno di un più ampio ciclo di controllo qualità, diventa sempre più importante disporre di queste informazioni in tempo utile sia per il supporto al processo di quality assurance, sia per consentire in modo efficace di valutare le eventuali azioni correttive sui servizi e sulle modalità con cui vengono erogati i corsi di formazione.

E’ altresì evidente che lo strumento e le tecnologie con cui vengono effettuate queste analisi non può essere il software gestionale, ma occorre rivolgere l’attenzione verso piattaforme e tecnologie abilitanti quali il reporting e la business intelligence.

Di seguito elenchiamo pre-requisiti del prodotto e il dettaglio dei contenuti messi a disposizione dell’Ateneo, ricordando che diventa estremamente necessario individuare, all’interno dell’Ateneo, una figura esperta di tali tecnologie e di questi contenuti (il Data Warehouse Administrator) al fine di supportare l’Ateneo nell’utilizzo del sistema e nella certificazione dei dati.

Riguardo ai contenuti messi a disposizione si evidenzia che durante la fase di attivazione del prodotto saranno predisposti e certificati solo i report di seguito elencati, costituendo dunque il pacchetto minimo e sufficiente che chiudere il progetto di implementazione. L’Ateneo sarà messo comunque in condizione di creare il proprio reporting e di costruire le proprie analisi dopo un opportuno periodo di formazione e utilizzando le funzionalità messe a disposizione della piattaforma tecnologica Pentaho.

Pre-requisiti

Il sistema di reportistica ODS sui Questionari di Valutazione della Didattica è parte integrante della UGOVSolution.

E’ tuttavia necessario verificare, prima di procedere con l’attivazione dell’ODS, che siano rispettati alcuni requisiti base per far si che lo scambio di informazioni fra i vari moduli possa avvenire in maniera efficace.

Di seguito si vanno ad elencare i requisiti essenziali:

1. Configurazione su ESSE3 di almeno questionario legato al contesto VAL_DID;
   1. Associare TAG Frequentanti e Non Frequentanti se si vuole distinguere la reportistica per studenti frequentanti e non;
   2. Associare “TAG Autorizzazione all’uso dei Dati” se il questionario prevede un’apposita domanda;
2. Se si vogliono fare analisi storiche configurare un unico questionario per la valutazione dei vari anni accademici di offerta;
3. Associare un punteggio alle risposte del questionario che devono essere valutate “numericamente”;
4. Se il questionario, oltre alle quattro risposte standard “Decisamente No”, “Più No che Si”, “Più Si che No”, “Decisamente Si” prevede anche una risposta “Non applicabile” e questa deve essere conteggiata come risposta scelta dallo studente ma non deve entrare a far parte della media aritmetica, allora si suggerisce di applicare a questa risposta il punteggio 0;
5. Configurare gli utenti su UGOV: inserire in ugov tutti gli utenti che devono poter accedere alla reportistica di ODS dei Questionari. Questo passaggio è necessario se l’ateneo vuole attivare un meccanismo di profilazione automatica sui dati visualizzati dai report;
6. Configurare un sistema di autenticazione condiviso fra UGOV-ESSE3-PENTAHO: i sistemi supportati da Penthao sono SHIBBOLETH e LDAP;

Nella seguente immagine è rappresentato, per macro-blocchi, il modello concettuale di analisi dei dati dei Questionari di Valutazione della Didattica. Nel proseguo del paragrafo, poi, sono illustrati nel dettaglio alcuni elementi che facilitano la comprensione di alcuni aspetti caratteristici dei questionari.

Per quanto riguarda i due componenti Didattica Attività Didattica e Didattica di Iscrizione è necessario fare alcune precisazioni:

1. Ogni Corso può afferire ad una o più facoltà e ad uno o più dipartimenti. Quando si costruiscono i report, quindi, è necessario specificare SEMPRE a quale Facoltà e a quale Dipartimento devono essere attribuiti i dati (tramite l’uso dei Flag di default);
2. Ad ogni Facoltà è associato l’ID_AB del “Preside di Facoltà”
3. Ad ogni Dipartimento sono associati l’ID_AB del “Direttore di Dipartimento” e del “Presidente di Commissione Paritetica”;
4. Ad ogni Corso è associato l’ID_AB del “Presidente di Corso di Studi”;
5. Le cariche “Preside di Facoltà”, “Direttore di Dipartimento”, “Presidente di Commissione Paritetica” e “Presidente di Corso di Studi” devono essere definite su ESSE3 mediante l’uso della funzione “Gestione Cariche”;

Per quanto riguarda inoltre il componente Offerta e Logistica, nella seguente immagine è indicato il modello dati di dettaglio che lo compongono. Il pallino evidenziato in giallo è il dettaglio al quale si collega poi il questionario di valutazione della didattica. 

Per quanto riguarda il Questionario Compilato (ID) è necessario fare alcune osservazioni:

1. Ogni “Questionario Compilato” di ESSE3 è identificato in maniera univoca da un ID numerico;
2. Nel caso specifico dei “Questionari di Valutazione della Didattica” l’ID del Questionario Compilato non può essere messo in relazione con l’identificativo della persona che ha compilato il questionario. Da qui la garanzia di anonimato;
3. Le uniche informazioni disponibili e valide per qualunque tipologia di questionario compilato su ESSE3 sono:
4. Flag Questionario Completo: indica se il questionario è stato compilato in tutte le sue parti;
5. Flag Autorizzazione Utilizzo Dati: indica se l’utente che ha compilato il questionario ha fornito l’autorizzazione all’uso dei dati per fini statistici;

Di seguito, invece, alcune osservazioni in merito al componente Questionario Compilato (Metadati):

1. Siccome i “Questionario di Valutazione della Didattica” sono per loro natura anonimi, su ESSE3 è stata aggiunta la possibilità di salvare, assieme al questionario compilato, un set (configurabile) di “Metadati di Compilazione” ovvero di attributi descrittivi relativi all’utente che ha compilato il questionario. Questi Metadati consentono di estendere le possibilità di analisi statistiche dei dati di compilazione ma, in alcuni casi, possono rendere più labile il requisito di anonimato. Sta quindi all’ateneo scegliere quanti e quali Metadati utilizzare;
2. Attualmente non tutti i Metadati disponibili su ESSE3 sono stati tradotti in corrispondenti attributi dell’ODS. Gli unici attributi disponibili per ora sono:
   1. Didattica di Iscrizione dello studente;
   2. Anno di corso di Iscrizione;
   3. Flag studente frequentante;
   4. Data di Compilazione del Questionario;

Fra i metadati del Questionario Compilato, merita in particolare un approfondimento l'attributo che permette di identificare i questionari compilati da Studenti Frequentanti.

Per riuscire a capire se un “Questionario di Valutazione della Didattica” è stato compilato da uno studente FREQUENTANTE o da uno studente NON FREQUENTANTE occorre configurare correttamente il questionario su ESSE3. In particolare occorre rispettare le seguenti regole: 

1. Deve essere configurato un unico questionario da somministrare sia a studenti frequentanti che a studenti non frequentanti;
2. Deve essere possibile individuare all’interno della struttura del questionario un qualunque elemento (PAGINA, PARAGRAFO oppure DOMANDA) che sarà visualizzato, in fase di compilazione, solamente da studenti FREQUENTANTI. A questo elemento dovrà essere associato il TAG “STU_FREQ_FLG_COMP”;
3. Deve essere possibile individuare all’interno della struttura del questionario un qualunque elemento (PAGINA, PARAGRAFO oppure DOMANDA) che sarà visualizzato, in fase di compilazione, solamente da studenti NON FREQUENTANTI. A questo elemento dovrà essere associato il TAG “STU_NO_FREQ_FLG_COMP”;

La visibilità o meno degli elementi del questionario è guidata dalle condizioni di visualizzazione impostate nella struttura del questionario. Si tratta di condizioni determinate dalle risposte date ai quesiti.

Se infine un Ateneo ha, fra i vari obiettivi, quello di effettuare dei report relativi al trendo storico delle compilazioni (per vedere ad esempio a parità di attività didattica se nel tempo le valutazioni migliorano o peggiorano) occorre configurare correttamente il questionario su ESSE3. In particolare occorre rispettare la seguente regola:

1. Deve essere configurato un unico questionario da somministrare negli anni;
2. Se, da un anno al successivo, l’Ateneo ha necessità di modificare la struttura del questionario (ad es. aggiungere una domanda ed eliminarne una) il suggerimento è quello di modificare la struttura del questionario esistente agendo anche sulle regole di visibilità degli elementi del questionario (ad es. rendendo una domanda NON visibile da nessuno se nel nuovo anno nessuno studente deve rispondere a quella domanda oppure aggiungendo una o più domande);

Se un questionario, negli anni, deve subire una profonda revisione potrebbe non aver senso effettuare delle analisi storiche. Nel caso in cui un ateneo decida di configurare da zero un nuovo questionario, l’unica possibilità per poter confrontare i dati di due questionari differenti è quello di fare uso delle “categorie” associate agli elementi del questionario (per l’uso delle categorie si rimanda alla documentazione di ESSE3). Si tratta in pratica di definire un’anagrafica di categorie e di associare alla medesima categoria elementi di questionari differenti che devono essere considerati “equivalenti”.

STU - Questionari ANVUR Docenti

Documentazione in fase di aggiornamento, in attesa che il ministero, tramite l'ANVUR, ufficializzi le nuove Linee Guida per le Rilevazioni delle Opinioni degli Studenti.

STU - Questionari Classifiche

Documentazione in fase di redazione.

STU - Questionari Pubblici

L’ODS Questionari Pubblici è una visione aggregata dell’ODS Questionari. La necessità di realizzare un ODS aggregato nasce da una serie di osservazioni:

1. La Profilazione Dati che è possibile abilitare sull’ODS Questionari rende visibile ad ogni utente solamente una porzione di dati dell’ODS (in base alle configurazioni definite su UGOV). In questi casi, quindi, nei report diventa possibile inserire solamente indicatori relativi a quella porzione di dati (ad es. i docenti valutati non potranno avere visibilità della media di valutazione di ateneo o di dipartimento perché vedranno solo i dati relativi alle proprie valutazioni ottenute);
2. Il notevole livello di crescita dei dati presenti nell’ODS determina un degrado dei tempi di risposta dei report. La tabella “dettaglio risposte” contiene un numero di righe pari a (“numero possibili risposte” * “numero questionari compilati”) che per la maggioranza degli atenei si traduce in cifre piuttosto elevate (ad es. sono cifre piuttosto comuni circa 70000*120=8.400.000 record annui);
3. Per alcuni atenei le statistiche a livello aggregato (ad es. la valutazione media dei corsi di studio) sono informazioni pubbliche non soggette a problematiche di riservatezza dei dati. Avere quindi a disposizione un metadato aggregato che non consente di ottenere informazioni a livello di dettaglio (docenti e attività didattiche) può essere utile ai fini della pubblicazione e diffusione delle statistiche anche sul portale di ateneo;

Di seguito è illustrato, per macro-blocchi, il modello concettuale di questo ambito di analisi.

Rispetto al modello dati dell’ODS Questionari, le informazioni di dettaglio che si perdono sono:

1. Offerta e Logistica;
2. Questionario Compilato (ID);
3. Questionario Compilato (Metadati);
4. Didattica di Iscrizione;

L’aggregazione delle informazioni viene quindi effettuata in due maniere:

1. Creato l’oggetto “Numero Questionari Compilati” che, per ogni percorso di studi, anno accademico di offeta e questionario riporta il numero di questionari compilati dagli studenti ed un attributo di comodo che si chiama “chiavi di valutazione distinte” (nelle slide successive è illustrata l’utilità di questo campo nel conteggio dei questionari);
2. Creato l’oggetto “Questionario Compilato (dettaglio risposte AGGREGATO)” che memorizza la “distribuzione” delle risposte scelte. In questo caso la distribuzione non è relativa ad ogni questionario compilato ma ad un insieme di questionari compilati. Il numero di questi questionari è specificato nell’oggetto “Numero Questionari Compilati”

Il problema del conteggio dei questionari: il fatto di non avere a disposizione nel modello aggregato l’ID dei singoli questionari compilati ha il vantaggio di ridurre notevolmente il quantitativo di dati memorizzato ma allo stesso tempo ha lo svantaggio, in alcuni casi, di complicare il conteggio dei questionari compilati all’interno dei report. Con l’esempio seguente cerchiamo di illustrare la complessità di questo conteggio in relazione all’aggregazione applicata sui dati.

Per semplicità supponiamo di considerare i dati di un determinato anno accademico di offerta e relativi alla compilazione di un determinato questionario di valutazione. Fatta questa ipotesi, supponiamo quindi che, dopo l’operazione di aggregazione, l’oggetto “numero questionari compilati” (vedere slide relativa al “modello concettuale”) contenga le seguenti informazioni:

Se l’obiettivo è quello di conteggiare il numero di questionari utilizzando semplicemente le informazioni della didattica (facoltà, corso ecc…) allora è sufficiente, all’interno dei report pentaho, SOMMARE IL CAMPO N.QUEST. In questo caso, ad esempio, il numero di questionari compilati per valutare il corso X sarà il seguente:

Il modello dati dell’ODS, tuttavia, comprende altri due elementi: “Struttura Questionario” e “Questionario Compilato (dettaglio risposte aggregato)”.

L’ODS “Struttura Questionario” contiene la strutturazione del questionario in PAGINE, PARAGRAFI, DOMANDE e POSSIBILI RISPOSTE.

Per semplicità supponiamo ad esempio che il questinoario preveda un’unica domanda con quattro possibili risposte:

A sua volta l’ODS “questionari compilati (dettaglio risposte)” fa da elemento di raccordo fra le possibili risposte previste dal questionario ed i percorsi di studio che in un determinato anno accademico sono valutati. Nel nostro caso, quindi, indicherà la distribuzione delle risposte scelte dagli utenti che hanno complessivamente compilato i 60 questionari rispetto ai possibili percorsi di studio che, tramite le singole attività didattiche valutate, potevano essere valutati.

Ad esempio una possibile distribuzione potrebbe essere la seguente

Supponiamo quindi, a questo punto , di voler aggiungere al “report 1” anche l’informazione “punteggio totale” (ottenuto come somma del campo SOMMA PUNTI dell’ODS “Questionari Compilati (dettaglio risposte)”).

Contrariamente a quanto potremmo aspettarci il risultato sarebbe (erroneamente) uno dei due risultati seguenti:

Perché si ottiene questo risultato? La motivazione è legata ad aspetti tecnici che non è semplice spiegare. Concettualmente la replicazione dei dati è legata all’aver aggiunto al report l’informazione SOMMA PUNTI che costringe pentaho ad utilizzare anche l’ODS “Questionari Compilati (dettaglio risposte)”. Aggiungere questo ODS richiede quindi di elaborare la seguente tabellina di informazioni:

A seconda di come vengono elaborati i dati della colonna N. QUEST, quindi, si ottengono i risultati riportati nella slide precedente.

Per ottenere il risultato corretto, quindi, è stato creato l’attributo “chiavi distinte di valutazione” all’interno dell’ODS “Numero Questionari Compilati” (vedi slide “Modello Concettuale”) che consente di conteggiare , a seconda di come vengono aggregati i dati in base agli attributi della didattica (facoltà, dipartmento ecc…),“quante sono le chiavi di valutazione valutate da un certo numero di questionari”. Avendo questa informazione, quindi, in questo caso è possibile aggregare i dati selezionando i valori distinti della colonna N. QUEST perché, avremo l’informazione che il valore 30, in questo caso, è legato alla valutazione, nell’ambito del corso X, di due chiavi di valutazioni distinte (ovvero di due distinte terne di valori corso, ordinamento, percorso).

Il report, quindi, diventerebbe il seguente:

A questo punto moltiplicando 30 per il numero di chiavi valutate da 30 questionari riotteniamo il risultato corretto di 60 questionari.