Stato del cluster

Lo stato del cluster carte si trova all'indirizzo http://portalidrupal00.private.cineca.it:8888/kettle/status/

In questa pagina è possibile far ripartire/bloccare/visionare le trasformazioni o job già fatti girare in precedenza. è possibile inoltre verificare lo stato dei job che può assumere lo stato di Running, Finished, Finished (with errors) in quest'ultimo caso sarebbe oppurtuno segnalarlo in modo da poter risolvere eventuali problemi.

Riavvio del cluster

Nel caso in cui il cluster carte dovesse impallarsi o non funzionare correttamente è necessario collegarsi alla macchina portalidrupal00 e con l'utenza prodru01 eseguire i comandi

/usr/bin/sudo /usr/bin/monit stop pentaho
/usr/bin/sudo /usr/bin/monit start pentaho

In questo modo il cluster si riavvia e dovrebbe tornare a funzionare.

Questa attività è richiesta anche in caso di aggiunta di un nuovo ateneo o di cambio di puntamento di qualche database, sia questo oracle che sql

File System

Tutti i Job e Trasformazioni sono salvati nel percorso /production/pentaho/etl/ della macchina portalidrupal00 all'interno della directory etl sono presenti le cartelle degli atenei che vengono gestiti dal flusso.

Conoscere il percorso assoluto del Job/Trasformazione è essenziale per l'esecuzione degli stessi.

All'interno delle directory di Ateneo è presente una sottocartella di reportistica dove vengono salvati i report delle azioni svolte dal flusso.

Nota: al 24/11 stiamo cercando un modo più "furbo" per la gestione del report e degli errori

Esecuzione manuale di job e trasformazioni

Potrebbe nascere la necessita di voler sincronizzare "forzatamente" la rubrica o solo un pezzo di essa. Per fare ciò si può procedere in vari modi

  • è possibile eseguire da riga di comando sulla macchina portalidrupal00

wget -O - -t 1 http://cluster:cluster@portalidrupal00.private.cineca.it:8888/kettle/runJob/?job=/etl/UNIBS/UNIBS_SYNC_RU > /dev/null 2>&1

  • da un qualsiasi browser web con il comando

http://cluster:cluster@ http://portalidrupal00.private.cineca.it:8888/kettle/executeJob/?job=/production/pentaho/etl/UNIBS/UNIBS_SYNC_RU.kjb

  • tramite lo stato del cluster se è presente

Per quanto riguarda le TRASFORMAZIONI le tipologie di esecuzione sono le medesime cambia solo il pattern ovvero http://portalidrupal00.private.cineca.it:8888/kettle/executeTrans/?trans=/production/pentaho/etl/UNIBS/ETL_ESSE3_V_S3_ODS_DOCENTI.ktr

Log dei flussi

Su ogni db sarà presente la tabella log_flusso_sync che permette di salvare tutti i log.  In questa tabella sarà possibile vedere a colpo d'occhio se il flusso ha rilevato degli errori grazie alla colonna ERRORS che conterà gli errori che si sono presentati durante il flusso.

Per tutte le informazioni relative alle coordinate del db guardare la pagina del wiki dedicata all'ateneo

Cron del flusso

Tutti i flussi vengono fatti girare ogni notte alle 00:01 tutti i giorni della settimana.

Per modificare/aggiungere flussi è necessario modificare il file SyncPortali.sh sulla macchina portalidrupal00

Per modificare l'orario di esecuzione è necessario diventare prodru01 e con il comando "crontab -e"  modificare la riga

1 0  * * * /bin/bash /production/pentaho/cron/SyncPortali.sh







  • No labels