Intelligenza Artificiale per una fabbrica veramente intelligente

Control and Automation Laboratory (CAL) University of Bergamo

ChatGPT (Chat Generative Pre-trained Transformer)

I Generative Pre-trained Transformers (GPTI sono modelli di intelligenza artificiale che utilizzano una architettura chiamata "Transformer" per generare testo in modo generativo. Questi modelli sono pre-addestrati su grandi quantità di testo provenienti da una vasta gamma di fonti, come libri, articoli di notizie, pagine web e molto altro ancora.
L'architettura dei Transformer è stata introdotta da Google nel 2017 ed è stata successivamente utilizzata in diversi modelli di apprendimento automatico, compresi i modelli GPT. Questi modelli sono in grado di catturare relazioni complesse e a lungo termine nei dati testuali, consentendo loro di produrre testo coerente e di alta qualità.
Quando diciamo che un modello GPT è pre-addestrato, intendiamo che è stato esposto a grandi quantità di testo durante la fase di addestramento. Questo addestramento consente al modello di apprendere i modelli linguistici e le strutture del testo in modo da poter generare testo nuovo e coerente in risposta a nuove domande o input.

Large Language Model (LLM)
- E' una rete neurale che genera linguaggio naturale
- Addestrato ad apprendere relazioni statistiche tra le parole nei testi
- Predice la parola successiva (sceglie la più probabile)

Modelli
- White-box Conosco le equazioni dalla fisica del sistema - Conosco/misuro direttamente i parametri
- Grey-box Raccolgo dati - Calcolo i parametri (fisici) di un modello fisico
- Black-box Raccolgo dati (tanti!) Calcolo i parametri (NON fisici) di un modello (NON fisici)

White-box - conosco le regole del gioco
Black-box - non conosco le leggi del fenomeno
1. Scelgo un modello molto ampio
2. Uso tanti dati ed un metodo di apprendimento
3. Imparo le regole del gioco dai dati

Esempi - End of Line Quality Control
GOGLIO
- 18 layer convoluzionali
- Total params: 826234
- Spazio latente: 16x32
- GPU NVIDIA P100
- Training time: 8 min

Esempi - Health monitoring and fault prediction
- 12 elettrovalvole
- 1 anno
- 98 milioni cicli
- 3 valvole si sono guastate

Data ingestion and cleaning
- Gestione efficiente di un genuino data set big data
- Eliminazione di dati anomali (offset, ordinamento, etc.)
Evidenziamo due temi importanti
- Deriva termica (dovuta alle particolari condizioni sperimentali)
- Misura di tsteady state

Continua nel PDF