Meccanica statistica del transfer learning nel limite proporzionale

Imparare a generalizzare a partire da dati scarsi è una sfida complessa sia per i sistemi neurali biologici che per quelli artificiali. Il Transfer Learning (TL) è emerso recentemente come una tecnica potente nel Machine Learning per migliorare le prestazioni di generalizzazione su un compito specifico (target), sfruttando informazioni acquisite da un compito correlato (source). Il TL dipende in modo cruciale dalla capacità di una rete neurale di apprendere caratteristiche utili. In questo seminario presenterò un lavoro recente che sfrutta progressi analitici nel regime proporzionale della teoria del deep learning (ossia il limite in cui la dimensione del dataset di addestramento $P$ e quella dei livelli nascosti $N$ tendono all’infinito mantenendo costante il rapporto $P/N$) per sviluppare un nuovo formalismo di meccanica statistica per il TL in reti neurali bayesiane. Abbiamo elaborato una teoria efficace per il TL in reti neurali completamente connesse a uno strato nascosto, utilizzando una generalizzazione del metodo classico di Franz-Parisi per analizzare stati metastabili nei vetri di spin. Mostrerò come il TL risulti inefficace nel limite di larghezza infinita a causa del fenomeno di lazy training. Quando il numero di dati e di neuroni nascosti è comparabile, il TL avviene grazie a un kernel sorgente-target rinormalizzato che quantifica la correlazione tra i compiti e determina se il TL è vantaggioso per la generalizzazione.