Attualità

Il costo energetico della conoscenza

Diego RagazziNovembre 26, 2023

Non troppi anni fa l’universo virtuale creato dalle tecnologie digitali aveva innescato l’illusione di un immaginario mondo dematerializzato a impatto zero, simboleggiato dalla teleconferenza contrapposta alle trasferte fisiche, specialmente se in aereo. Ci è voluto più del previsto per liberarsi da questa pericolosa allucinazione, ma ormai sembra essere generalmente accettato che non esiste nessuna attività umana puramente dematerializzata. Anche rimanere seduti in una stanza a pensare richiede almeno di pagare il costo energetico di base per sostenere il nostro metabolismo, che corrisponde a 100 Watt per un adulto che ingerisce 2000 kcal giornaliere. Come una vecchia lampadina a filamento.

Le tecnologie digitali non fanno eccezione e richiedono un’imponente infrastruttura fisica per funzionare, costituita da dispositivi terminali, centri di calcolo e reti di telecomunicazione. Cominciamo con lo stabilire alcuni punti di riferimento. Qual è il costo energetico totale del settore ICT (Information and Communications Technologies)? Le stime variano in base alle assunzioni e al metodo di calcolo, ma tutte concordano che non sia affatto trascurabile. In letteratura si trovano valori dal 5% al 10% dei consumi elettrici mondiali, il che tradotto in energia primaria rende il consumo energetico dell’ICT paragonabile se non superiore a quello dell’aviazione. Ma soprattutto, il settore è in forte espansione e i recenti progressi nell’intelligenza artificiale (IA) hanno riproposto il tema dell’impatto ambientale.

La preoccupazione nasce dalla crescita, per ora esponenziale, nella complessità dei modelli di IA di base (foundation models), che si traduce in richieste sempre più esose di capacità di calcolo e di memoria. Prima del 2010, la risorsa computazionale richiesta dall’addestramento cresceva in linea con la legge di Moore, raddoppiando circa ogni 20 mesi, ma a partire dall’avvento dei sistemi basati su apprendimento profondo (deep learning) si osserva un’accelerazione e il tempo di raddoppio si è contratto a sei mesi (Sevilla et al., 2022). Fino a dieci anni fa, l’addestramento dei modelli di punta poteva richiedere da 10¹⁷ a 10¹⁸ FLOP (floating point operations, operazioni elementari eseguite del processore). Oggi GPT-4 richiede un numero di operazioni elementari almeno un milione di volte superiore. Una crescita di oltre sei ordini di grandezza in dieci anni. Nello stesso periodo, anche il volume di dati necessari all’addestramento è cresciuto enormemente. Nel caso dei modelli linguistici, per esempio, la crescita è stata di circa 4 ordini di grandezza.

Il costo energetico dell’acquisizione della conoscenza

Questi numeri non mancano di impressionare l’osservatore casuale, generando l’impressione di una crescita fuori controllo dell’impatto ambientale. Ma per capire davvero la situazione occorre tradurre questi valori nella moneta comune a tutti i fenomeni fisici, l’energia. Il calcolo preciso è piuttosto complesso, ma per i nostri scopi ci basta un ordine di grandezza.

Cominciamo con il considerare la fase di addestramento del modello, che è anche la più studiata. Un’analisi svolta da ricercatori di Google e dell’Università di Berkeley in California (Patterson et al., 2021) riporta i valori di consumo energetico richiesto per l’addestramento di alcuni popolari modelli di IA, indicativamente intorno al centinaio di megawatt-ora (MWh), con un picco di 1.287 MWh riportato per GPT-3. È probabile che l’addestramento dei modelli più recenti abbia richiesto valori ancora più elevati.

È tanto? È poco? Per capirlo possiamo confrontare questi valori con l’energia che serve a un essere umano per imparare ciò che sa. Semplificando al massimo, il nostro essere umano di esempio che ingerisce 2000 kcal al giorno, in 14 anni di vita, diciamo al termine delle scuole medie, avrà consumato circa 12 MWh e a 25 anni, al termine dell’università, circa 22 MWh. Quanta di questa energia è dedicata all’apprendimento? Qui dipende dalle nostre assunzioni, ma io sarei per una interpretazione estensiva: tutta la nostra esperienza contribuisce a costruire quello che sappiamo, non solo le ore passate sui libri.

Come si vede, i maggiori modelli di IA oggi esistenti hanno richiesto da dieci a cento volte tanto. Questo ci dice quanto più efficiente energeticamente è il nostro cervello nell’apprendere. Ma alla fin fine, che sia dieci o cento o anche mille volte più energivoro di un essere umano, stiamo parlando di poca cosa, considerando che una volta addestrato un singolo modello è in grado di soddisfare potenzialmente centinaia di milioni di utenti. Il problema dunque non sta nell’addestramento, ma in quello che viene dopo: l’utilizzo su grande scala.

Il costo energetico dell’applicazione della conoscenza

Le reti neurali profonde (deep neural networks) sono sempre più diffuse in ogni ambito, dagli smartphone alle automobili fino ai modelli di grandi dimensioni dei centri di calcolo. Secondo una recente indagine di McKinsey, oltre il 50% delle imprese in Europa e Stati Uniti utilizza modelli di IA, e i mercati emergenti di Cina, India e Asia-Pacifico riportano percentuali ancora più elevate. Qual è il consumo energetico di questi sistemi in esercizio? Qui purtroppo abbiamo ancora pochissimi dati, anche se diverse fonti dell’industria big tech suggeriscono che potrebbe essere almeno dieci volte superiore rispetto alla fase di addestramento. Una recentissima analisi dell’Università di Valencia sui modelli di IA in esercizio evidenzia, per i modelli di punta, la tendenza a una crescita negli anni del consumo energetico per singola “inferenza”, tuttavia il tasso di crescita è inferiore a quanto ci si potrebbe attendere grazie ai continui progressi dell’hardware e alle ottimizzazioni algoritmiche. D’altra parte, modelli più semplici mostrano un consumo energetico quasi costante pur migliorando le prestazioni (Desislavov et al., 2023). Interessante raffrontare il consumo energetico per singola inferenza, per esempio il riconoscimento di un’immagine da parte di un modello di visione artificiale, con l’energia consumata in un secondo da un essere umano che svolge lo stesso compito e pari a circa 100 Joule. In questo caso, persino i modelli di punta più complessi mostrano un consumo leggermente inferiore. I modelli linguistici di grandi dimensioni invece possono avere un consumo per singola inferenza anche dieci o cento volte maggiore, ma qui è più difficile trovare un compito umano corrispondente con cui effettuare il confronto.

Come osservano correttamente i ricercatori spagnoli, il consumo energetico dell’IA non sarà dominato dall’energia richiesta dall’addestramento o dalla singola inferenza, ma dall’effetto moltiplicativo dovuto alla scala di applicazione di questi sistemi nella società moderna, che rischia di superare di gran lunga i progressi in termini di efficienza energetica dell’hardware e degli algoritmi. Questo è un punto essenziale. Troppo spesso ci siamo cullati nell’illusione che bastasse rendere le cose più efficienti per mitigarne l’impatto ambientale. La storia dello sviluppo economico e sociale dall’inizio della rivoluzione industriale per ora registra una crescita ininterrotta del consumo totale di energia, nonostante i continui miglioramenti tecnologici in tutti i campi. E proprio le tecnologie digitali sono un esempio macroscopico di questa tendenza. Nessun altro settore ha registrato progressi tanto straordinari in termini di miniaturizzazione, prestazioni ed efficienza energetica. Eppure, proprio grazie a questi progressi, il consumo energetico globale dell’ICT non ha fatto che crescere.

Per elaborare scenari di impatto dell’IA sul consumo energetico, quindi, non bastano le competenze in tecnologie digitali, occorre la collaborazione di economisti, sociologi ed altri esperti. C’è ancora molto da fare in questo campo, gli studi sono solo all’inizio. L’importante è non farsi distrarre dai problemi minori, come l’addestramento dell’IA, e mirare al bersaglio grosso.