La traduzione automatica e le emissioni di anidride carbonica

Il team del Manipal Institute of Technology ha pubblicato il documento “Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation“. I ricercatori hanno utilizzato il CodeCarbon package per confrontare le emissioni di anidride carbonica durante l’addestramento dei motori di traduzione automatica.

Secondo gli autori i modelli linguistici “richiedono un’elevata potenza di calcolo per essere addestrati, comportando di conseguenza elevate emissioni di carbonio“.

La formazione e lo sviluppo su larga scala della traduzione automatica (così come i modelli di programmazione neurolinguistica più in generale), “potrebbero avere conseguenze dannose sull’ambiente”. In breve, l’energia utilizzata per addestrare i motori di MT “contribuisce probabilmente agli effetti del cambiamento climatico“.

Emissioni di carbonio per coppia linguistica

Il lavoro dei ricercatori ha coinvolto sei coppie linguistiche, valutandone la potenza di calcolo richiesta per la formazione.

I test si sono concentrati sulla lingua inglese, tedesca e francese e sulle sei possibili combinazioni di queste lingue.

Per confrontare le prestazioni si sono basati su due modelli di addestramento:

• ConvSeq di Facebook AI, un modello convoluzionale sentence-to-sentence
• Transformers di Google, un modello che utilizza livelli lineari, meccanismi di attenzione e routine di normalizzazione.

Il team ha monitorato le emissioni di carbonio rilasciate durante la formazione, implementando il proprio lavoro tramite i dati di BLEU, l’algoritmo di valutazione della qualità del testo tradotto.

Traduzione automatica e coppie linguistiche

I risultati hanno evidenziato che non solo le coppie linguistiche con il tedesco come lingua target ottengono i punteggi BLEU più bassi, ma impiegano anche più tempo per raggiungere il punteggio soglia di 25. Questa seconda scoperta supporta l’ipotesi che “la traduzione in tedesco potrebbe essere più complessa dal punto di vista computazionale rispetto al francese o all’inglese”.

Le coppie linguistiche francese>tedesco, inglese>tedesco e tedesco>francese necessitano di più tempo per la formazione e, di conseguenza, sono state le coppie con i livelli di carbonio più elevati. La coppia linguistica francese>tedesco è “la più costosa dal punto di vista computazionale” in entrambi i modelli.

Al contrario, inglese>francese, tedesco>inglese e francese>inglese, ciascuna delle quali comprendente la lingua inglese, richiedono meno tempo per l’addestramento, implicando quindi meno emissioni di CO₂.

È interessante notare che il dataset tedesco era il più diversificato dal punto di vista lessicale. Questo “probabilmente dimostra che la diversità lessicale è direttamente proporzionale al tempo di formazione necessario per raggiungere un livello adeguato di prestazioni”.

Confrontando i due sistemi, i modelli Transformers si sono rivelati significativamente meno impattanti in termini di CO₂ emessa rispetto ai modelli ConvSeq, ottenendo inoltre punteggi BLEU più alti.

Stefano Gaffuri