Perché le reti neurali non superano gli esami di storia?

Durante la conferenza NeurIPS, uno degli eventi più importanti al mondo dedicati all’intelligenza artificiale, un gruppo di ricercatori ha presentato uno studio che valuta la capacità dei modelli di linguaggio avanzati, come ChatGPT e altre reti neurali, di comprendere la storia. Nonostante la loro vasta conoscenza di fatti storici, questi modelli hanno dimostrato notevoli difficoltà nel rispondere a domande complesse, rivelando limiti significativi nella loro comprensione del contesto storico.
Il test Hist-LLM: un banco di prova per l’intelligenza artificiale
Per valutare le capacità delle reti neurali, i ricercatori hanno sviluppato un benchmark chiamato Hist-LLM, basato sul database storico globale Seshat. Questo test include domande complesse che richiedono non solo la conoscenza di fatti storici, ma anche la capacità di contestualizzarli correttamente nel tempo e nello spazio.
I modelli testati includevano alcuni dei più avanzati sistemi di intelligenza artificiale attualmente disponibili:
- Google Gemini
- Llama
- OpenAI GPT-4 (inclusa la versione Turbo)
I risultati: una performance deludente
Il modello GPT-4 Turbo ha ottenuto il punteggio più alto, ma con un risultato del 46%, che è solo leggermente superiore a quello che si otterrebbe rispondendo a caso. Questo dato evidenzia una carenza significativa nella capacità delle reti neurali di comprendere e interpretare correttamente la storia.
Un esempio emblematico
Una delle domande del test chiedeva se l’armatura fosse stata utilizzata in un determinato periodo dell’antico Egitto. La risposta corretta è no, poiché l’armatura è apparsa circa 1.500 anni dopo. Tuttavia, la rete neurale ha risposto in modo errato, dimostrando una mancanza di comprensione del contesto temporale.

Leggi anche:
Perché le reti neurali faticano con la storia?
I ricercatori, tra cui Maria del Rio-Chanona, professoressa associata di informatica presso l’University College di Londra, hanno identificato tre principali cause degli errori commessi dalle reti neurali:
- Tendenza a estrapolare i dati: Più un fatto storico è menzionato frequentemente, più è probabile che la rete neurale lo associ erroneamente a periodi o contesti in cui non è rilevante.
- Difficoltà nell’estrarre fatti poco conosciuti: Le reti neurali faticano a recuperare informazioni storiche meno comuni o meno documentate, limitando la loro “profondità di comprensione”.
- Bias nei set di dati di addestramento: I modelli sono addestrati su dati che possono contenere errori o distorsioni, influenzando negativamente le loro risposte.
Il potenziale delle reti neurali nella ricerca storica
Nonostante i risultati deludenti, i ricercatori vedono un potenziale significativo nell’uso delle reti neurali per supportare la ricerca storica. Questi modelli potrebbero, ad esempio, aiutare gli storici a:
- Analizzare grandi volumi di dati storici in tempi ridotti.
- Identificare connessioni o pattern che potrebbero sfuggire all’analisi umana.
- Fornire suggerimenti o ipotesi da approfondire con metodi tradizionali.
Tuttavia, è chiaro che le reti neurali non possono ancora sostituire il lavoro degli storici, soprattutto quando si tratta di interpretare eventi complessi o di contestualizzare fatti in modo accurato.
Conclusioni
Lo studio presentato alla conferenza NeurIPS evidenzia sia i limiti che le opportunità delle reti neurali nel campo della storia. Mentre questi modelli sono in grado di memorizzare e recuperare una vasta quantità di informazioni, la loro capacità di comprendere il contesto storico rimane ancora lontana da quella umana. Ciò nonostante, con ulteriori miglioramenti e un addestramento più mirato, le reti neurali potrebbero diventare strumenti preziosi per gli storici, aprendo nuove frontiere nella ricerca e nell’analisi del passato.
Ti potrebbe interessare:
Segui guruhitech su:
- Google News: bit.ly/gurugooglenews
- Instagram: instagram.com/guruhitech_official
- Telegram: t.me/guruhitech
- Facebook: facebook.com/guruhitechweb
- Twitter: twitter.com/guruhitech1
- Threads: threads.net/@guruhitech_official
- Bluesky: bsky.app/profile/guruhitech.bsky.social
- GETTR: gettr.com/user/guruhitech
- Rumble: rumble.com/user/guruhitech
- VKontakte: vk.com/guruhitech
- MeWe: mewe.com/i/guruhitech
- Skype: live:.cid.d4cf3836b772da8a
- WhatsApp: bit.ly/whatsappguruhitech
Esprimi il tuo parere!
Che ne pensi di questa notizia? Lascia un commento nell’apposita sezione che trovi più in basso e se ti va, iscriviti alla newsletter.
Per qualsiasi domanda, informazione o assistenza nel mondo della tecnologia, puoi inviare una email all’indirizzo [email protected].
Scopri di più da GuruHiTech
Abbonati per ricevere gli ultimi articoli inviati alla tua e-mail.