L’IA è davvero pronta per la ricerca? Un nuovo benchmark mette in discussione le sue capacità scientifiche
Per anni i progressi dell’intelligenza artificiale hanno alimentato l’idea che i modelli più avanzati fossero ormai vicini a supportare in modo efficace il lavoro dei ricercatori. Tuttavia, un nuovo studio sviluppato da OpenAI suggerisce uno scenario molto diverso. Attraverso il benchmark LifeSciBench, progettato per simulare condizioni di ricerca autentiche, è emerso che le moderne reti neurali incontrano ancora notevoli difficoltà quando devono affrontare problemi scientifici complessi e caratterizzati da forte incertezza.
A differenza dei tradizionali test utilizzati per misurare le prestazioni dell’IA, questa piattaforma di valutazione è stata costruita per riprodurre il più fedelmente possibile il lavoro quotidiano di scienziati, biotecnologi e ricercatori del settore farmaceutico. L’obiettivo era capire quanto i modelli siano realmente in grado di ragionare e operare in contesti simili a quelli del mondo reale.
Un test progettato per imitare la ricerca reale
La metodologia adottata è particolarmente rigorosa. I risultati vengono misurati attraverso il tasso di passaggio, una metrica che considera un compito superato soltanto quando viene soddisfatto almeno il 70% dei criteri previsti dalla valutazione. Questo approccio riduce il rischio di sovrastimare le capacità dei modelli sulla base di risposte parzialmente corrette.
LifeSciBench mette inoltre le IA davanti a situazioni caratterizzate da dati incompleti, ambigui o “sporchi”, una condizione molto comune nella ricerca scientifica. In questi contesti non basta individuare una risposta nel testo disponibile: è necessario interpretare informazioni, collegare elementi diversi e formulare conclusioni coerenti.
La suite di test comprende 750 quesiti sviluppati con la collaborazione di esperti provenienti dai settori della biotecnologia e dell’industria farmaceutica. Oltre la metà delle prove richiede l’analisi di materiali aggiuntivi come grafici, tabelle e documenti allegati, rendendo la valutazione molto più vicina alle attività svolte nei laboratori e nei centri di ricerca.
Leggi anche:
I risultati ottenuti dai principali modelli AI
I dati raccolti mostrano un quadro meno brillante rispetto a quello spesso raccontato dai benchmark tradizionali. Il modello migliore del test, GPT-Rosalind, è riuscito a completare con successo soltanto il 36,1% delle attività proposte. Le sue prestazioni sono risultate più solide nella formulazione delle conclusioni, mentre sono diminuite sensibilmente quando era necessario andare oltre le informazioni esplicitamente fornite nel problema.
- GPT-Rosalind: 36,1%
- GPT-5.5: 25,7%
- Gemini 3.1 Pro: 23,6%
- GROC 4.3: 13%
Un dato che ha attirato l’attenzione degli osservatori è l’assenza dei modelli Claude sviluppati da Anthropic, che non sono stati inclusi nella valutazione pubblicata.
La validazione degli esperti
Per garantire la credibilità dei risultati, il benchmark è stato sottoposto a una revisione indipendente. Ben 453 valutatori hanno analizzato le domande e le relative risposte. Il 97% dei revisori possedeva un dottorato di ricerca, assicurando un livello di competenza particolarmente elevato.
Secondo i dati diffusi dagli autori, il livello di accordo tra gli esperti ha superato il 96% nelle principali categorie considerate, tra cui realismo, coerenza scientifica, validità metodologica e utilità complessiva. Questo rafforza l’affidabilità del benchmark e suggerisce che i risultati ottenuti rappresentino una fotografia credibile dello stato attuale dell’intelligenza artificiale applicata alla ricerca.
In definitiva, il test evidenzia come le moderne IA siano strumenti sempre più potenti, ma ancora lontani dal sostituire completamente il ragionamento umano nelle attività scientifiche più complesse. La capacità di interpretare dati imperfetti, formulare ipotesi originali e muoversi in contesti ricchi di incertezza continua infatti a rappresentare una delle sfide più difficili per le tecnologie attuali.
Ti potrebbe interessare:
Segui guruhitech su:
- Google News: bit.ly/gurugooglenews
- Telegram: t.me/guruhitech
- Facebook: facebook.com/guruhitechfb
- Instagram: instagram.com/guruhitech_official/
- X (Twitter): x.com/guruhitech1
- Bluesky: bsky.app/profile/guruhitech.bsky.social
- Rumble: rumble.com/user/guruhitech
- VKontakte: vk.com/guruhitech
- MeWe: mewe.com/i/guruhitech
- Skype: live:.cid.d4cf3836b772da8a
- WhatsApp: bit.ly/whatsappguruhitech
Esprimi il tuo parere!
Che ne pensi di questa notizia? Lascia un commento nell’apposita sezione che trovi più in basso e se ti va, iscriviti alla newsletter.
Per qualsiasi domanda, informazione o assistenza nel mondo della tecnologia, puoi inviare una email all’indirizzo [email protected].
Scopri di più da GuruHiTech
Abbonati per ricevere gli ultimi articoli inviati alla tua e-mail.