Quasi un anno fa, il 7 gennaio 2023 per la precisione, spinta dalla curiosità verso il più famoso (ormai) tra i software di intelligenza artificiale generativa, cioè ChatGPT (del quale in buona parte della mia bolla social non archeologica parlavano tutti), ho pensato di interrogare proprio chatGPT su argomenti di archeologia. L’esito di quell’esperimento era stato interessante, ma aveva rivelato delle falle nel sistema di approvvigionamento e di rielaborazione delle informazioni da parte degli algoritmi alla base dell’AI.
Qui vi lascio il link all’articolo per approfondire: https://generazionediarcheologi.com/2023/01/07/chatgpt-e-archeologia/
Sintetizzando, nel corso dei miei esperimenti avevo rilevato in particolare due criticità:
- il problema per l’algoritmo di pescare fonti verificate e che riportino contenuti corretti nella miriade di siti e pagine web indicizzate sui motori di ricerca
- il problema per l’algoritmo di dover confezionare un nuovo testo a partire da quelli consultati per elaborare la sua risposta di fatto inventando laddove non trova sufficienti informazioni
Da queste due criticità deriva la conseguenza: testi superficiali e con evidenti imprecisioni. Sembra di assistere all’interrogazione a scuola di un alunno che ha studiato poco e male, ma che prova ugualmente a dare la risposta. Si fa il tifo per lui, ma il giudizio, alla fine, è inequivocabile.
Ho replicato quell’esperimento di gennaio 2023 quest’estate, quindi 6 mesi dopo, per vedere se nel frattempo ChatGPT avesse acquisito nuove fonti da cui trarre informazioni e avesse acquisito nuove skills per non commettere errori d’invenzione. E niente, ponendo le stesse domande di gennaio ho ricevuto le stesse risposte.
A quel punto ho detto “Caro (cara?) ChatGPT, per te con me finisce qui“.
Peccato che però non tutti gli autori di testi per il web siano d’accordo con me. ChatGPT oggi è molto usato dai copywriter, cioè gli autori per il web, perché in un’epoca in cui bisogna produrre contenuti di qualsiasi tipo su qualunque argomento in pochissimo tempo, se già prima cercavano su Google le informazioni base, mettendole insieme alla bell’e meglio, ma comunque dovendo perdere tempo per confezionare il testo per non scadere nel copia-incolla, ora hanno trovato la gallina dalle uova d’oro: demandano direttamente a ChatGPT che confeziona un testo dal punto di vista grammaticale perfetto (forse… vedremo tra poco), e che, il copywriter suppone, scriverà un testo corretto perché avrà attinto dalle fonti sul web tutte le informazioni utili. Ma ChatGPT rimane ancora con quelle due pecche di fondo che richiamavo prima: l’incapacità di capire quali siano le fonti corrette e la fallibilità nel rielaborare quelle informazioni per creare un testo nuovo.
ChatGPT oggi: applicazione pratica dell’algoritmo alla produzione di un testo informativo su un sito archeologico (Ostia antica, nello specifico)
Un esempio concreto: un articolo su Paesionline, nientemeno, la wikipedia italiana del turismo: chi non si è mai imbattuto in Paesionline facendo una ricerca su una meta turistica? Io spesso e volentieri. Così mi sono imbattuta in questo articolo:
Il titolo, che come al solito tira in ballo Pompei, doveva mettermi in allarme sin dall’inizio. Sul tema delle differenze tra Ostia e Pompei mi sono già spesa e non mi ripeterò.
Però questa volta Pompei è usato come termine di paragone sbagliato, quindi mi sono fatta indurre in errore. Ho pensato “eh, vabbè, è clickbait ma centra l’obiettivo“. E lì per lì non avevo letto la seconda parte del titolo. Quella che definisce Ostia come un villaggio imperiale. Una contraddizione in termini, insomma.
E allora comincio la lettura dell’articolo.
Non mi soffermo più di tanto sull’errore che vuole Ostia fondata nel VII secolo dal re Anco Marcio. Del resto è Tito Livio a dirlo, non suffragato dal dato archeologico, che invece ritarda la fondazione al IV secolo a.C. Ma vabbè, pazienza, è un errore romantico, dopotutto.
Ma poi continuo a leggere. E d’ora in avanti cito testualmente, perché l’analisi degli errori riportati è insieme spia e indizio del ricorso da parte dell’autrice del pezzo a ChatGPT (e sarà bene per lei che sia così, perché altrimenti vorrebbe dire che in comprensione del testo e capacità di sintesi il suo voto a scuola era 4 1/2)
La città raggiunse il suo apice sotto Costantino, ottenendo autonomia e prosperità. Tuttavia, con la caduta dell’Impero Romano, Ostia fu esposta alle invasioni barbariche, che portarono al suo abbandono. Le rovine furono sepolte e dimenticate fino al IX secolo, quando furono riemerse e riscoperte, specialmente nel XIX secolo, quando le ricerche archeologiche hanno rivelato la sua vera grandezza.
Analizziamo riga per riga. La città che raggiunse il suo apice sotto Costantino, ottenendo autonomia, non fu certo Ostia, ma casomai Portus, il grande porto di Roma imperiale, che fino al 310 d.C. è effettivamente amministrata da magistrati ostiensi, mentre grazie a Costantino, che trasforma il porto in civitas flavia costantianiana, ottiene l’autonomia amministrativa da Ostia e si rapporta direttamente con Roma. Questo, a dispetto dell’articolo di Paesionline, segna l’inizio del declino economico di Ostia, la quale da qui in avanti diventerà sempre meno città commerciale e d’affari e sempre più città scelta come buen retiro da aristocratici pater familias di rango senatorio che ancora agli esordi dell’età tardoantica applicano il concetto dell’otium lontano dal frastuono dell’Urbe, in una città che sempre più si svuota e che forse diventa come qualcuno dei borghi piacevoli dei nostri tempi, dove rifugiarsi, lontano dallo stress della città.
Quanto alle invasioni barbariche, Ostia non è interessata. Portus, di nuovo, casomai, essendo il porto di Roma, è assaltata prima dai Goti di Alarico nel 410 e poi dai Vandali di Genserico nel 455. Solo alla fine del V secolo – in concomitanza con la caduta dell’Impero Romano d’Occidente – Portus si cingerà di mura difensive. Ostia non fa niente di tutto questo. Perché semplicemente non ne vale più la pena.
La frase successiva è piuttosto di difficile lettura. “Le rovine furono sepolte e dimenticate fino al IX secolo“: uhm, ok e perché? Forse perché al IX secolo risale la fondazione di Gregoriopoli, il nucleo altomedievale dell’attuale borgo di Ostia antica? Lo penso io, ma non so se è questo ciò che pensa anche ChatGPT, autore generativo di questa inedita storia di Ostia.
La frase successiva è un insieme di nefandezze. Non sono una grammarnazi, ma quel “furono riemerse” a proposito delle “rovine (…) sepolte e dimenticate fino al IX secolo” grida vendetta al cospetto di Google, mentre quel “XIX secolo, quando le ricerche archeologiche hanno rivelato la sua vera grandezza” dimostra che ChatGPT non conosce né la breve, ma fortunata stagione di scavi diretti da Dante Vaglieri tra il 1909 e il 1913, né la ancor più fortunata e intensa stagione di scavi degli anni 1938-42, grazie alle quali – nel bene e nel male – è venuta in luce la città antica di Ostia per quanto la conosciamo oggi (con poche, ancorché significative scoperte successive).
Riconoscere un testo scritto con ChatGPT: è facile e scontato?
Come ho letto quelle frasi che vi ho riportato mi è salito subito un rigurgito: ma chi l’ha scritto, ChatGPT? Lì per lì la mia è stata una battuta, ma poi mi sono resa conto che c’era poco da scherzare. Troppe cose non mi tornavano, ma troppe non trovavano risposta: quel villaggio imperiale ma dove se l’è inventato l’AI? Mi è venuto in soccorso Alessandro Garrisi, che è nerd tanto quanto me nel perdere tempo in queste cose – ma si badi bene, non è tempo perso, è nuova conoscenza di sistemi che ci permeano sempre di più – il quale mi ha fatto notare che quel “villaggio imperiale” viene dalla ricezione della traduzione dalla pagina del Parco archeologico di Ostia antica (argh!) in cui si parla – ma a proposito di Portus, non di Ostia! – di village. La frase incriminata è la seguente: In 314 AD, since the harbour had become an important key point for Rome’s food supply, the harbour itself and the village born nearby were officially declared an independent city named ‘Portus Romae’
Ecco nello specifico l’analisi di Alessandro Garrisi, che non fa una piega e che riporto:
Il termine “villaggio” è troppo specifico. Per cui mi sono detto: se un bot ha composto il testo (poi magari rivisto da un essere umano) avrà attinto anche da contenuti in inglese. Per cui ho googlato “imperial village Ostia” e la fonte è incredibilmente la pagina del Parco che racconta dei porti di Claudio e Traiano, in lingua inglese. Ovviamente non si parla di Ostia, ma di Porto. Ma questo potrebbe non essere stato chiaro all’IA. Peraltro quel termine, “villaggio”, sulla stessa pagina in italiano non c’è, si parla di “centro” e di “insediamento”. Quindi la fonte per me è inglese. Il che a mio avviso chiude il cerchio col bot, dato che dubito che un giornalista italiano vada a prendersi come fonte la pagina in inglese del parco… Che ne pensi?
Eh, ne penso che hai ragione e che quello che per me era un sospetto ora diventa una certezza. O quasi. Perché ecco che su instagram si erge una voce fuori dal coro. Si tratta di Paola Bertoni, mia amica travelblogger, founder delle Travel Blogger Italiane la quale senza mezzi termini mi scrive così:
In base alla mia esperienza ChatGPT scrive meglio di molti copywriter, non è detto che sia stato per forza scritto da AI, anzi mi pare scritto così male con keyword stuffing che è probabilmente scritto da un umano, un computer non potrebbe fare errori simili 😂
Insomma, Paola pone un ulteriore elemento di complessità: ovvero mi dice che la scrittura in italiano scorretto (quel “furono riemerse” di cui sopra) non è propria di ChatGPT che ha come fondamento, nel momento in cui è progettata per redigere testi, quello di conoscere alla perfezione, e quindi di applicare, la grammatica italiana. Paola suggerisce che sia, quindi, il frutto di una copywriter in carne e ossa. La quale dovrebbe forse rileggere quello che scrive prima di pubblicare. Il suo punto di vista non mi convince, gliel’ho detto in privato, ma è interessante perché mi apre lo sguardo su un mondo di copywriters che già usano ChatGPT per scrivere testi in breve tempo. Vorrei vedere però quanti di quei copywriters verificano e rileggono ciò che l’AI ha prodotto per loro.
Il pericolo – e la sfida – per l’immediato futuro è proprio questo: riuscire a capire quando un testo è scritto da una testa pensante, che verifica di propria mano le fonti, riconosce i contenuti degni di fede e sa distinguere l’autority di un autore e quando invece il testo è demandato totalmente all’AI, senza che l’autore umano – se così lo potremo ancora chiamare – verifichi un minimo le informazioni. D’altra parte è una contraddizione in termini verificare le informazioni contenute in un testo per la cui redazione si è demandato a terze parti.
Insomma, il tema è in divenire. Io per ora, per quanto riguarda la mia nicchia, rilevo molte problematiche. Non sono chiusa a prescindere all’AI e in generale a tecnologie sempre nuove a supporto della nostra esistenza, anche cognitiva. Purché, però, si tratti davvero di prodotti di elevatissimo livello. La mia paura, nel leggere testi di questo tipo, non curati grammaticamente, mal tradotti dall’inglese e inventati laddove manca la fonte, è che già ora ChatGPT e le sue sorelle stanno contribuendo all’impoverimento cognitivo e informativo galoppando che ci sta travolgendo in questi anni.
La cosa mi preoccupa: perché posso sgamare facilmente contenuti erronei di archeologia, ma se il tema diventa la medicina, l’alimentazione, la prevenzione, oppure – cambiando genere – i temi del risparmio, dell’economia, della gestione familiare, ecco che siamo totalmente vulnerabili. O per lo meno, io sono totalmente vulnerabile e ingannabile.
Concludendo, l’AI ha un grandissimo potenziale. Però forse prima di rilasciarne versione beta nel world wide web avrei fatto ancora qualche decennio di sperimentazione, in modo da rilasciare una vera intelligenza artificiale, un vero Hal 9000. Che ci uccide lo stesso, ma con che stile lo fa.
Alla fine di questo mio sproloquio vorrei dire una cosa ai copywriters e produttori di contenuti nel settore turistico: avete una responsabilità nei confronti di chi vi legge, a maggior ragione se scrivete per portali di grandissima visibilità come Paesionline. Non si tratta solo di scrivere per mettere da parte du’ spicci, ma si tratta di fare informazione. Mettetevi nei panni di chi legge le cose scritte da voi consultando ChatGPT e scopre che non corrispondono a verità. Vi farebbe piacere? E allora, ben venga l’IA, ma perché sia uno strumento amico, non sostituto totale del nostro lavoro. Non è ancora arrivato il momento di farci sostituire totalmente dalle macchine.
Generazione di archeologi 
Lascia un commento