Commento un bel servizio di Geopop sui metodi che secondo gli esperti dei sistemi di modellizzazione dovrebbero consentire a un lettore di riconoscere a colpo d’occhio un testo generato da un’intelligenza artificiale, un testo ‘prompt-based’. Come ripeto da tempo, chi ha escogitato questi sistemi purtroppo, pur avendo indubbie competenze in fatto di tecnologia, manca di un altrettanto solido retroterra umanistico, e questo porta a un’illusione del controllo motivo di gran confusione nel mondo dei sistemi di modellizzazione. Vado a esporre le ragioni (quelle human based) per cui questi sistemi in realtà non funzionano e puoi ritrovarti un testo di Plutarco rifiutato da un tool di riconoscimento AI come se fosse scritto da un GPT. Analizziamo uno per uno i cosiddetti criteri di riconoscimento e ragioniamoci sopra insieme.

Il primo criterio spesso citato è l’alta ripetitività e la poca coerenza di un testo, ovvero l’intelligenza artificiale tende a ripetere frasi e concetti in modo esasperato ed eccessivo, senza avere una chiara comprensione del significato, mentre uno scrittore umano introduce nel testo variazioni per mantenere viva l’attenzione del lettore. Ora, spiace doverlo dire ma ridondanza, ripetitività e mancanza di coerenza non sono caratteristiche proprie della produzione testuale prompt based, dal momento che se ne discute fin dai tempi della Poetica di Aristotele.

Dovremmo forse ritornare alle Lezioni Americane di Calvino, o alla teoria degli Attanti di Greimas, per renderci conto che la scrittura umana può tendere naturalmente alla ridondanza: talvolta voluta e creativa, talvolta involontaria. Basterebbe ripercorrere un po’ di storia dell’editoria nel Novecento per rendersi conto di quanto il primo problema incontrato dagli editor nella scrittura umana sia proprio quello della ridondanza, della ripetitività e della coerenza interna. Quindi no, non è un criterio che consenta di riconoscere un testo prodotto da un’intelligenza artificiale.

Il secondo criterio di riconoscimento millantato dai teorici del controllo è quello delle imprecisioni nel contesto, le cosiddette ‘allucinazioni’: pur essendo impeccabili dal punto di vista grammaticale, molto spesso le frasi generate da un sistema di modellizzazione finiscono per non avere senso compiuto. Questo perché il sistema non comprende il significato di quello che scrive e associa i vocaboli secondo un criterio statistico, non deterministico. Ora, a parte il fatto che basterebbe parlare con qualche editor che abbia avuto sotto mano testi prodotti da sedicenti aspiranti scrittori negli anni ’80-90 per rendersi conto delle atrocità logicide che umanissime penne, di poveri narcisi senz’arte né parte, sono da sempre in grado di infilare nei loro manoscritti, ma questo sarebbe in fondo un problema secondario. Purtroppo, questo criterio di riconoscimento non funziona in quanto di solito, chi si serve di questi sistemi, parte da un’iterazione di diversi prompt, dai quali trae molto materiale che poi ripulisce da questi errori. Il lavoro post-generativo invalida il criterio.

La realtà dei fatti è che in tutti i sistemi si parla tutt’al più di percentuali di elementi AI, perché c’è quasi sempre un livello di editing umano in tutti i testi generati dalle intelligenze artificiali, prima della loro pubblicazione. Trovare quel tipo di incoerenza dunque non indica un testo prompt based, ma piuttosto un sedicente scrittore molto stupido, che non ha nemmeno riletto il testo prima di pubblicarlo.

Il terzo criterio tanto sbandierato è lo stile di scrittura assente: i testi prodotti dai sistemi di modellizzazione mancano del calore, delle sfumature che contraddistinguono il linguaggio umano, seguono delle regole che non personalizzano, semplicemente perché questi sistemi si rifanno a modelli predefiniti che rendono tutti i loro testi uniformi (l’effetto frullatore di cui ho già parlato altrove).

Bisognerebbe tornare indietro alle ‘regole’ di composizione di certi romanzi rosa che leggeva mia nonna in spiaggia negli anni ’50-60, e che tuttora vengono pubblicati. Veri sistemi di modellizzazione human based che dovevano servire ad assemblare storie tutte con la stessa lunghezza, lo stesso eloquio, identica misura delle frasi, tutto perfettamente asettico, in cui nessuna personalizzazione dello stile era consentita. Ogni elemento umano veniva già allora depennato.
Per non parlare poi della letteratura scientifica, che addirittura sacrifica la personalizzazione dello stile alla precisione del contenuto che vuol veicolare. Peccato, nemmeno questo sistema funziona. Dai a un sistema di riconoscimento 200 parole scritte da una docente universitaria in una dispensa del corso di sociologia, e otterrai un 75-80% di elementi AI rilevati. Quindi, non funziona.

L’ultimo macro-criterio è l’uso di una limitata varietà lessicale: questi sistemi tendono a usare gli stessi termini o blocchi di frase in modo ripetuto, cosa che non accade nei testi umani dove invece si ricerca la varietà linguistica. Si vede che chi ha messo a punto queste regolette non ha mai letto Herman Hesse, che già nel 1930 nei suoi racconti metteva in scena un editor suicida per il tracollo della varietà lessicale negli scritti del suo tempo. Lui che da giovane era stato un poeta e celebrava i grandi capolavori di Novalis e Hölderlin ora si ritrovava a correggere testi in cui si utilizzavano parole chiave semplici e ricorrenti, buone per tutte le occasioni.
No, spiace doverlo dire ma la mancanza di varietà lessicale non è un criterio che possa riconoscere uno scritto prompt based. Al contrario, tutti questi elementi sono rilevabili (e in che abbondanza!) nella maggior parte della produzione testuale umana pubblicata nei blog e nei social network degli ultimi 20 anni, sui quali questi sistemi sono stati addestrati.

Geopop a questo punto menziona i tools online per l’analisi testuale, che promettono di riconoscere gli elementi AI in qualsiasi testo. L’autore dell’articolo fa notare che a una verifica empirica nemmeno questi sistemi sembrano in grado di riconoscere davvero un articolo prodotto da un sistema di modellizzazione. Posso confermarlo personalmente, dato che persino in questo articolo quei sistemi rileverebbero fino al 70-80% di elementi prompt based. Ho provato personalmente a far analizzare un testo di Plutarco, dal trattato sulla Superstizione, e me lo ha classificato come 88% prompt based.

È insomma evidente come questi sistemi in realtà siano controintuitivi e possano funzionare solo entro dei framework di lavoro decontestualizzati, riprodotti in laboratorio. Nella realtà noi avremo sempre vari livelli di modellizzazione, presenti sia nei testi human based, sia in quelli prompt based, i quali non si presentano quasi mai in modo perfettamente puro, vale a dire così come usciti dalla macchina, ma sempre sottoposti a una qualche post-produzione.

Tutti i testi sono in qualche modo modellizzati, lo ripeto, dai tempi di Omero e Gilgamesh. Quel che dovremmo fare è piuttosto sviluppare un senso critico per distinguere un testo ben fatto, coerente con la sua funzione e il contesto per cui è pensato, da uno mal fatto, fuori luogo, privo di coerenza interna ed esterna. Sviluppare insomma quel senso critico letterario che non puoi farti sulle regolette del Bignami, ma devi formarti con un solido retroterra umanistico, quello che manca per l’appunto a molti esperti di intelligenza artificiale, quei cacciatori di androidi che continuano a ragionare in termini binari (acceso/spento, umano/non umano).