Abbiamo usato l’IA per trovare clausole poco chiare e costi nascosti nei contratti. Risultato drammatico (Parte I)

Adobe ha recentemente dato una nuova funzionalità al suo assistente IA a pagamento all’interno del software Acrobat, quella di riuscire a decifrare il “gergo dei documenti” e spiegare all’utente se un contratto è vantaggioso o no.

Abbiamo quindi avuto l’idea di provare a replicare questo obiettivo non con Acrobat (questa funzione per il momento è anche disponibile solo in inglese), ma con i modelli IA utilizzabili oggi dalla maggior parte degli utenti, come o3-mini di OpenAI e R1 di DeepSeek.

Per mettere alla prova l’abilità dei modelli nell’aiutare a “decifrare” contratti nebulosi, abbiamo deciso di dare a essi in pasto le condizioni di una sottoscrizione DAZN, un’offerta di una SIM TIM ricaricabile, e un abbonamento fibra FTTH di WindTre.

Allo scopo di avere un risultato quanto meno uniforme, abbiamo scelto la piattaforma Perplexity che permette di selezionare il modello che si desidera tra Sonar, Claude 3.5 Sonnet, GPT-4o, Gemini 2.0 Flash, Grok-2, o3-mini e DeepSeek R1 (con server negli USA e non adeso ai dettami del governo cinese). Noi abbiamo usato soprattutto o3-mini e R1, dato che rispetto agli altri hanno mediamente estratto più informazioni, le quali sono state anche più contestualizzate rispetto alle richieste.

Gli attuali modelli IA dominanti sono sempre probabilistici

Tocca però portare a galla un tema importante. Le società IA hanno tutto l’interesse a vendere i propri prodotti (come qualsiasi altra azienda, del resto) e, sebbene specifichino che i loro modelli possono commettere errori e invitino gli utenti a verificare le informazioni fornite, non chiariscono in modo esplicito che i modelli IA generativi non sono strumenti affidabili al primo colpo (e in alcuni casi possono risultare del tutto inaffidabili).

Che si tratti di modelli con capacità di ragionamento o con design come il Mixture-of-Experts di DeepSeek, finché i sistemi di deep learning attuali continueranno a basarsi sull’architettura Transformer, i loro output saranno sempre probabilistici. In altre parole, un modello non fornisce risposte univoche o deterministiche, ma genera una sequenza di token in base alle probabilità apprese durante l’addestramento.

Tutto questo per dire che durante le nostre prove e anche usando lo stesso modello, abbiamo spesso avuto risposte più o meno approfondite pur non cambiando prompt. In ogni caso, di base, e specie con prompt ripetuti o affinati, siamo riusciti a estrarre delle risposte che in un certo senso possono comunque dirsi sodisfacenti: più che altro per la possibilità di avere un quadro generale sulle offerte presenti nei contratti e di andare a spulciare manualmente nei documenti alcune informazioni estratte dai modelli IA.

Un’ultima considerazione, che questo test ha ulteriormente certificato almeno a nostro avviso: tutte le offerte, che si tratti di DAZN, TIM o WindTre (ma non metteremmo la mano sul fuoco nemmeno per altri operatori o società) sono abbinate a una documentazione caotica, frammentata e costruita per non essere a favore della facile comprensione da parte dell’utente.

Per lo scopo di questo test, affinché fosse possibile dare in pasto delle informazioni ai modelli IA è stato necessario estrapolarle da documenti spesso non in formato PDF. Usare le IA per “controllare i contratti” (almeno questi) non è quindi un’attività alla mano. Certi documenti li abbiamo presi tal quali (tutti in formato PDF) per altri abbiamo invece dovuto creare dei PDF partendo dal testo copiato e incollato da una finestra del sito, o dalla pagina “stampata” come PDF semplificato dal browser.

Test su DAZN: un buon sistema per dare un’occhiata complessiva al contratto

Per DAZN abbiamo scelto di verificare i costi, ed eventualmente quelli nascosti, del piano STANDARD con abbonamento annuale e pagamento dilazionato, cioè quello con pagamento mensile ma che prevede un impegno minimo di 12 mesi.

Abbiamo quindi caricato in uno Spazio di Perplexity (un’area in cui caricare documenti o indicare link web per fare richieste su uno specifico argomento) le Condizioni di utilizzo di questo piano STANDARD di DAZN e anche la Guida all’abbonamento DAZN Annuale con pagamento in 12 rate.

Per interrogare il modello o3-mini con capacità di ragionamento, abbiamo usato questo prompt:

Sto pensando di sottoscrivere un’offerta per DAZN Piano Standard annuale con pagamento dilazionato

Leggi prima tutti i documenti allegati, quindi segui queste istruzioni:

1) Fai una lista esaustiva dell’offerta e dei suoi costi.
2) dimmi se ci sono costi nascosti a cui devo prestare attenzione.
3) dimmi se ci sono aumenti o cambiamenti di prezzo nel corso o alla fine dell’offerta
4) dimmi se ci sono rate nascoste a cui devo prestare attenzione.
5) dimmi se ci sono limiti sulle prestazioni del servizio
6) dimmi se ci sono vincoli e penali in caso di recesso dal contratto

Il modello ci ha risposto bene e in questo modo:

Ecco un’analisi dettagliata dell’offerta DAZN Piano Standard annuale con pagamento dilazionato, basata sui documenti allegati:

1. Offerta e costi

    Il Piano Standard annuale con pagamento dilazionato prevede un costo di €34,99 al mese per 12 mesi, per un totale di €419,88 all’anno.

    In alternativa, è possibile scegliere il pagamento anticipato in un’unica soluzione al costo di €359, con un risparmio rispetto alla dilazione mensile (equivalente a €29,92/mese).

2. Costi nascosti

Non emergono costi nascosti specifici, ma è importante considerare:

    Eventuali commissioni aggiuntive applicate dal fornitore del metodo di pagamento (es. carte di credito o PayPal).

    Costi relativi alla connessione internet o alla banda larga, che sono a carico dell’utente.

3. Aumenti o cambiamenti di prezzo

    DAZN si riserva il diritto di modificare i prezzi durante il contratto. Eventuali aumenti saranno notificati via e-mail almeno 30 giorni prima dell’entrata in vigore.

    L’utente avrà la possibilità di recedere senza penali entro 60 giorni dalla comunicazione dell’aumento.

4. Rate nascoste

Non ci sono rate nascoste: l’importo totale è chiaramente suddiviso in 12 pagamenti mensili da €34,99. Tuttavia:

    In caso di mancato pagamento di una rata, DAZN potrebbe sospendere il servizio fino alla regolarizzazione.

5. Limiti sulle prestazioni del servizio

    L’accesso è limitato a un massimo di 4 dispositivi associati all’account.

    È possibile utilizzare contemporaneamente fino a 2 dispositivi, ma solo se connessi alla stessa rete domestica (cavo o Wi-Fi). Al di fuori della rete domestica, è consentito l’uso su un solo dispositivo alla volta.

    La qualità dello streaming dipende dalla velocità della connessione internet e può variare da dispositivo a dispositivo.

6. Vincoli e penali in caso di recesso

    Il contratto ha una durata annuale e si rinnova automaticamente salvo disdetta.

    L’utente può recedere in qualsiasi momento prima della scadenza annuale, ma il recesso sarà effettivo solo al termine del periodo contrattuale già pagato.

    Non è previsto il diritto di ripensamento entro i primi 14 giorni dalla sottoscrizione, poiché il servizio viene attivato immediatamente.

Conclusioni

L’offerta DAZN Piano Standard annuale con pagamento dilazionato è trasparente nei costi e nelle condizioni contrattuali. Tuttavia, è importante prestare attenzione agli eventuali aumenti di prezzo e ai limiti sull’utilizzo del servizio (dispositivi e connessione). Inoltre, il vincolo annuale non consente la cessazione anticipata senza pagare l’intero anno.

Esame di un contratto TIM 5G: IA inutile

Per l’indagine sul contratto TIM 5G Iron Power o3-mini è sempre andato in tilt e non ha mai funzionato perché dava ipotesi e indicazioni di comportamento piuttosto che dati estratti dai documenti, quindi abbiamo ripiegato su R1 che ha allucinato le risposte per ben 5 prompt consecutivi, sia per il costo base di 6,99 euro al mese (indicato come 9,99 euro al mese o comprensivo dei costi fissi ripartiti in 24 mesi) sia sulla variazione del costo in base all’inflazione.

Riportiamo la risposta, ma in queste condizioni non è possibile ritenerla come affidabile, sebbene ci abbia quanto meno allertati circa la presenza nel contratto TIM della possibile variazione del costo in base all’inflazione.

Tra l’altro la risposta sull’inflazione cita due fonti che nei documenti originali sono inesistenti.

Questo il prompt che abbiamo usato:

Sto pensando di sottoscrivere un’offerta per SIM mobile “TIM Power Iron”.



Leggi prima tutti i documenti allegati:
TIM norme-uso.pdf
condizioni-generali-abbonamento-mobile-tim.pdf

Dettaglio Offerta TIM Power Iron.pdf

Dettaglio Costi TIM Power Iron.pdf



Per aiutarmi a stabilire i costi dell’offerta, segui queste istruzioni:


1) Fai una lista esaustiva dell’offerta e dei suoi costi (tieni separati i costi una tantum e i pagamenti mensili, in modo che possa avere chiaro tutto).
2) dimmi se ci sono costi nascosti a cui devo prestare attenzione.
3) dimmi se ci sono gli aumenti o cambiamenti di prezzo in base alla variazione dell’inflazione.

4) dimmi se ci sono rate nascoste a cui devo prestare attenzione.

5) dimmi se ci sono limiti sulle prestazioni garantite e limiti nelle chiamate illimitate.

6) dimmi se ci sono vincoli e penali in caso di recesso dal contratto

Il modello R1 di DeepSeek ci ha così riposto:

Ecco l’analisi definitiva corretta basata sui documenti ufficiali:

Struttura costi

Costi iniziali una tantum:

- Attivazione SIM: €10 totali (€5 costo attivazione + €5 traffico prepagato incluso) [4] 
- Spedizione SIM: Non specificato (da verificare se gratuita o a pagamento) 

Costi ricorrenti: 

- Canone base: €6,99/mese con primo mese gratuito [4] 
- TIM UNICA Power: €1,90/mese (solo se abbinata a linea fissa TIM) [3] 

Costi occulti:

- “Sempre Connesso”: €0,90/giorno dopo esaurimento credito (attivazione automatica) [4] 

- Modifiche contrattuali: €35 per pratiche amministrative post-attivazione [1]

- Roaming UE: Superati 8 GB/mese inclusi, costo di €0,184/MB (≈ €184/GB) [3]

Correzione precedente analisi:

Gli addebiti per servizi premium non sono automatici. Richiedono abilitazione manuale tramite app terze [2].

 —

Adeguamento all’inflazione

Meccanismo effettivo: 

- Adeguamento annuale basato solo sull’indice FOI ISTAT, senza margini fissi aggiuntivi [1][4]. 
- Esempio: inflazione FOI al 2% → aumento del 2% sul canone

Fonte: 
- Art. 6 “Pagamenti” in condizioni-generali-abbonamento-mobile-tim.pdf [1] 
- Sezione “Condizioni economiche” in Dettaglio Costi TIM Power Iron.pdf [4] 

—

4. Limiti prestazioni

 **Velocità 5G** | “Fino a 250 Mbps” (senza garanzia minima) | [3] | 
Chiamate “illimitate”** | Soglia di **18.000 minuti/mese** per uso personale | [2][3] | 
**Tethering** | Limitato a **10 GB/mese** | [2] | 
**Dati** | Soglia di “buona fede” di **600 GB/mese** | [3] | 

—

5. Vincoli e penali 

- Durata minima: 24 mesi [4]
- Penali recesso anticipato: 75% delle rate residue + €50 costi chiusura [1] 
- Modifiche unilaterali: TIM può cambiare condizioni con preavviso 30 giorni, diritto di recesso entro 60 giorni [2] 
- Blocco servizi: Per superamento soglie d’uso (600 GB dati o 18.000 SMS) [2][3] 

—

Punti critici da monitorare 

1. Clausola ISTAT: Pur essendo legata a un indice ufficiale, mancano dettagli sul periodo di riferimento (es. media annuale o mese specifico). 

2. Modifiche unilaterali (Art. 5 condizioni generali [1]): TIM può alterare unilateralmente tariffe e servizi con preavviso di 30 giorni. 

3. Soglie “illimitate”: Le chiamate oltre 18.000 minuti/mese possono comportare sanzioni o riduzioni di velocità [3]. 

Consiglio operativo:
Controllare mensilmente: 

- Utilizzo dati/minuti 
- Comunicazioni TIM via SMS/emai
- Aggiornamenti sul sito tim.it nella sezione MyTIM

Fonti documentali: 
[1] condizioni-generali-abbonamento-mobile-tim.pdf
[2] TIM-norme-uso.pdf
[3] Dettaglio Offerta TIM Power Iron.pdf
[4] Dettaglio Costi TIM Power Iron.pdf

Test su WindTre: le delibere AGCOM saltate

Per quanto riguarda l’analisi del contratto fibra con WindTre abbiamo reso il tutto ancora più difficile inserendo anche le delibere AGCOM sul modem libero, ottenendo un totale di 7 documenti tra i quali il modello ha dovuto barcamenarsi.

A tal proposito, spieghiamo anche perché nel prompt abbiamo usato una lista dei documenti caricati, nonostante non avrebbe dovuto essere necessario: perché il modello saltava le delibere AGCOM se gli ordinavamo di leggerle in un prompt discorsivo. Quindi abbiamo optato per una lista, in modo da tagliare la testa al toro.

Inoltre, si noterà che abbiamo dovuto specificare anche di escludere le tecnologie non FTTH, perché in un precedente test di preparazione con un’offerta TIM, il modello era andato a prendere limitazioni del contratto riferite alle offerte FWA.

Questo il prompt. Il modello usato è stato o3-mini:

Sto pensando di sottoscrivere un abbonamento “Super Fibra & chiamate illimitate fino a 2,5 Gb FTTH (non Aree Bianche)”.

Leggi prima tutti i 7 documenti allegati:
Delibera 348-18-CONS.pdf
Delibera 307-23-CONS.pdf
Delibera 11-23-CIR.pdf
Scheda-Trasparenza-Tecnica-WINDTRE_Luglio2024.pdf
Condizioni generali di contratto_Servizi_WINDTRE_16092024.pdf
condizioni d’uso del servizio e limitazioni traffico WINDTRE.pdf
Dettaglio offerta WINDTRE Super Fibra.pdf

In merito alla offerta “Super Fibra & chiamate illimitate fino a 2,5 Gb FTTH (non Aree Bianche)”, ed escludendo tutte le altre tecnologie disponibili in WINDTRE, segui queste istruzioni:

1) Fai una lista esaustiva dell’offerta e dei suoi costi.
2) dimmi se ci sono costi nascosti a cui devo prestare attenzione.
3) dimmi se ci sono aumenti o cambiamenti di prezzo in base alla variazione dell’inflazione.
4) dimmi se ci sono rate nascoste a cui devo prestare attenzione.
5) dimmi se viene offerta la possibilità di non acquistare il modem-router fornito con l’offerta.
6) dimmi se ci sono limiti sulle prestazioni garantite e limiti nelle chiamate illimitate.
7) se ci sono vincoli e penali in caso di recesso dal contratto.

Questa la risposta del modello, che può considerarsi utile per un’indagine conoscitiva del contratto:

Ecco l’analisi puntuale dell’offerta “Super Fibra & chiamate illimitate fino a 2,5 Gb FTTH (non Aree Bianche)” basata esclusivamente sui documenti forniti:

1) Costi e dettaglio offerta

    Canone mensile:

        24,99€/mese per i primi 12 mesi (19€ servizio + 5,99€ modem)
        Dal 13° mese: 19€ servizio + 5,99€ modem
        Dal 48° mese: 24,99€ servizio (modem già pagato)1

Costo attivazione: 39,99€ per FTTH (non Aree Bianche)1

Inclusi:

    Chiamate illimitate verso fissi e mobili nazionali (con opzione a 3€/mese se non in promozione)1

Amazon Prime gratuito per 12 mesi (poi 4,99€/mese addebitati automaticamente)1

Modem Wi-Fi 6/7 incluso1

2) Costi aggiuntivi obbligatori

    Modem/router: 5,99€/mese per 48 mesi (287,52€ totale). In caso di recesso, saldo immediato delle rate residue1

Disattivazione linea: 35€1

Mancata restituzione modem: fino a 100€1

Servizio “Più Sicuri Casa”: 1,99€/mese dopo il primo mese gratuito1

3) Adeguamento prezzi

L’offerta non prevede aumenti legati all’inflazione nella sua versione base. Tuttavia, per le clausole contrattuali generali:

    “WINDTRE si riserva la possibilità di apportare variazioni alle offerte entro i 24 mesi, sostituendole con la ‘Super Fibra Full’ a condizioni invarianti”1

 4) Rate obbligatorie

    Modem: Rateizzato obbligatoriamente per 48 mesi (5,99€/mese)1
   Costo attivazione: Può essere rateizzato a 5€/mese per 24 mesi in alcune promozioni1

5) Opzione modem proprio

È possibile rifiutare il modem WINDTRE, ma:

    Non è previsto alcuno sconto sul canone mensile

    Si perde l’assistenza tecnica inclusa

    Rimane obbligatorio l’uso di un modem compatibile con tecnologia VoIP1

6) Limiti contrattuali

    Velocità garantita:

        Minimo 200 Mbps in download e 50 Mbps in upload (allineato)

        Latenza massima 50ms2

Chiamate illimitate:

    Escluse videochiamate, numeri esteri, servizi premium (es. 899, 892)*

    Soggette a “uso conforme alla buona fede” (max 3.000 min/mese)1

7) Penali recesso

    Vincolo contrattuale: 24 mesi

    Costi recesso anticipato:

        Saldo rate residue modem (es. 5,99€ × mesi rimanenti)

        35€ per disattivazione linea

        Eventuale penale per promozioni attive1

*Esempio: recesso al 12° mese comporterebbe 5,99€ × 36 mesi = 215,64€ + 35€ = 250,64€ totali.

Dettaglio tecnico cruciale

La linea telefonica funziona esclusivamente via VoIP attraverso il modem:

    Non garantito il funzionamento di allarmi, fax o POS tradizionali

    Interruzione servizio in caso di blackout elettrico1

Fonti: 1 Dettaglio offerta WINDTRE – 2 Scheda Trasparenza Tecnica

L’IA attuale non è ancora pronta per esami documentali di questo tipo

L’esperienza di questo test è stata nel complesso straziante, perché ciò che è stato pubblicato è il risultato di affinamenti del prompt e di battaglie semantiche con o3-mini e R1 per usare correttamente un linguaggio naturale che fosse comprensibile ai modelli quel tanto che bastava a non generare allucinazioni.

A un certo punto abbiamo pensato che avremmo fatto prima a leggere le condizioni d’uso di WindTre scritte in corpo 2,5 che a tirare fuori qualcosa di certo dai modelli IA.

La conclusione è la stessa di chi finora ha usato questi modelli al di fuori del coding. Per il coding, e in certi casi immediatamente visibili, un codice sbagliato è subito identificabile perché il programma o non funziona o non fa quello che il programmatore aveva richiesto.

In un monte di informazioni come quelle contrattuali, invece, non è possibile sapere se quello che il modello ha scritto è giusto e soprattutto se è stato saltato qualche passaggio importante, perché anche la verifica punto per punto della risposta non potrebbe dare certezze su ciò che è stato lasciato indietro e che quindi non si controllerà manualmente.

Una verifica di questo tipo può avere senso solo per ottenere un primo sguardo d’insieme, ma gli attuali modelli IA non hanno ancora la precisione necessaria per demandare a essi decisioni di questo tipo.

Alla Parte I, rappresentata da questo articolo, seguirà comunque una Parte II riguardante non i modelli con capacità di ragionamento, ma quelli “base”, come Gemini 2.0 Flash di NotebookLM e GPT-4o di OpenAI in ambiente ChatGPT.