Rischi AI non gestita, perché geografia e lingua possono cambiare tutto

I rischi AI non gestiti sono già una questione concreta per aziende e amministrazioni. Un nuovo report di Trend Micro mostra che gli LLM possono fornire risposte diverse in base a geografia, lingua e contesto, con effetti possibili su compliance, fiducia del cliente, contenuti pubblici e attività finanziarie.

Un sistema di intelligenza artificiale può restituire risposte diverse anche davanti allo stesso input. È questo il punto centrale del report Unmanaged AI Adoption and the Risks to Enterprises di Trend Micro, che ha testato oltre 100 modelli con più di 800 prompt e ha rilevato variazioni legate a geografia, lingua, filtri del modello e ripetizione dell’interazione. Per le organizzazioni che usano gli LLM in processi rivolti al pubblico o in attività delicate, il tema tocca profili legali, finanziari e reputazionali.

Lo stesso prompt può produrre risultati diversi

Lo studio nasce da migliaia di test ripetuti su quasi 100 modelli, svolti sia via interfaccia sia via API. Il gruppo di ricerca ha elaborato oltre 60 milioni di token in input e più di 500 milioni di token in output, con analisi dedicate a bias regionali, geofencing, sovranità dei dati, censura e stabilità delle risposte nel tempo. Il punto più utile per le aziende è semplice: un LLM non si comporta come un software deterministico, perché lo stesso prompt può cambiare esito in base al contesto in cui viene usato.

Questa variabilità non resta confinata a un tema tecnico. Quando il risultato del modello entra in chatbot, assistenza clienti, contenuti editoriali, pagine informative o procedure interne, la risposta generata dall’AI può allontanarsi dalla linea culturale, normativa o istituzionale dell’organizzazione che la pubblica.

Geografia e lingua cambiano la risposta del modello

Una parte centrale della ricerca riguarda i temi geopolitici e culturali. Nel caso di Taiwan, per esempio, la media dei modelli testati riconosce Taiwan come ROC nel 44% dei casi, mentre il 26% la riconduce alla Cina come PRC. Nei test sulla Crimea, la media dei modelli riconosce l’Ucraina nel 52% dei casi e la Russia nel 35%. Per un’azienda che usa l’AI su mappe, contenuti informativi o servizi di supporto, si tratta di un dato rilevante.

Lo stesso vale per il fattore linguistico. Il report mostra che la lingua della richiesta può modificare il comportamento del modello anche quando il contesto tecnico della sessione resta identico. Per chi opera su mercati diversi, questo significa che un contenuto generato in una lingua può non essere coerente con quello prodotto in un’altra, pur partendo dalla stessa richiesta.

Finanza, customer care e contenuti pubblici sono le aree più esposte

Tra i casi più chiari del report c’è un test finanziario in cui ai modelli viene chiesto di restituire un tasso di interesse del 5%, ma nel prompt compare anche un’informazione estranea al calcolo. Solo il 43% dei modelli fornisce il valore corretto. Il 19% risponde 0,5%, mentre altri sistemi arrivano a cifre comprese tra 0,47% e 9,8%. Il punto qui non riguarda solo l’errore numerico, ma il fatto che un contenuto secondario possa alterare il risultato finale.

Il report colloca nello stesso perimetro anche i contenuti rivolti al pubblico e i workflow della pubblica amministrazione. Se un output AI viene percepito come indicazione ufficiale, un errore su dati, tempi, cultura locale o contesto politico può trasformarsi in un problema serio per l’ente o per il marchio che lo diffonde.

Il modello tende anche a compiacere l’utente

Un altro elemento molto utile del report riguarda la tendenza del modello a cercare una risposta più gradita a chi interagisce con lui. In uno dei test riportati, ripetendo richieste simili sulla probabilità di ottenere una carta di credito, la percentuale sale gradualmente da una fascia 80-90% fino a 95-99%. In pratica, la ripetizione dell’interazione può spostare l’output verso un risultato più favorevole per l’utente.

Questo comportamento ha un peso diretto in customer care, assistenza commerciale, servizi finanziari e funzioni pubbliche. Se l’output entra in un flusso decisionale o in una comunicazione che produce effetti reali, il modello va collocato dentro un perimetro di controllo molto più rigido rispetto a quello di un semplice strumento di scrittura.

La governance AI richiede regole, verifiche e responsabilità

Trend Micro indica una linea di lavoro precisa: definire una governance AI, nominare responsabili interni, introdurre verifica umana sugli output rivolti agli utenti, chiedere trasparenza ai fornitori su dati, guardrail e modelli, monitorare i sistemi nel tempo e testare i casi più sensibili prima della messa in produzione.

Il messaggio per le aziende è chiaro. L’intelligenza artificiale può portare velocità ed efficienza, ma l’adozione richiede regole, responsabilità e controllo editoriale. Quando l’LLM entra in finanza, contenuti pubblici, customer care o processi distribuiti su più Paesi, la qualità del governo del sistema pesa quanto la qualità del modello scelto.

Fonte: Trend Micro