Luca Morelli
Software engineer e analista
Team lead

Sicurezza di un'applicazione con IA: cosa può vedere, cosa può fare, chi la controlla.

Un'applicazione con intelligenza artificiale (IA) legge documenti, consulta dati e a volte compie azioni. Più che dal modello, i rischi dipendono da tre cose che decide l'azienda: a quali dati il sistema può arrivare, cosa può fare da solo e chi lo controlla.

A quali dati può arrivare?

Il sistema non deve mostrare a una persona dati che quella persona non potrebbe consultare direttamente.

Questo controllo lo fa il codice dell'applicazione, non il modello: le istruzioni date al modello sono una parte della difesa, ma i controlli decisivi li applica il sistema.

Un documento, una pagina web o un messaggio possono contenere istruzioni nascoste, scritte per ingannare il sistema (in gergo, prompt injection). Per questo tutto ciò che il sistema legge va trattato come contenuto non affidabile, mai come un ordine.

Un errore concreto: la domanda letta male, in silenzio

Cosa può fare da solo?

Se il sistema può compiere azioni, come inviare un messaggio, modificare un dato o avviare un ordine, per ognuna definisco cosa può fare e con quali permessi: il minimo necessario. Così una richiesta sbagliata o ostile fa meno danni.

  • Controllare a chi o a che cosa è diretta l'azione, prima di eseguirla.
  • Chiedere la conferma di una persona per le operazioni importanti.
  • Mettere limiti a tentativi, durata e spesa, con un punto in cui fermarsi.
  • Registrare le azioni, con attenzione ai dati sensibili, per poter ricostruire che cosa è successo.

Un sistema capace di usare più strumenti non deve ricevere per questo più autorità.

Chi controlla, e cosa succede quando sbaglia?

Alle prove di funzionamento affianco prove ostili: richieste costruite per ingannare, tentativi di accedere a dati altrui, contenuti che cercano di deviare il sistema. Controllo soprattutto che i limiti reggano quando il modello sbaglia.

Ogni modifica a modello, dati o istruzioni richiede nuove prove. Chi sorveglia il servizio, chi riceve le segnalazioni e come si risponde a un incidente va deciso prima del rilascio. È un lavoro continuo, commisurato alle conseguenze degli errori.

La verifica del software sviluppato con agenti

In casa o da un fornitore: nessuna delle due è sicura per definizione

Un modello eseguito in azienda non è sicuro solo perché è in casa: richiede manutenzione, aggiornamenti e controllo degli accessi. Un servizio esterno non è sicuro solo perché è di un grande fornitore. Conta la configurazione concreta: da dove viene il modello e in che versione, quali componenti usa, chi vi accede e che percorso fanno i dati.

Dati e vincoli nella valutazione di fattibilità

Perché le protezioni vanno riviste nel tempo

La valutazione NIST del settembre 2026 su GLM-5.3 mostra capacità avanzate di attacco informatico in un modello liberamente scaricabile, ancora inferiori a quelle dei migliori modelli statunitensi nei test aggregati. Segnala che queste capacità si diffondono, non quanti attacchi avvengano davvero.

La conseguenza che ne ricavo è rivedere periodicamente da chi ci si deve difendere: chi può attaccare il sistema, con quali strumenti, quali dati o funzioni può raggiungere e quale danno può provocare. Per un servizio raggiungibile da Internet considero quindi ancora più importanti le pratiche di sempre: correggere le vulnerabilità, aggiornare i componenti, proteggere le credenziali. Gli stessi strumenti IA possono aiutare anche chi difende, ma le loro segnalazioni vanno verificate.

Il confronto tra modelli e i suoi limiti

Fonti a supporto

Le valutazioni cyber descrivono i modelli e i test citati. I riferimenti OWASP sostengono i rischi applicativi; le scelte operative vanno adattate al sistema concreto.

Ultimo aggiornamento dei contenuti:

State valutando i rischi di un'applicazione con IA?

Curriculum dettagliato e referenze su richiesta.