Sicurezza di un'applicazione con IA: cosa può vedere, cosa può fare, chi la controlla.
Un'applicazione con intelligenza artificiale (IA) legge documenti, consulta dati e a volte compie azioni. Più che dal modello, i rischi dipendono da tre cose che decide l'azienda: a quali dati il sistema può arrivare, cosa può fare da solo e chi lo controlla.
A quali dati può arrivare?
Il sistema non deve mostrare a una persona dati che quella persona non potrebbe consultare direttamente.
Questo controllo lo fa il codice dell'applicazione, non il modello: le istruzioni date al modello sono una parte della difesa, ma i controlli decisivi li applica il sistema.
Un documento, una pagina web o un messaggio possono contenere istruzioni nascoste, scritte per ingannare il sistema (in gergo, prompt injection). Per questo tutto ciò che il sistema legge va trattato come contenuto non affidabile, mai come un ordine.
Cosa può fare da solo?
Se il sistema può compiere azioni, come inviare un messaggio, modificare un dato o avviare un ordine, per ognuna definisco cosa può fare e con quali permessi: il minimo necessario. Così una richiesta sbagliata o ostile fa meno danni.
- Controllare a chi o a che cosa è diretta l'azione, prima di eseguirla.
- Chiedere la conferma di una persona per le operazioni importanti.
- Mettere limiti a tentativi, durata e spesa, con un punto in cui fermarsi.
- Registrare le azioni, con attenzione ai dati sensibili, per poter ricostruire che cosa è successo.
Un sistema capace di usare più strumenti non deve ricevere per questo più autorità.
Chi controlla, e cosa succede quando sbaglia?
Alle prove di funzionamento affianco prove ostili: richieste costruite per ingannare, tentativi di accedere a dati altrui, contenuti che cercano di deviare il sistema. Controllo soprattutto che i limiti reggano quando il modello sbaglia.
Ogni modifica a modello, dati o istruzioni richiede nuove prove. Chi sorveglia il servizio, chi riceve le segnalazioni e come si risponde a un incidente va deciso prima del rilascio. È un lavoro continuo, commisurato alle conseguenze degli errori.
In casa o da un fornitore: nessuna delle due è sicura per definizione
Un modello eseguito in azienda non è sicuro solo perché è in casa: richiede manutenzione, aggiornamenti e controllo degli accessi. Un servizio esterno non è sicuro solo perché è di un grande fornitore. Conta la configurazione concreta: da dove viene il modello e in che versione, quali componenti usa, chi vi accede e che percorso fanno i dati.
Perché le protezioni vanno riviste nel tempo
La valutazione NIST del settembre 2026 su GLM-5.3 mostra capacità avanzate di attacco informatico in un modello liberamente scaricabile, ancora inferiori a quelle dei migliori modelli statunitensi nei test aggregati. Segnala che queste capacità si diffondono, non quanti attacchi avvengano davvero.
La conseguenza che ne ricavo è rivedere periodicamente da chi ci si deve difendere: chi può attaccare il sistema, con quali strumenti, quali dati o funzioni può raggiungere e quale danno può provocare. Per un servizio raggiungibile da Internet considero quindi ancora più importanti le pratiche di sempre: correggere le vulnerabilità, aggiornare i componenti, proteggere le credenziali. Gli stessi strumenti IA possono aiutare anche chi difende, ma le loro segnalazioni vanno verificate.
Fonti a supporto
Le valutazioni cyber descrivono i modelli e i test citati. I riferimenti OWASP sostengono i rischi applicativi; le scelte operative vanno adattate al sistema concreto.
- NIST CAISI — GLM-5.3 (si apre in una nuova scheda): capacità cyber e limiti del confronto con la frontiera.
- Anthropic — diffusione delle capacità cyber (si apre in una nuova scheda): valutazioni di exploit e salvaguardie in ambienti di prova.
- OWASP — Prompt Injection (si apre in una nuova scheda): rischi di istruzioni ostili nei contenuti elaborati dal modello.
- OWASP — Excessive Agency (si apre in una nuova scheda): azioni, permessi e autonomia eccessivi nei sistemi con strumenti.