Definizione del compito del sistema AI e dei requisiti tecnici: NIST AI RMF Map 2.1
Il NIST AI Risk Management Framework (AI RMF) è progettato come un quadro volontario applicabile a qualsiasi organizzazione coinvolta nella progettazione, sviluppo, implementazione o utilizzo di sistemi di intelligenza artificiale. Non è un requisito di conformità obbligatorio nello stesso modo in cui lo sono alcune normative (ad esempio, la legge sull’IA dell’UE). Tuttavia, offre linee guida molto utili: pensalo come una guida per aiutare la tua organizzazione a garantire che i benefici dell’IA siano realizzati in modo responsabile.
Di cosa tratta Map 2.1?
Il compito del tuo sistema AI è chiaramente definito? Evita queste comuni insidie quando ti allinei con l’AI RMF 2.1 di NIST:
- La definizione è troppo vaga
“Il sistema imparerà a migliorare la soddisfazione del cliente.” Come misurerai il miglioramento? Quali azioni intraprenderà il sistema AI?
L’IA imparerà a ridurre i tempi di attesa dei clienti al supporto telefonico prevedendo il volume delle chiamate, analizzando il tipo di chiamata previsto e ottimizzando la pianificazione degli agenti.
- L’ambito è troppo ambizioso
“Il sistema risolverà tutti i nostri problemi di servizio clienti.”
Davvero?
- Ignorare ipotesi e limitazioni (relative ai dati, all’ambiente o al comportamento dell’utente)
Le ipotesi nascoste possono portare a fallimenti imprevisti. Le limitazioni non sono fallimenti.
Ipotesi:
- La storia medica e i sintomi del paziente sono registrati accuratamente nella cartella clinica elettronica.
- Le immagini utilizzate per la diagnosi sono di qualità e risoluzione sufficienti.
- La lingua utilizzata nelle e-mail di spam sarà prevalentemente quella su cui è stato addestrato il filtro. Limitazione: Il sistema potrebbe avere difficoltà con domande che richiedono una comprensione sfumata del sarcasmo o dell’umorismo.
- Le specifiche e i requisiti tecnici non sono chiaramente definiti
L’IA dovrebbe essere veloce e precisa. Il sistema di rilevamento delle frodi basato sull’IA deve raggiungere un punteggio F1 minimo di X su un set di dati di test tenuto da parte di almeno Y transazioni. Il sistema deve essere in grado di gestire un volume di transazioni fino a Z transazioni al secondo.
- Nessuna documentazione di sviluppo, test, metriche e prestazioni
Il sistema è stato addestrato su un ampio set di dati e testato ampiamente. Il sistema di traduzione è stato sviluppato utilizzando l’architettura X. I dati di addestramento consistevano in testi paralleli in inglese e spagnolo, provenienti da set di dati disponibili pubblicamente e dal nostro corpus interno. Abbiamo utilizzato il punteggio BLEU come metrica di valutazione principale. Il sistema ha raggiunto un punteggio BLEU medio di 0,85 sul set di test.
- Nessun riferimento alle tue pratiche di gestione dei dati basate sulla responsabilità
La nostra organizzazione aderisce ai Principi sulla privacy dell’OCSE. Abbiamo implementato le seguenti pratiche di gestione e protezione dei dati: …
- Nessun allineamento delle specifiche con scopi e obiettivi
Le specifiche tecniche per il sistema includono il monitoraggio dell’inventario in tempo reale con una precisione del 99% e l’ordinazione automatizzata basata su soglie predefinite e ottimizzata per costi e tempi di consegna. Queste specifiche supportano direttamente gli obiettivi di riduzione delle rotture di stock e minimizzazione degli sprechi consentendo una previsione della domanda più accurata, una migliore visibilità dell’inventario e processi di ordinazione ottimizzati.
Rivedi questi punti: definendo chiaramente e in modo ristretto i compiti del tuo sistema, rendi più facile mappare benefici e rischi, il che migliora la gestione del rischio.
