Definiowanie zadania systemu AI i wymagań technicznych: NIST AI RMF Map 2.1

NIST AI Risk Management Framework (AI RMF) został zaprojektowany jako dobrowolne ramy mające zastosowanie do każdej organizacji zaangażowanej w projektowanie, rozwój, wdrażanie lub wykorzystanie systemów sztucznej inteligencji. Nie jest to obowiązkowy wymóg zgodności w taki sam sposób, jak niektóre przepisy (na przykład Ustawa o AI UE). Oferuje jednak bardzo przydatne wytyczne - pomyśl o nim jako o przewodniku, który pomoże Twojej organizacji zapewnić odpowiedzialne wykorzystanie korzyści płynących z AI.

Czego dotyczy Map 2.1?

Czy zadanie Twojego systemu AI jest jasno zdefiniowane? Unikaj tych typowych pułapek podczas dostosowywania się do NIST AI RMF 2.1:

1. Definicja jest zbyt ogólna

“System nauczy się poprawiać satysfakcję klienta.” Jak zmierzysz poprawę? Jakie działania podejmie system AI?

AI nauczy się skracać czas oczekiwania klientów na wsparcie telefoniczne, przewidując wolumen połączeń, analizując oczekiwany typ połączenia i optymalizując harmonogram agentów.

2. Zakres jest zbyt ambitny

“System rozwiąże wszystkie nasze problemy z obsługą klienta.”

Naprawdę?

3. Ignorowanie założeń i ograniczeń (związanych z danymi, środowiskiem lub zachowaniem użytkownika)

Ukryte założenia mogą prowadzić do nieoczekiwanych awarii. Ograniczenia nie są awariami.

Założenia:

• Historia medyczna i objawy pacjenta są dokładnie zapisane w elektronicznej dokumentacji medycznej.
• Obrazy używane do diagnozy mają wystarczającą jakość i rozdzielczość.
• Język używany w e-mailach spamowych będzie w przeważającej mierze językami, na których trenowano filtr. Ograniczenie: System może mieć trudności z pytaniami wymagającymi subtelnego zrozumienia sarkazmu lub humoru.

4. Specyfikacje techniczne i wymagania nie są jasno zdefiniowane

AI powinna być szybka i dokładna. System wykrywania oszustw oparty na AI musi osiągnąć minimalny wynik F1 wynoszący X na wydzielonym zbiorze danych testowych obejmującym co najmniej Y transakcji. System musi być w stanie obsłużyć wolumen transakcji do Z transakcji na sekundę.

5. Brak dokumentacji rozwoju, testowania, metryk i wydajności

System został przeszkolony na dużym zbiorze danych i gruntownie przetestowany. System tłumaczeniowy został opracowany przy użyciu architektury X. Dane szkoleniowe składały się z tekstów równoległych w języku angielskim i hiszpańskim, pochodzących z publicznie dostępnych zbiorów danych i naszego wewnętrznego korpusu. Jako podstawową metrykę oceny zastosowaliśmy wynik BLEU. System osiągnął średni wynik BLEU wynoszący 0,85 na zbiorze testowym.

6. Brak odniesienia do praktyk zarządzania danymi opartych na odpowiedzialności

Nasza organizacja przestrzega Zasad Prywatności OECD. Wdrożyliśmy następujące praktyki zarządzania danymi i ich ochrony: …

7. Brak zgodności specyfikacji z celami i zadaniami

Specyfikacje techniczne systemu obejmują śledzenie zapasów w czasie rzeczywistym z dokładnością 99% oraz automatyczne zamawianie na podstawie predefiniowanych progów i zoptymalizowane pod kątem kosztów i czasu dostawy. Te specyfikacje bezpośrednio wspierają cele zmniejszenia braków magazynowych i minimalizacji odpadów, umożliwiając dokładniejsze prognozowanie popytu, lepszą widoczność zapasów i zoptymalizowane procesy zamawiania.

Przejrzyj te punkty: jasno i wąsko definiując zadania swojego systemu, ułatwiasz mapowanie korzyści i ryzyk, co poprawia zarządzanie ryzykiem.