Definiëren van AI-systeemtaak en technische vereisten: NIST AI RMF Map 2.1
Het NIST AI Risk Management Framework (AI RMF) is ontworpen als een vrijwillig kader dat van toepassing is op elke organisatie die betrokken is bij het ontwerp, de ontwikkeling, de implementatie of het gebruik van kunstmatige intelligentiesystemen. Het is geen verplichte nalevingsvereiste zoals sommige regelgevingen dat wel zijn (bijvoorbeeld de EU AI Act). Het biedt echter zeer nuttige richtlijnen - zie het als een gids om uw organisatie te helpen ervoor te zorgen dat de voordelen van AI op verantwoorde wijze worden gerealiseerd.
Waar gaat Map 2.1 over?
Is de taak van uw AI-systeem duidelijk gedefinieerd? Vermijd deze veelvoorkomende valkuilen bij het afstemmen op NIST’s AI RMF 2.1:
- De definitie is te vaag
“Het systeem zal leren om de klanttevredenheid te verbeteren.” Hoe meet u de verbetering? Welke acties zal het AI-systeem ondernemen?
De AI zal leren om de wachttijden van klanten bij telefonische ondersteuning te verkorten door het belvolume te voorspellen, het verwachte type gesprek te analyseren en de planning van agenten te optimaliseren.
- De reikwijdte is te ambitieus
“Het systeem zal al onze klantenserviceproblemen oplossen.”
Echt?
- Aannames en beperkingen negeren (met betrekking tot de gegevens, omgeving of gebruikersgedrag)
Verborgen aannames kunnen leiden tot onverwachte storingen. Beperkingen zijn geen storingen.
Aannames:
- De medische geschiedenis en symptomen van de patiënt zijn nauwkeurig vastgelegd in het elektronisch patiëntendossier.
- De afbeeldingen die voor de diagnose worden gebruikt, zijn van voldoende kwaliteit en resolutie.
- De taal die wordt gebruikt in spam-e-mails zal voornamelijk de talen zijn waarop het filter is getraind. Beperking: Het systeem kan moeite hebben met vragen die een genuanceerd begrip van sarcasme of humor vereisen.
- Technische specificaties en vereisten zijn niet duidelijk gedefinieerd
De AI moet snel en nauwkeurig zijn. Het AI-aangedreven fraudedetectiesysteem moet een minimale F1-score van X behalen op een achtergehouden testdataset van ten minste Y transacties. Het systeem moet een transactievolume van maximaal Z transacties per seconde kunnen verwerken.
- Geen documentatie van ontwikkeling, testen, statistieken en prestaties
Het systeem is getraind op een grote dataset en uitgebreid getest. Het vertaalsysteem is ontwikkeld met behulp van X-architectuur. De trainingsgegevens bestonden uit parallelle teksten in het Engels en Spaans, afkomstig uit openbaar beschikbare datasets en ons interne corpus. We hebben de BLEU-score gebruikt als de primaire evaluatiemetriek. Het systeem behaalde een gemiddelde BLEU-score van 0,85 op de testset.
- Geen verwijzing naar uw op verantwoordelijkheid gebaseerde gegevensbeheerpraktijken
Onze organisatie houdt zich aan de OESO-privacybeginselen. We hebben de volgende gegevensbeheer- en beschermingspraktijken geïmplementeerd: …
- Geen afstemming van specificaties op doelen en doelstellingen
De technische specificaties voor het systeem omvatten realtime voorraadtracering met 99% nauwkeurigheid en geautomatiseerde bestelling op basis van vooraf gedefinieerde drempels en geoptimaliseerd voor kosten en levertijd. Deze specificaties ondersteunen direct de doelen van het verminderen van voorraadtekorten en het minimaliseren van verspilling door nauwkeurigere vraagvoorspelling, betere voorraadzichtbaarheid en geoptimaliseerde bestelprocessen mogelijk te maken.
Bekijk deze punten: door de taken van uw systeem duidelijk en nauwkeurig te definiëren, maakt u het gemakkelijker om voordelen en risico’s in kaart te brengen, wat het risicobeheer verbetert.
