Documentatie en transparantie: NIST AI RMF Govern 1.4

Het NIST AI Risk Management Framework (AI RMF) is ontworpen als een vrijwillig kader dat van toepassing is op elke organisatie die betrokken is bij het ontwerp, de ontwikkeling, de implementatie of het gebruik van kunstmatige intelligentiesystemen. Het is geen verplichte nalevingsvereiste zoals sommige regelgevingen dat wel zijn (bijvoorbeeld de EU AI Act). Het biedt echter zeer nuttige richtlijnen - zie het als een gids om uw organisatie te helpen ervoor te zorgen dat de voordelen van AI op verantwoorde wijze worden gerealiseerd. Dit bericht vervolgt een reeks publicaties waarin NIST AI RMF wordt besproken - item voor item. Wat is Govern 1.4? Govern 1.4 bespreekt de voordelen van het vaststellen van het risicobeheerproces door middel van transparant beleid, procedures en andere controles (op basis van de risicoprioriteiten van uw organisatie).

Beleid en procedures met betrekking tot documentatie en transparantie brengen veel voordelen met zich mee:

Duidelijke documentatie schetst de rollen van individuen en teams die betrokken zijn bij de ontwikkeling, implementatie en het gebruik van AI, zodat iedereen zijn verantwoordelijkheden begrijpt. Effectieve communicatie bevordert samenwerking en voorkomt misverstanden, wat leidt tot soepelere workflows. Duidelijke rollen en verantwoordelijkheden vergroten de verantwoording, zodat individuen verantwoordelijk worden gehouden voor hun acties. U kunt beslissingen en acties traceren, waardoor het gemakkelijker wordt om problemen te identificeren en aan te pakken. De verantwoording van een organisatie wordt vergroot: individuen kunnen verantwoordelijk worden gehouden voor hun acties. Documentatie kan belanghebbenden betrekken bij het hele ontwikkelingsproces, waardoor een gevoel van eigenaarschap wordt bevorderd. Bovendien, wanneer belanghebbenden betrokken zijn en het product begrijpen, is de kans groter dat ze de adoptie en het gebruik ervan ondersteunen. Duidelijke documentatie vergemakkelijkt de replicatie van AI-systemen, waardoor consistentie en betrouwbaarheid worden gegarandeerd. Goed gedocumenteerde systemen zijn vaak robuuster omdat ze gemakkelijk kunnen worden onderhouden en bijgewerkt. De uitlegbaarheid van ML-modellen wordt verbeterd: het is gemakkelijker te begrijpen hoe ze beslissingen nemen.

Zoals u kunt zien, zijn er hier twee hoofdaspecten: transparantie en verantwoording, die zeer nauw met elkaar verbonden zijn. Om verantwoording mogelijk te maken, moet uw organisatie transparant zijn en de rollen en verantwoordelijkheden van mensen die betrokken zijn bij het ontwerp, de ontwikkeling, de implementatie, de beoordeling en de monitoring van AI-systemen verduidelijken aan relevante belanghebbenden. Bijvoorbeeld, het simpelweg opnemen van contactgegevens van AI-actoren in productdocumentatie heeft veel voordelen:

Vervolgens is er documentatie met betrekking tot AI-modellen zelf, en hier kunt u de zakelijke rechtvaardiging van het AI-systeem, de reikwijdte en het gebruik, potentiële risico’s, trainingsgegevens, algoritmische methodologie, test- en validatieresultaten, implementatie- en monitoringplannen, plannen voor openbaarmaking van AI-risicobeheermaterialen (bijv. auditresultaten, modeldocumentatie enz.) documenteren. Modeldocumentatie is een bijzonder interessant aspect, en ik zal links naar enkele geweldige bronnen in de opmerkingen achterlaten. U moet bijvoorbeeld datasets documenteren die zijn gebruikt voor de modeltraining (curatieredenen, gegevensbronnen en nog veel meer). Er is A Guide for Writing Data Statements for Natural Language Processing van Emily Bender die ons helpt bij het rapporteren van aspecten zoals demografische informatie met betrekking tot een linguïstische gegevensbron, demografie van sprekers en annotators, taalvariëteiten (bijv. in plaats van te zeggen “Amerikaans Engels”, wordt aanbevolen om meer details te geven - zeg, “Gestandaardiseerd Amerikaans Engels” of “Noordoost-Amerikaans Engels”), naast vele andere. Model Cards for Model Reporting helpen bij het maken van modelkaarten met alle informatie, inclusief hoe een model is gebouwd, welke aannames zijn gedaan tijdens de ontwikkeling, welk type modelgedrag verschillende culturele, demografische of fenotypische bevolkingsgroepen kunnen ervaren, en een evaluatie van hoe goed het model presteert met betrekking tot die groepen.

Documentatie speelt een cruciale rol bij het waarborgen dat AI-systemen op een verantwoorde manier worden ontwikkeld en geïmplementeerd. Door een duidelijk verslag te geven van de ontwikkeling, het testen en de implementatie van het systeem, kan documentatie helpen om vertrouwen in AI-technologieën op te bouwen.