Dokumentacja i przejrzystość: NIST AI RMF Govern 1.4

NIST AI Risk Management Framework (AI RMF) został zaprojektowany jako dobrowolne ramy mające zastosowanie do każdej organizacji zaangażowanej w projektowanie, rozwój, wdrażanie lub wykorzystanie systemów sztucznej inteligencji. Nie jest to obowiązkowy wymóg zgodności w taki sam sposób, jak niektóre przepisy (na przykład Ustawa o AI UE). Oferuje jednak bardzo przydatne wytyczne - pomyśl o nim jako o przewodniku, który pomoże Twojej organizacji zapewnić odpowiedzialne wykorzystanie korzyści płynących z AI. Ten post kontynuuje serię publikacji omawiających NIST AI RMF - punkt po punkcie. Czym jest Govern 1.4? Govern 1.4 omawia korzyści płynące z ustanowienia procesu zarządzania ryzykiem poprzez przejrzyste polityki, procedury i inne kontrole (w oparciu o priorytety ryzyka Twojej organizacji).

Polityki i procedury dotyczące dokumentacji i przejrzystości przynoszą wiele korzyści:

Przejrzysta dokumentacja określa role osób i zespołów zaangażowanych w rozwój, wdrażanie i wykorzystanie AI, zapewniając, że wszyscy rozumieją swoje obowiązki. Skuteczna komunikacja sprzyja współpracy i zapobiega nieporozumieniom, prowadząc do płynniejszych przepływów pracy. Jasne role i obowiązki zwiększają odpowiedzialność, zapewniając, że osoby fizyczne ponoszą odpowiedzialność za swoje działania. Możesz śledzić decyzje i działania, co ułatwia identyfikację i rozwiązywanie problemów. Odpowiedzialność organizacji jest zwiększona: osoby fizyczne mogą ponosić odpowiedzialność za swoje działania. Dokumentacja może angażować interesariuszy w całym procesie rozwoju, budując poczucie własności. Co więcej, gdy interesariusze są zaangażowani i rozumieją produkt, są bardziej skłonni wspierać jego przyjęcie i wykorzystanie. Przejrzysta dokumentacja ułatwia replikację systemów AI, zapewniając spójność i niezawodność. Dobrze udokumentowane systemy są często bardziej niezawodne, ponieważ można je łatwo konserwować i aktualizować. Poprawia się wyjaśnialność modeli ML: łatwiej jest zrozumieć, w jaki sposób podejmują decyzje.

Jak widać, istnieją tu dwa główne aspekty: przejrzystość i odpowiedzialność, które są ze sobą bardzo ściśle powiązane. Aby umożliwić odpowiedzialność, Twoja organizacja musi być przejrzysta i wyjaśnić role i obowiązki osób zaangażowanych w projektowanie, rozwój, wdrażanie, ocenę i monitorowanie systemu AI odpowiednim interesariuszom. Na przykład samo umieszczenie informacji kontaktowych aktorów AI w dokumentacji produktu przynosi wiele korzyści:

Następnie jest dokumentacja związana z samymi modelami AI, a tutaj możesz udokumentować uzasadnienie biznesowe systemu AI, zakres i zastosowania, potencjalne ryzyka, dane szkoleniowe, metodologię algorytmiczną, wyniki testów i walidacji, plany wdrożenia i monitorowania, plany publicznego ujawnienia materiałów dotyczących zarządzania ryzykiem AI (np. wyniki audytu, dokumentacja modelu itp.). Dokumentacja modelu jest szczególnie interesującym aspektem, a linki do kilku świetnych zasobów zostawię w komentarzach. Na przykład musisz udokumentować zbiory danych użyte do szkolenia modelu (uzasadnienie kuracji, źródła danych i wiele więcej). Istnieje A Guide for Writing Data Statements for Natural Language Processing autorstwa Emily Bender, który pomaga nam raportować takie aspekty, jak informacje demograficzne dotyczące źródła danych językowych, demografia mówców i adnotatorów, odmiany językowe (np. zamiast mówić „angielski amerykański”, zaleca się podanie większej liczby szczegółów - powiedzmy „standardowy angielski amerykański” lub „północno-wschodni angielski amerykański”), wśród wielu innych. Model Cards for Model Reporting pomagają w tworzeniu kart modeli ze wszystkimi informacjami, w tym o tym, jak model został zbudowany, jakie założenia poczyniono podczas jego rozwoju, jakiego rodzaju zachowania modelu mogą doświadczać różne grupy populacji kulturowych, demograficznych lub fenotypowych oraz ocena tego, jak dobrze model działa w odniesieniu do tych grup.

Dokumentacja odgrywa kluczową rolę w zapewnieniu, że systemy AI są rozwijane i wdrażane w odpowiedzialny sposób. Dostarczając przejrzysty zapis rozwoju, testowania i wdrażania systemu, dokumentacja może pomóc w budowaniu zaufania do technologii AI.