Documentação e transparência: NIST AI RMF Govern 1.4

O NIST AI Risk Management Framework (AI RMF) foi concebido como um quadro voluntário aplicável a qualquer organização envolvida na conceção, desenvolvimento, implementação ou utilização de sistemas de inteligência artificial. Não é um requisito de conformidade obrigatório da mesma forma que alguns regulamentos o são (por exemplo, a Lei de IA da UE). No entanto, oferece diretrizes muito úteis - pense nele como um guia para ajudar a sua organização a garantir que os benefícios da IA são realizados de forma responsável. Este post continua uma série de publicações que discutem o NIST AI RMF - item por item. O que é o Govern 1.4? O Govern 1.4 discute os benefícios de estabelecer o processo de gestão de risco através de políticas, procedimentos e outros controlos transparentes (com base nas prioridades de risco da sua organização).

Políticas e procedimentos relativos à documentação e transparência trazem muitos benefícios:

A documentação clara descreve os papéis dos indivíduos e equipas envolvidos no desenvolvimento, implementação e utilização da IA, garantindo que todos compreendem as suas responsabilidades. A comunicação eficaz fomenta a colaboração e previne mal-entendidos, levando a fluxos de trabalho mais suaves. Papéis e responsabilidades claros aumentam a responsabilização, garantindo que os indivíduos são responsabilizados pelas suas ações. Pode rastrear decisões e ações, facilitando a identificação e resolução de problemas. A responsabilização de uma organização é reforçada: os indivíduos podem ser responsabilizados pelas suas ações. A documentação pode envolver as partes interessadas ao longo do processo de desenvolvimento, fomentando um sentimento de pertença. Além disso, quando as partes interessadas estão envolvidas e compreendem o produto, é mais provável que apoiem a sua adoção e utilização. A documentação clara facilita a replicação de sistemas de IA, garantindo consistência e fiabilidade. Sistemas bem documentados são frequentemente mais robustos, pois podem ser facilmente mantidos e atualizados. A explicabilidade dos modelos de ML é melhorada: é mais fácil entender como tomam decisões.

Como pode ver, existem dois aspetos principais aqui: transparência e responsabilização, que estão muito intimamente ligados. Para permitir a responsabilização, a sua organização precisa de ser transparente e clarificar os papéis e responsabilidades das pessoas envolvidas na conceção, desenvolvimento, implementação, avaliação e monitorização do sistema de IA para as partes interessadas relevantes. Por exemplo, incluir simplesmente as informações de contacto dos atores de IA na documentação do produto tem muitos benefícios:

Depois, há a documentação relacionada com os próprios modelos de IA, e aqui pode documentar a justificação comercial do sistema de IA, âmbito e utilizações, riscos potenciais, dados de treino, metodologia algorítmica, resultados de testes e validação, planos de implementação e monitorização, planos para divulgação pública de materiais de gestão de risco de IA (por exemplo, resultados de auditoria, documentação do modelo, etc.). A documentação do modelo é um aspeto particularmente interessante, e deixarei links para alguns ótimos recursos nos comentários. Por exemplo, precisa de documentar os conjuntos de dados utilizados para o treino do modelo (justificação da curadoria, fontes de dados e muito mais). Existe um Guia para Escrever Declarações de Dados para Processamento de Linguagem Natural por Emily Bender que nos ajuda a reportar aspetos como informações demográficas relacionadas com uma fonte de dados linguísticos, demografia de falantes e anotadores, variedades linguísticas (por exemplo, em vez de dizer “Inglês Americano”, recomenda-se fornecer mais detalhes - digamos, “Inglês Americano Padronizado” ou “Inglês Americano do Nordeste”), entre muitos outros. Os Model Cards for Model Reporting auxiliam na criação de cartões de modelo com todas as informações, incluindo como um modelo foi construído, que suposições foram feitas durante o seu desenvolvimento, que tipo de comportamento do modelo diferentes grupos populacionais culturais, demográficos ou fenotípicos podem experienciar, e uma avaliação de quão bem o modelo funciona em relação a esses grupos.

A documentação desempenha um papel crítico na garantia de que os sistemas de IA são desenvolvidos e implementados de forma responsável. Ao fornecer um registo claro do desenvolvimento, teste e implementação do sistema, a documentação pode ajudar a construir confiança nas tecnologias de IA.