Governar a IA

Este artigo ajuda você a estabelecer um processo organizacional para controlar a IA. Você usa essas diretrizes para integrar o gerenciamento de riscos de IA em suas estratégias mais amplas de gerenciamento de riscos, criando uma abordagem unificada para a IA, a segurança cibernética e a governança de privacidade. O processo segue o NIST Artificial Intelligence Risk Management Framework (AI RMF) e o NIST AI RMF Playbook. As orientações se alinham à estrutura no CAF Govern.

Avaliar os riscos organizacionais da IA

A avaliação de risco de IA identifica os riscos potenciais que as tecnologias de IA introduzem em sua organização. Essa avaliação cria confiança em sistemas de IA e reduz as consequências não intencionais. Você deve realizar avaliações completas de risco para garantir que as implantações de IA estejam alinhadas com os valores, a tolerância a riscos e as metas operacionais da sua organização. Veja como:

Entenda suas cargas de trabalho de IA. Cada carga de trabalho de IA apresenta riscos exclusivos com base em sua finalidade, escopo e implementação. Você deve esclarecer a função específica, as fontes de dados e os resultados pretendidos para cada carga de trabalho de IA para mapear os riscos associados efetivamente. Documente quaisquer suposições e limitações relacionadas a cada carga de trabalho de IA para estabelecer limites claros para avaliação de risco.

Use os princípios da IA responsável para identificar riscos. Os princípios de IA responsável fornecem uma estrutura estruturada para avaliação de risco abrangente. Você deve avaliar cada carga de trabalho de IA em relação a esses princípios para identificar possíveis vulnerabilidades e preocupações éticas. Use a tabela a seguir para orientar o processo de identificação de risco:

Princípio de uso responsável da IA	Definição	Pergunta de avaliação de risco
Privacidade e segurança da IA	As cargas de trabalho de IA devem ser seguras e respeitar a privacidade.	Como as cargas de trabalho de IA podem lidar com dados confidenciais ou se tornar vulneráveis às violações de segurança?
Confiabilidade e segurança	As cargas de trabalho de IA devem ter um desempenho seguro e confiável.	Em que situações as cargas de trabalho de IA podem deixar de operar com segurança ou produzir resultados não confiáveis?
Imparcialidade	As cargas de trabalho de IA devem tratar as pessoas de forma equitativa.	Como as cargas de trabalho de IA podem causar um tratamento desigual ou um viés não intencional na tomada de decisões?
Inclusão	As cargas de trabalho de IA devem ser inclusivas e capacitadoras.	Como é possível excluir ou desfavorecer certos grupos no design ou na implantação de cargas de trabalho de IA?
Transparência	As cargas de trabalho de IA devem ser compreensíveis.	Quais aspectos da tomada de decisão com IA podem ser difíceis para os usuários entenderem ou explicarem?
Responsabilidade	As pessoas devem ser responsáveis pelas cargas de trabalho de IA.	No desenvolvimento e uso da IA, onde a responsabilidade pode ser obscura ou difícil de estabelecer?

Identifique riscos específicos de IA. A identificação de risco requer uma avaliação sistemática das vulnerabilidades de segurança, operacionais e éticas. Você deve avaliar possíveis violações de dados, acesso não autorizado, manipulação de modelo e cenários de uso indevido para cada carga de trabalho de IA. Consulte as partes interessadas de diferentes departamentos para descobrir riscos que as equipes técnicas podem ignorar e avaliar impactos quantitativos (perdas financeiras, degradação de desempenho) e impactos qualitativos (danos à reputação, confiança do usuário) para determinar a tolerância a riscos da sua organização.
Identifique os riscos de dependências externas. As dependências externas introduzem vetores de risco adicionais que exigem uma avaliação cuidadosa. Você deve avaliar os riscos de fontes de dados de terceiros, modelos de IA, bibliotecas de software e integrações de API das quais suas cargas de trabalho de IA dependem. Resolva possíveis problemas, como vulnerabilidades de segurança, problemas de qualidade de dados, preconceito em conjuntos de dados externos, conflitos de propriedade intelectual e confiabilidade do fornecedor, estabelecendo políticas claras que garantem que as dependências externas se alinhem aos padrões de privacidade, segurança e conformidade organizacionais.
Avalie os riscos de integração. As cargas de trabalho de IA raramente operam isoladamente e criam novos riscos quando integradas aos sistemas existentes. Você deve avaliar como as cargas de trabalho de IA se conectam com aplicativos, bancos de dados e processos de negócios atuais para identificar possíveis pontos de falha. Documente riscos específicos que podem comprometer a funcionalidade geral do sistema, como:
- Cascatas de dependência em que a falha de IA afeta vários sistemas
- Maior complexidade do sistema que dificulta a solução de problemas
- Incompatibilidades de formato de dados
- Gargalos de desempenho
- Lacunas de segurança em pontos de integração

Documentar políticas de governança de IA

As políticas de governança de IA fornecem uma estrutura estruturada para uso responsável de IA em sua organização. Essas políticas alinham as atividades de IA com padrões éticos, requisitos regulatórios e objetivos de negócios. Você deve documentar políticas que resolvam os riscos de IA identificados com base na tolerância a riscos da sua organização. Aqui estão exemplos de política de governança de IA:

Área de política de governança de IA	Recomendações de políticas de governança de IA
Definir políticas para selecionar e integrar modelos	▪ Estabeleça políticas para selecionar modelos de IA. As políticas devem descrever os critérios para a escolha de modelos que atendam aos valores, capacidades e restrições de custo da organização. Revise os modelos potenciais para fins de alinhamento com a tolerância ao risco e os requisitos de tarefas desejados. ▪ Integre novos modelos com políticas estruturadas. Um processo formal de integração de modelos mantém a consistência ao justificar, validar e aprovar um modelo. Use ambientes de área restrita para experimentos iniciais, depois valide e revise modelos no catálogo de produção para evitar a duplicação.
Definir políticas para usar ferramentas e dados de terceiros	▪ Defina controles para ferramentas de terceiros. Um processo de verificação para ferramentas de terceiros é uma forma de proteção contra riscos a segurança, conformidade e alinhamento. As políticas devem incluir diretrizes sobre privacidade de dados, segurança e padrões éticos ao usar conjuntos de dados externos. ▪ Defina padrões de confidencialidade de dados. Manter dados confidenciais e públicos separados é essencial para atenuar os riscos de IA. Crie políticas sobre tratamento e separação de dados. ▪ Defina padrões de qualidade dos dados. Um "conjunto de dados de qualidade" traz uma referência confiável para teste e avaliação de modelos de IA. Estabeleça políticas claras de consistência e qualidade dos dados para garantir alto desempenho e resultados confiáveis.
Definir políticas para manter e monitorar modelos	▪ Especifique a frequência de retreinamento por caso de uso. A frequência de retreinamento ajuda na precisão das cargas de trabalho de IA de alto risco. Defina diretrizes que levem em conta o caso de uso e o nível de risco de cada modelo, especialmente para setores como saúde e finanças. ▪ Monitore a degradação do desempenho. O monitoramento do desempenho do modelo ao longo do tempo ajuda a detectar problemas antes que eles afetem os resultados. Documente benchmarks e, se o desempenho de um modelo diminuir, inicie um processo de retreinamento ou de revisão.
Definir políticas de conformidade regulatória	▪ Cumpra os requisitos legais regionais. Entender as leis regionais ajuda a manter as operações de IA em conformidade em todos os locais. Pesquise os regulamentos aplicáveis em cada área de implantação, como leis de privacidade de dados, padrões éticos e regulamentos do setor. ▪ Desenvolver políticas específicas para cada região. A adaptação das políticas de IA segundo as considerações regionais ajuda na conformidade com os padrões locais. As políticas podem incluir suporte a idiomas, protocolos de armazenamento de dados e adaptações culturais. ▪ Adapte a IA para a variabilidade regional. A flexibilidade nas cargas de trabalho de IA possibilita ajustes de funcionalidade específicos do local. Para operações globais, documente adaptações específicas da região, como dados de treinamento traduzidos e restrições de recursos.
Definir políticas de conduta do usuário	▪ Defina estratégias de atenuação de risco em caso de uso indevido. As políticas de prevenção de uso indevido ajudam a proteger contra danos intencionais ou não intencionais. Descreva possíveis cenários de uso indevido e incorpore controles, como funcionalidades restritas ou recursos de detecção de uso indevido. ▪ Defina diretrizes de conduta do usuário. Os contratos do usuário esclarecem comportamentos aceitáveis na interação com a carga de trabalho de IA, reduzindo o risco de uso indevido. Elabore termos de uso claros para comunicar padrões e apoiar a interação de uma IA responsável.
Definir políticas para integração e substituição de IA	▪ Descreva as políticas de integração. As diretrizes de integração garantem que as cargas de trabalho de IA mantenham a integridade e a segurança dos dados durante a interface com a carga de trabalho. Especifique requisitos técnicos, protocolos de compartilhamento de dados e medidas de segurança. ▪ Planeje a transição e a substituição. As políticas de transição fornecem estrutura ao substituir processos antigos por cargas de trabalho de IA. Descreva as etapas para eliminar gradualmente os processos legados, treinar a equipe e monitorar o desempenho durante a mudança.

Aplicar políticas de governança de IA

A imposição de suas políticas de governança de IA mantém práticas de IA consistentes e éticas em toda a sua organização. Você deve usar ferramentas automatizadas e intervenções manuais para garantir a adesão à política em todas as implantações de IA. Veja como:

Automatize a imposição de política sempre que possível. A implementação automatizada reduz o erro humano e garante uma aplicação consistente de políticas em todas as implementações de IA. A automação fornece monitoramento em tempo real e resposta imediata a violações de política, que os processos manuais não podem corresponder efetivamente. Use plataformas como Azure Policy e Microsoft Purview para impor políticas automaticamente em implantações de IA e avaliar regularmente áreas em que a automação pode melhorar a adesão à política.
Imponha manualmente políticas de IA em que a automação é insuficiente. A imposição manual aborda cenários complexos que exigem julgamento humano e fornecem treinamento essencial para a conscientização da política. A supervisão humana garante que as políticas se adaptem a situações exclusivas e mantém a compreensão organizacional dos princípios de governança de IA. Forneça treinamento de risco e conformidade de IA para os funcionários para garantir que eles entendam sua função na governança de IA, realizem workshops regulares para manter os funcionários atualizados sobre políticas de IA e realizem auditorias periódicas para monitorar a adesão e identificar áreas de melhoria.
Use diretrizes de governança específicas para a carga de trabalho na implementação direcionada. As diretrizes específicas da carga de trabalho abordam requisitos exclusivos de segurança e conformidade para diferentes padrões de implantação de IA. Essa abordagem garante que as políticas se alinhem à arquitetura técnica e ao perfil de risco de cada tipo de carga de trabalho de IA. Use diretrizes de segurança detalhadas disponíveis para cargas de trabalho de IA em paaS (serviços de plataforma) Azure e iaaS (infraestrutura de Azure) para controlar modelos de IA, recursos e dados dentro desses tipos de carga de trabalho.
- Controlar a IA do PaaS
- Controlar IA do IaaS

Monitorar os riscos organizacionais da IA

O monitoramento de risco identifica ameaças emergentes e garante que as cargas de trabalho de IA operem conforme o esperado. A avaliação contínua mantém a confiabilidade do sistema e evita impactos negativos. Você deve estabelecer um monitoramento sistemático para se adaptar às condições em evolução e resolver os riscos antes que eles afetem as operações. Veja como:

Estabeleça procedimentos para avaliação contínua de riscos. As avaliações regulares de risco fornecem detecção precoce de ameaças emergentes e degradação do sistema. Você deve criar processos de revisão estruturados que envolvam stakeholders de toda a sua organização para avaliar os impactos mais amplos da IA e manter a conscientização abrangente sobre riscos. Agende avaliações trimestrais de risco para cargas de trabalho de IA de alto risco e avaliações anuais para sistemas de menor risco e desenvolva planos de resposta que descrevem ações específicas para diferentes cenários de risco para habilitar a mitigação rápida quando surgirem problemas.
Desenvolva um plano de medida abrangente. Um plano de medida estruturado garante a coleta e a análise de dados consistentes em todas as cargas de trabalho de IA. Você deve definir métodos de coleta de dados claros que combinam o log automatizado para métricas operacionais com pesquisas e entrevistas para comentários qualitativos de usuários e stakeholders. Estabeleça a frequência de medição com base nos níveis de risco da carga de trabalho, concentrando os esforços de monitoramento em áreas de alto risco e crie loops de comentários que usam resultados de medição para refinar avaliações de risco e melhorar os processos de monitoramento.
Quantifique e qualifique os riscos de IA sistematicamente. A medida de risco balanceada requer métricas quantitativas e indicadores qualitativos que se alinham com a finalidade e o perfil de risco específicos de cada carga de trabalho. Você deve selecionar métricas quantitativas apropriadas, como taxas de erro, pontuações de precisão e parâmetros de desempenho, juntamente com indicadores qualitativos, incluindo comentários do usuário, preocupações éticas e satisfação dos stakeholders. Avaliar o desempenho em relação aos padrões do setor e aos requisitos regulatórios para acompanhar a confiabilidade, a eficácia e a conformidade da IA ao longo do tempo.
Documentar e relatar resultados de medição consistentemente. A documentação sistemática e os relatórios aprimoram a transparência e dão suporte à tomada de decisões informada em toda a sua organização. Você deve criar relatórios padronizados que resumem as principais métricas, descobertas significativas e quaisquer anomalias detectadas durante as atividades de monitoramento. Compartilhe esses insights com os stakeholders relevantes por meio de briefings regulares e use descobertas para refinar estratégias de mitigação de risco, atualizar políticas de governança e melhorar futuras implantações de IA.
Estabeleça processos de avaliação independentes. As revisões independentes fornecem avaliações objetivas que as equipes internas podem perder devido à familiaridade ou ao viés. Você deve implementar revisões independentes regulares usando auditores externos ou revisores internos não envolvidos que possam avaliar objetivamente os riscos de inteligência artificial e a conformidade. Use as descobertas de revisão para identificar pontos cegos em suas avaliações de risco, fortalecer as políticas de governança e validar a eficácia de suas abordagens de monitoramento atuais.

Próxima etapa

Gerenciar IA

Exemplo de atenuação de risco de uso da IA

A tabela a seguir lista alguns riscos comuns de uso da IA e elabora uma estratégia de atenuação e uma política de exemplo para cada um. A tabela não lista um conjunto completo de riscos.

ID do risco	Risco de uso da IA	Atenuação	Policy
R001	Falta de conformidade com as leis de proteção de dados	Use Gerenciador de Conformidade do Microsoft Purview para avaliar a conformidade dos dados.	O Ciclo de Vida de Desenvolvimento de Segurança deve ser implementado para garantir que todo o desenvolvimento e implantação de IA esteja em conformidade com as leis de proteção de dados.
R005	Falta de transparência na tomada de decisões sobre IA	Aplicar estrutura e linguagem padronizadas para melhorar a transparência nos processos de IA e na tomada de decisões.	A Estrutura de Gerenciamento de Riscos de IA do NIST deve ser adotada. Além disso, todos os modelos de IA devem ser completamente documentados para manter a transparência de todos os modelos de IA.
R006	Previsões imprecisas	Use Gerenciamento de API do Azure para acompanhar as métricas do modelo de IA para garantir a precisão e a confiabilidade.	O monitoramento contínuo do desempenho e o feedback humano devem ser usados para que as previsões do modelo de IA sejam precisas.
R007	Ataque adversário	Usar o PyRIT para testar cargas de trabalho de IA, procurar vulnerabilidades e fortalecer as defesas.	O Ciclo de Vida de Desenvolvimento de Segurança e os testes da equipe vermelha de IA devem ser usados para proteger cargas de trabalho de IA contra ataques adversários.
R008	Ameaças internas	Use Microsoft Entra ID para impor controles de acesso estritos baseados em funções e associações de grupo para limitar o acesso interno a dados confidenciais.	O gerenciamento rigoroso de identidade e acesso e o monitoramento contínuo devem ser usados para reduzir ameaças internas.
R009	Custos inesperados	Use Gerenciamento de Custos da Microsoft para controlar o uso de CPU, GPU, memória e armazenamento para garantir a utilização eficiente de recursos e evitar picos de custos.	O monitoramento e a otimização do uso de recursos e a detecção automatizada de custos excedentes devem ser usados para gerenciar custos inesperados.
R010	Subutilização de recursos de IA	Monitorar as métricas de serviço de IA, como taxas de solicitação e tempos de resposta, para otimizar o uso.	As métricas de desempenho e a escalabilidade automatizada devem ser usadas para otimizar a utilização de recursos de IA.

Comentários

Esta página foi útil?

Last updated on 2026-04-10