As empresas precisam ter um Conselho de Inteligência Artificial (IA)?

Uma pesquisa recente do Gartner com mais de 1.800 líderes revela que 55% das organizações possuem um Conselho de Inteligência Artificial (IA). Além disso, 54% das empresas têm um responsável por essa tecnologia ou um líder de IA para orquestrar as atividades.

“As descobertas mostram que as organizações estão divididas quanto à necessidade de um Conselho de IA".

A resposta é sim, as empresas precisam ter um Conselho de IA para transcender os desafios multidisciplinares, impulsionar o valor e reduzir os riscos. No entanto, a duração, escopo e os recursos são específicos do contexto e dependem do caso de uso (Download abaixo Gartner Report).

779868-emerging-tech-top-use-cases-for-generative-ai.pdf

Fazer download de PDF • 1.27MB

Para alguns, é uma medida temporária. Para outros, é uma mudança de longo prazo no seu modelo operacional”, destaca Frances Karamouzis, vice-presidente de pesquisa do Gartner.

Conselhos de IA devem ter regras claramente definidas que correspondam às funções de negócio

A responsabilidade pela Inteligência Artificial está dispersa. Além disso, algumas organizações são descentralizadas, isoladas ou não têm clareza sobre onde as iniciativas de IA devem se situar. Quando questionados sobre quem é responsável pelas iniciativas de IA, apenas um quarto dos respondentes indicou um papel claro.

“A composição do Conselho de IA deve ter representação de várias disciplinas e unidades de negócios. Cabe a cada organização determinar a melhor abordagem para impulsionar a velocidade e agilidade dentro de sua organização, garantindo que o conselho não se torne ingovernável e improdutivo devido à incapacidade de se reunir ou de alcançar consenso”, complementa.

Quando solicitados a identificar os três principais focos do mandato do conselho, 26% dos executivos identificaram a governança, e outros 21% indicaram que a estratégia deve ser um dos focos principais.

“A composição dos membros do conselho deve alinhar a experiência com o escopo do mandato”, disse Karamouzis. “Os membros do conselho devem ser executivos de nível sênior e experientes, com fortes habilidades em estratégia e execução, especialmente se tiverem ambições de GenAI”, ressalta.

Gestores/Auditores de IA são mais presentes nas organizações do que os CAIOs

Dos 54% dos executivos que indicaram que suas empresas tinham um responsável por Inteligência Artificial ou um auditor de IA, 88% disseram que seu líder/gestor de IA não possuía o título de Chief AI Officer (CAIO).

Os líderes de alto nível seguem as direções de seus conselhos de administração, e a maioria dos boards não deseja expandir para mais um C-Level. Apesar disso, os Conselhos querem um líder/gestor de IA responsável pela orquestração de IA.

A orquestração de IA, do ponto de vista da governança, é a transição de uma supervisão baseada em "papéis e verificações manuais" para um sistema dinâmico e escalável que garante a confiabilidade, a conformidade e a eficácia estratégica da IA em tempo real

“IA e GenAI são complexas e abrangentes, tocando todos os trabalhos, atividades e conversas estratégicas das empresas. No entanto, isso não significa que as pessoas ou as equipes responsáveis por orquestrar a IA nas empresas precisam ter um título ao nível de C-suite”, conclui.

Desafios de governança no uso de inteligência artificial pelas empresas

As inúmeras possibilidades de uso da inteligência artificial fazem com que a temática esteja presente em diversas pautas corporativas, e pesquisas recentes estimam que os investimentos em IA a nível global podem chegar a 200 bilhões de dólares até o final deste ano de 2025.

As organizações estão incorporando inteligência artificial em seus processos de forma acelerada e contínua. De acordo com uma pesquisa relacionada à adoção da inteligência artificial para negócios na América Latina, grandes empresas (+1.000 funcionários) aceleraram a implementação de IA em 67% nos últimos dois anos. Além disso, 45% das empresas já estão explorando a inteligência artificial generativa (GenAI).

Apesar do crescimento no uso de inteligência artificial, a falta de confiança continua sendo uma grande barreira para a adoção e implantação de IA generativa em larga escala.

Dois aspectos principais podemos observar:

(1) confiança na qualidade e confiabilidade da produção da GenAI.

(2) confiança dos trabalhadores de que a tecnologia tornará seus trabalhos mais fáceis sem substituí-los.

Estabelecer controles para governar a incorporação da inteligência artificial na empresa é um meio para gerar maior confiança entre os executivos dos negócios, investidores e colaboradores.

Tais controles são necessários para fortalecer um ambiente corporativo seguro e ético para adoção da IA, e devem ser estabelecidos observando sempre a consistência com as práticas já existentes da organização, a fim de ser um processo incremental, equilibrando a gestão de riscos com a inovação. As temáticas relacionadas à privacidade de dados, segurança, transparência e facilidade de compreensão dos modelos de inteligência artificial devem ser observadas na concepção dos controles para a governança da IA. De acordo com a pesquisa AI Adoption Index da IBM, os profissionais de TI das organizações pesquisadas que não exploram ou implementam GenAI relataram que preocupações com privacidade de dados (57%) e confiança e transparência (43%) são seus maiores inibidores.

Riscos relacionados à adoção da inteligência artificial

É natural que o surgimento de uma tecnologia disruptiva que entrega tantos resultados e evolui continuamente gere uma sensação de desconforto e/ou não-confiança das empresas à primeira vista. A inteligência artificial é considerada por alguns pesquisadores como uma tecnologia de propósito geral – ou seja, que muda a lógica de funcionamento da economia e da sociedade.

Semelhante às preparações de novos controles e adaptações de ambientes corporativos que foram necessárias para incorporação de tecnologias de big data, a implementação da IA também deve ser assistida e gerenciada por meio de uma série de ações a fim de mitigar os riscos que acompanham a adoção dessa tecnologia. Como forma de mitigar os riscos e orientar as empresas na adoção da IA, uma série de boas práticas e padrões globais sobre tecnologias e sistemas de inteligência artificial foram criados para garantir o comportamento ético, a transparência e usabilidade desses sistemas. A Organização para a Cooperação e Desenvolvimento Econômico (OCDE) estabeleceu princípios para uma inteligência artificial confiável, considerando crescimento inclusivo, centralização no ser humano, segurança e robustez, transparência, usabilidade e responsabilidade como pilares para serem observados na implementação da IA.

Já a temática com foco em ética na IA ganhou ainda mais força com a publicação das recomendações para um desenvolvimento ético feita pela Unesco. O Instituto Nacional de Padrões e Tecnologia dos Estados Unidos (NIST, na sigla em inglês) também publicou um guia sobre Gerenciamento de Risco em IA (AI RMF 1.0) download abaixo, com orientações sobre uma abordagem de implementação de IA priorizando o levantamento e endereçamento dos riscos em todo o ciclo de vida da IA.

nist.ai.100-1.pdf

Fazer download de PDF • 1.95MB

Mas, afinal, quais são os principais riscos que preocupam a todos conselheiros?

Essa resposta varia de acordo com o cenário de implementação da IA, a depender do objetivo do uso, do ambiente e dos dados necessários para a construção da solução. Contudo, existem riscos relacionados aos aspectos abaixo, como por exemplo, que são comuns e devem ser considerados no escopo da governança da IA:

Alinhamento estratégico

A implementação de IA não coordenada com as ações estratégicas, sistemas de valores e apetite de risco da empresa, leva a modelos ineficazes ou até mesmo maliciosos/antiéticos. As diretrizes devem ser claras e alinhadas com o plano estratégico das organizações.

Financeiro

Decisões e recomendações inadequadas e incorretas devido a modelos de IA inconsistentes resultam em perdas diretas, indiretas ou ameaças à organização, cliente e marca. A materialização desse risco pode levar a perdas financeiras e de reputação, além de desperdício de recursos.

Dados

A indisponibilidade de dados precisos, rotulados, relevantes e imparciais para desenvolver, treinar e implantar modelos que atendam aos propósitos pretendidos pode gerar modelos tendenciosos; O acesso não autorizado aos dados desintegra o alinhamento da solução com os objetivos de negócios;

A utilização dos dados de testes diferentes dos dados de produção podem resultar em modelos imprecisos e em salvaguardas inadequadas.

Tecnologia

A tecnologia escolhida para o desenvolvimento e implementação dos modelos de IA deve possibilitar a auditabilidade, escalabilidade e monitoramento do modelo;

Restrições tecnológicas limitam a auditabilidade e os logs de auditoria, dificultando a transparência;

A falta de monitoramento e loops de feedback atrasam as correções para discrepâncias do modelo;

Modelos não certificados expõem as organizações a riscos de resultados contendo copyright e linguagem antiética;

Pontos únicos de falha na implantação sem redundância e tecnologia inflexível limitam a escalabilidade à medida que a organização cresce.

LGPD

Não identificar, rotular, armazenar e proteger Informações de Identificação Pessoal (LGPD) pode resultar em violações de privacidade de dados, levando a reações reputacionais e repercussões regulatórias;

A falta de controles de acesso adequados para proteger infraestrutura, aplicativo, modelo e código subjacente pode expor a organização a ataques cibernéticos e vazamento de informações.

Pessoas

A falta de pessoas qualificadas em cada estágio do ciclo de vida da IA somada à falta de segregação clara de papéis e responsabilidades geram acúmulo de atividades e perda de qualidade do entregável;

A cultura de talentos da empresa pode ser impactada devido à implementação da IA, que pode levar ao ressentimento dos funcionários quando não há uma orientação e comunicação clara sobre o novo formato de trabalho – principalmente quando se trata da interação homem-máquina.

Regulatório

O não atendimento aos requisitos regulatórios e de conformidade geográficos ou setoriais com relação aos modelos de IA resultam em litígios e multas "UE AI ACT e PL 2338";

A falta de clareza sobre os regulamentos e suas mudanças em torno da privacidade e segurança de dados leva à criação de modelos ambíguos e penalidades financeiras.

Terceiros

O envolvimento de terceiros no ciclo de vida da implantação de IA pode levar à dependência tecnológica e perda de propriedade intelectual;

Termos vagos de contrato e controles inadequados desafiam o gerenciamento de risco da implementação.

Social

Decisões e recomendações incorretas, inconsistentes e tendenciosas feitas pelo modelo de IA podem ocasionar problemas como perda de empregos e exclusão de serviços, causando disparidade socioeconômica.

Governança da IA

Estabelecer uma estrutura de governança para o efetivo controle da IA é necessário para dar luz aos riscos associados e confiança ao processo de adoção de IA corporativa. As mudanças impulsionadas pela evolução exigem a reinvenção dos processos, mecanismos e controles operacionais de governança, adicionando algumas responsabilidades frente às três linhas de defesas:

Operações (1ª linha de defesa):

Incentivar testes de qualidade de modelos de IA usando melhores práticas como testes de estresse e testes contínuos para validar e monitorar performance e resultados;

Estabelecer limites (regras) e identificar os aspectos-chave para definir os parâmetros e refinar os processos de desenvolvimento de modelos de IA.

Compliance (2ª linha de defesa):

Revisar a documentação detalhada do modelo e ter visões gerais de alto nível de todos os modelos por meio do desenvolvimento de painéis dedicados à governança;

Estabelecer uma estratégia de risco de inteligência artificial, incluindo taxonomias de risco com visão de futuro, definindo o apetite de risco de IA, identificando KPIs e formulando estratégias de testes.

Auditoria (3ª linha de defesa):

Promover a transparência e a responsabilidade por meio do compartilhamento de resultados de modelos e pontos de atenção;

Estabelecer trilhas de auditoria, habilitando opções de aprovação e gerenciamento de feedback para modelos em implantação e gerando relatórios sobre soluções de IA.

As linhas de defesas devem promover em conjunto o equilíbrio entre a confiança na atribuição e a supervisão humana para gerenciar as implicações legais e de reputação para a empresa, os padrões para criar e manter documentação onipresente, disponível para todos os usuários e, por fim, uma cultura empresarial de aprendizagem e educação contínuas para estimular o uso responsável da IA.

Dessa forma, para um ambiente ético, seguro e controlado, é minimamente necessário que as temáticas abaixo sejam contempladas nos planos de ações de governança das empresas que já implementaram ou pretendem implementar a inteligência artificial em seus processos:

1 - Adoção de IA alinhada às ações estratégicas, considerando a incorporação da ferramenta em processos estratégicos com análise de riscos, impactos e estimativa de retorno de investimento; (Ver Plano de Adoção de IA da ALGOR Association)

2 - Criação de diretriz interna para definição de papéis e responsabilidades entre as áreas, determinação de frameworks que contemplem boas práticas para um desenvolvimento seguro, definição de parâmetros de qualidades, controles e salvaguardas necessários;

3 - Curadoria dos modelos de IA para monitorar resultados e parâmetros aplicados, com o objetivo de compreender a evolução da assertividade e realizar a manutenção para ajustar possíveis desvios;

4 - Auditoria dos resultados da inteligência artificial e do processo de desenvolvimento para garantir o cumprimento das diretrizes estabelecidas e mitigar os riscos associados.

Diante dos desafios éticos e dos potenciais impactos (materialização dos riscos) da IA, é necessário um compromisso das lideranças com a governança, garantindo que a inteligência artificial seja desenvolvida de forma responsável, protegendo os direitos, garantindo a usabilidade e a transparência, e promovendo um ambiente ético e seguro para toda a empresa.

Plano de Adoção e Aceleração de IA

Para alcançar uma governança assertiva sobre a inteligência artificial é preciso olhar além dos riscos, e considerar como a própria tecnologia pode apoiar nessa governança – identificando o método e as travas tecnológicas para isso. A ALGOR Association (www.algor.uk) desenvolveu um framework global de governança de IA, que apoia as organizações desenvolverem pilares de segurança e ética considerando sete dimensões diferentes. Trata-se de uma etapa fundamental para garantir uma gestão de riscos efetiva e potencializar os ganhos associados à IA. O "Plano de Adoção e Aceleração de IA™ une governança e conformidade regulatória ao longo do ciclo de vida da IA, desde a Otimização e Integração da IA Existente (Fortalecimento Fundamental) passando pela Expansão Estratégica e Escalabilidade (Pilotando Novas Fronteiras) até a Cultura AI-First e Inovação Contínua (Integração Profunda e Governança). Juntas, governança e conformidade, cultura e inovação são os meios pelos quais uma organização e seus stakeholders garantem que as implantações de IA sejam éticas e confiáveis.

ALGOR PLANO DE ADOÇÃO DE IA.pdf

Fazer download de PDF • 20.19MB

Enfim, qual a dificuldade em implementar um Conselho de IA?

A dificuldade dos conselheiros em se responsabilizar pela governança de IA é complexa e deriva de uma série de desafios interligados. Em essência, os conselhos de administração enfrentam um dilema: a intensa pressão para adotar a tecnologia rapidamente para permanecerem competitivos, ao mesmo tempo que lidam com lacunas de capacidade e riscos significativos.   

As principais razões para essa lacuna de responsabilidade incluem:

• Medo de ficar para trás: Uma pesquisa da EY revela que 99% dos CEOs estão investindo em IA Generativa, impulsionados pelo medo de perderem a vantagem competitiva. A urgência sentida pela alta administração e pelos conselheiros de "agir imediatamente" pode desviar a atenção da necessidade de uma governança cuidadosa.   

  
  

• Foco na estratégia em detrimento do risco: Embora a IA ofereça novas oportunidades estratégicas, ela também apresenta riscos operacionais e de reputação que precisam ser geridos. O papel do conselho é supervisionar como essas tecnologias afetam a estratégia corporativa e como os riscos são gerenciados, sem limitar a inovação. Esse equilíbrio pode ser difícil de atingir, com a inovação às vezes ofuscando a supervisão.

• Falta de conhecimento técnico: Para fornecer a supervisão adequada, os conselhos precisam entender o potencial e as limitações da tecnologia. No entanto, muitos conselheiros podem não ter um conhecimento básico de IA, o que os impede de fazer perguntas estratégicas e bem-informadas. O aprendizado contínuo é vital para que os conselheiros se mantenham relevantes, mas o ritmo acelerado da evolução da IA pode dificultar essa tarefa.   

  
  

• Ambiguidade na responsabilidade: Embora a governança de IA seja uma responsabilidade do conselho, a responsabilidade final muitas vezes recai sobre o CEO e a liderança sênior, que são os principais responsáveis por garantir que a organização aplique uma boa governança de IA ao longo de todo o ciclo de vida da tecnologia. Essa estrutura pode diluir a percepção de responsabilidade direta entre os membros do conselho.

Em um mundo de incertezas, o conselho do futuro se eleva de mero administrador de lucros a guardião da empresa e da sociedade, navegando as tempestades da mudança com a governança de IA como seu novo farol, guiado pela diligência, pela curiosidade e pela coragem..

Paulo Carvalho