A segurança da IA hoje exige controle humano, identidade dos agentes e isolamento operacional. A Amazon demonstra que, com IA cada vez mais autônoma, as empresas devem reduzir os tempos de resposta para poucos segundos, rastrear cada ação dos agentes e aplicar sistemas de autorização humana para prevenir riscos e ataques.
Sumário
O novo paradigma da segurança em IA
Na HUMAN X Conference, Steve Schmidt explicou um ponto crucial: a segurança da IA não é mais uma questão teórica, mas operacional e urgente.
A evolução mais concreta é esta:
- os atacantes menos experientes tornam-se mais eficazes graças à AI
- os atores avançados escalam os ataques em múltiplas frentes simultaneamente
- o tempo de resposta passa de horas para minutos ou segundos
Em resumo: a IA acelera tudo — ataques, defesa, complexidade.
Isso significa que as empresas não podem mais confiar em modelos de segurança tradicionais.
Como a IA está mudando o threat landscape
O que isso realmente significa?
A IA democratiza as capacidades ofensivas.
Antes existia uma hierarquia clara:
- “script kiddies” com competências limitadas
- atores estatais altamente sofisticados
Hoje essa diferença se reduz.
Impacto concreto
- Ataques mais frequentes e em larga escala
- Maior superfície de ataque
- Necessidade de resposta quase em tempo real
A coisa mais importante é: não é apenas a qualidade dos ataques que está a aumentar, mas também a velocidade e a quantidade.
O duplo risco da segurança da IA
Pergunta: o que é mais perigoso?
Os ataques de IA ou o uso interno da IA?
Resposta: ambos
Segundo Schmidt, o risco é duplo:
- Atacantes mais poderosos graças à IA
- Novos riscos internos (shadow AI)
Muitos funcionários utilizam ferramentas de IA sem controle central, criando:
- acessos não monitorados
- exposição de dados sensíveis
- perda de governança
Este fenómeno é conhecido como shadow AI.
Identidade dos agentes: o fundamento da segurança AI
Definição chave
Um agente AI é uma entidade de software autónoma que atua em nome de um utilizador ou sistema.
A Amazon introduziu um conceito inovador:
atribuir uma identidade única aos agentes de IA
Por que é fundamental
- Rastreabilidade completa das ações
- Auditoria e forense
- Conformidade regulatória
Na prática:
“Este humano causou este agente a realizar esta ação sobre estes dados.”
Implicação estratégica
As empresas devem tratar os agentes como:
- usuários com privilégios
- sistemas auditáveis
- entidades regulamentadas
Containerização: controlar a IA em vez de confiar
Problema
Um agente AI com acesso completo ao sistema pode:
- ler todos os dados
- modificar infraestruturas
- causar danos críticos
Solução Amazon
Os agentes devem operar em ambientes isolados (container ou VM)
Como funciona
- cada ação que “sai” do container é rastreada
- as permissões são temporárias e limitadas
- os pedidos são validados por outros modelos
Em resumo
A segurança da IA moderna é baseada em isolamento + observabilidade.
Guardrail e risco de manipulação
O que são os guardrails?
Os guardrails são regras e restrições que orientam o comportamento dos agentes de IA.
O problema
Se comprometidos, podem:
- fazer o agente ultrapassar os limites
- causar ações prejudiciais
- tornar-se um vetor de ataque
👉 Esta é um novo tipo de superfície de ataque.
Insight estratégico
As empresas devem:
- proteger os guardrails como ativos críticos
- garantir integridade e não-manipulação
- validar continuamente o comportamento dos agentes
Human-in-the-loop: por que o controle humano continua central
Definição
Human-in-the-loop significa que um humano deve aprovar ações críticas executadas por sistemas de IA.
Caso Amazon
Sistema de autorização “contingent”:
- 2 pessoas devem aprovar operações sensíveis
- autenticação de hardware (FIDO2)
- bloqueio automático sem aprovação
Aplicação na IA
O mesmo princípio é aplicado aos agentes:
- checkpoints externos ao agente
- validação independente
- impossibilidade de auto-autorizar-se
A coisa mais importante é: a IA nunca deve ter controle total sobre decisões críticas.
Segurança de IA para startups: o que fazer imediatamente
Pergunta: por onde começar?
Resposta operacional
Segundo Schmidt, as prioridades são:
1. Inventário dos agentes
- quais agentes existem
- onde estão instalados
- o que fazem
2. Verificação dos dados
- onde residem
- quem os utiliza
- como são transferidos
3. Rotulagem de dados
- dados sensíveis vs não sensíveis
- classificação desde o início
Isso é fundamental porque:
etiquetar os dados posteriormente é extremamente caro
4. Isolamento dos agentes
- container ou VM
- acesso limitado
- auditabilidade
O verdadeiro erro a evitar
Muitas empresas pensam:
“Precisamos bloquear a IA”
Schmidt é claro:
esta abordagem está errada
A estratégia correta
- aceitar o uso da IA
- torná-lo visível
- controlá-lo
- governá-lo
Em resumo:
não pare a IA, mas torne-a segura.
Tendência futura: segurança em IA = feedback contínuo
Um insight chave emergido da HUMAN X Conference:
👉 a segurança não é mais “a posteriori”
Novo modelo
- feedback imediato
- validação em tempo real
- melhoria contínua
Cada ação torna-se:
- input para a segurança
- dados para o treinamento
- oportunidades de melhoria
Implicações estratégicas para as empresas
1. A segurança torna-se distribuída
Não é mais apenas tarefa do CISO:
- cada equipe deve ser responsável
2. A IA aumenta a complexidade operacional
Servir:
- visibilidade
- governança
- automação
3. O controle humano permanece central
Apesar da crescente autonomia:
- as decisões críticas devem permanecer humanas
FAQ – Segurança AI
1. O que é a segurança de IA?
A segurança da IA é o conjunto de práticas, tecnologias e processos que protegem sistemas baseados em inteligência artificial de abusos, ataques e erros operacionais.
2. Por que a IA aumenta os riscos de segurança?
Porque amplifica as capacidades dos atacantes, aumenta a velocidade dos ataques e introduz novos vetores internos como agentes autônomos e shadow AI.
3. Como se podem controlar os agentes de IA?
Através de:
- identidades únicas
- containerização
- auditoria das ações
- human-in-the-loop
4. Qual é a prioridade para as empresas hoje?
Compreender:
- quais agentes estão usando
- onde se encontram os dados
- quais acessos existem
5. As startups devem ter um CISO?
Não necessariamente. É mais importante que todos na empresa sejam responsáveis pela segurança, especialmente na gestão de dados sensíveis.
Conclusão
A segurança da IA não é mais opcional.
É um sistema que combina:
- tecnologia (container, identidade, auditoria)
- processos (autorizações, governança)
- cultura (responsabilidade distribuída)
👉 Isto significa que o futuro não é “IA vs humano”, mas:
IA sob controle humano.




