Ataque de inversão de modelo

Um ataque de inversão de modelo é um ataque à privacidade em aprendizado de máquina no qual um invasor usa as saídas de um modelo para inferir, reconstruir ou recuperar informações sensíveis sobre os dados usados ​​para treiná-lo. A Microsoft descreve isso como a recuperação de características privadas usadas em modelos de aprendizado de máquina, incluindo a reconstrução de dados de treinamento privados aos quais o invasor não tem acesso direto. A OWASP o descreve de forma semelhante como a engenharia reversa de um modelo para extrair informações dele.

Em termos mais simples, o atacante não necessariamente rouba o conjunto de dados original diretamente. Em vez disso, ele consulta o modelo e analisa suas respostas até conseguir descobrir algo sensível sobre as pessoas, os registros ou os dados de origem por trás dele. O guia Secure AI Model Ops da OWASP observa que a inversão e a extração de modelos podem permitir que os atacantes reconstruam os dados de treinamento por meio de consultas de inferência, e a taxonomia de aprendizado de máquina adversarial do NIST identifica a inversão de modelos como um risco reconhecido à privacidade em sistemas de aprendizado de máquina.

O que isso significa para as PMEs

Para pequenas e médias empresas, um ataque de inversão de modelo significa que um modelo de IA treinado com dados confidenciais de negócios, clientes ou funcionários pode revelar, sem intenção, partes desses dados. Isso é especialmente relevante quando os modelos são treinados com registros privados, como perfis de clientes, dados de RH, informações financeiras, informações médicas ou dados internos proprietários. As diretrizes de modelagem de ameaças da Microsoft listam especificamente a inversão de modelo como uma superfície de ataque de IA, e as diretrizes de privacidade de IA da IBM também abordam os ataques de inversão como uma forma de exposição de informações confidenciais por meio de sistemas de aprendizado de máquina.

Na prática, as PMEs devem compreender que:

• Utilizar dados privados para treinar um modelo pode expor a privacidade, mesmo que o conjunto de dados bruto nunca seja publicado.
• Sistemas de IA públicos ou amplamente acessíveis aumentam a oportunidade para que invasores sondem o comportamento do modelo.
• Dados sensíveis devem ser minimizados, protegidos e cuidadosamente gerenciados antes de serem usados ​​em ferramentas de IA ou ML.

O que isso significa para os MSPs

Para provedores de serviços gerenciados (MSPs), os ataques de inversão de modelo são importantes tanto para o uso de IA que eles próprios utilizam quanto para quaisquer sistemas de IA que implementem, gerenciem ou recomendem para seus clientes. Como os MSPs geralmente trabalham em diversos ambientes de clientes, uma implementação de IA vulnerável pode expor informações confidenciais de um ou mais clientes. A OWASP recomenda controles como limitar o acesso a modelos e previsões, enquanto as diretrizes de modelagem de ameaças de IA da Microsoft destacam o risco de recuperação de recursos privados a partir de modelos implementados.

Na prática, os MSPs devem:

• Tenha cautela ao treinar modelos com dados de clientes.
• Limitar a exposição desnecessária dos resultados do modelo e das informações de confiança.
• Analise os produtos de IA dos fornecedores quanto às medidas de privacidade e segurança.
• Considere a inversão de modelos como parte de esforços mais amplos de governança de IA, controle de acesso e proteção de dados.

Ponto final

Um ataque de inversão de modelo é uma tentativa de obter dados de treinamento sensíveis por meio da exploração de um modelo de IA ou de aprendizado de máquina. Para pequenas e médias empresas (PMEs), isso significa que informações privadas de negócios, clientes ou funcionários podem vazar indiretamente por meio de um modelo. Para provedores de serviços gerenciados (MSPs), significa que os sistemas de IA devem ser projetados, revisados ​​e gerenciados com cuidado para que os dados do cliente não sejam expostos pelos modelos que utilizam ou suportam.

Leitura Adicional:

O CyberHoot também oferece outros recursos. Abaixo, você encontra links para todos os nossos recursos. Sinta-se à vontade para consultá-los sempre que quiser:

• Blog
• Cybrary (Biblioteca Cibernética)
• Infográficos
• newsletters
• Comunicados de imprensa
• Artigos instrucionais (como fazer) – muito útil para nossos Super Administradores!

Proteja seu negócio com a CyberHoot hoje mesmo!