Ataque de inferência de associação

Um ataque de inferência de associação é um ataque à privacidade em aprendizado de máquina no qual um atacante tenta determinar se os dados, registros ou exemplos de uma pessoa específica foram incluídos no conjunto de dados de treinamento de um modelo de IA ou ML. O NIST o define como um ataque à privacidade de dados usado para determinar se uma amostra de dados fez parte do conjunto de treinamento de um modelo. A OWASP também o considera um risco de segurança em aprendizado de máquina, pois um modelo pode, às vezes, revelar pistas sobre os dados com os quais foi treinado.

Isso é importante porque, mesmo que o atacante não consiga ver os dados de treinamento originais diretamente, descobrir que o registro de uma pessoa foi incluído ainda pode expor informações confidenciais. Por exemplo, isso poderia revelar que alguém fazia parte de um conjunto de dados médicos, financeiros, jurídicos ou internos da empresa. As diretrizes de risco de IA do NIST destacam a inferência de associação como um dos riscos de segurança e privacidade que as organizações devem levar em consideração em sistemas de IA.

O que isso significa para as PMEs

Para pequenas e médias empresas, um ataque de inferência de membros é um alerta de que o uso de ferramentas de IA ou modelos de aprendizado de máquina personalizados pode criar riscos à privacidade se dados sensíveis de clientes, funcionários ou da própria empresa forem usados ​​para treinamento. Mesmo que o modelo pareça inofensivo à primeira vista, ele pode vazar informações sobre quem ou o que estava presente nos dados de treinamento.

Na prática, as PMEs devem compreender que:

• Os dados de clientes ou funcionários usados ​​para treinar modelos de IA podem ser expostos indiretamente.
• Conjuntos de dados sensíveis, como registros de RH, saúde, financeiros ou de clientes, acarretam riscos adicionais.
• Ferramentas de IA de terceiros devem ser analisadas antes do carregamento de dados confidenciais.
• Os controles de privacidade e segurança são importantes mesmo quando o modelo não revela os registros brutos diretamente.

O que isso significa para os MSPs

Para provedores de serviços gerenciados (MSPs), ataques de inferência de associação são relevantes tanto internamente quanto em ambientes de clientes. Se um MSP cria, implementa, gerencia ou recomenda sistemas de IA treinados com dados confidenciais de clientes, existe o risco de que invasores testem se registros específicos foram incluídos nesse conjunto de treinamento. Como os MSPs geralmente atendem muitos clientes, práticas inadequadas de tratamento de dados de IA podem expor a privacidade de diversas organizações.

Na prática, os MSPs devem:

• Tenha cautela ao treinar modelos de IA com dados de clientes.
• Analise as práticas de privacidade e treinamento de modelos dos fornecedores.
• Limitar a exposição de conjuntos de dados sensíveis a sistemas de IA
• Utilize métodos de preservação da privacidade, como minimização de dados e privacidade diferencial, quando apropriado.
• Monitorar sistemas de IA como parte de esforços mais amplos de segurança e gestão de riscos.

Ponto final

Um ataque de inferência de associação é uma tentativa de descobrir se dados específicos foram usados ​​para treinar um modelo de IA. Para pequenas e médias empresas (PMEs), isso significa que dados privados de negócios, funcionários ou clientes podem ser expostos indiretamente. Para provedores de serviços gerenciados (MSPs), significa que os serviços de IA devem ser gerenciados com cuidado para que os dados do cliente não sejam expostos a riscos desnecessários à privacidade.

Leitura Adicional:

O CyberHoot também oferece outros recursos. Abaixo, você encontra links para todos os nossos recursos. Sinta-se à vontade para consultá-los sempre que quiser:

• Blog
• Cybrary (Biblioteca Cibernética)
• Infográficos
• newsletters
• Comunicados de imprensa
• Artigos instrucionais (como fazer) – muito útil para nossos Super Administradores!

Proteja seu negócio com a CyberHoot hoje mesmo!