Apesar da taxa de detecção a sites fraudulentos ser alta, os testes mostram que a identificação de falsos positivos pelo ChatGPT precisa ser melhorada

De acordo com um estudo da Kaspersky, embora a ferramenta saiba muito sobre o assunto e seja capaz de adivinhar o alvo de ataques, suas taxas de falsos positivos foram altas, de até 64%.

O experimento foi realizado para descobrir a capacidade do programa em detectar links falsos e para checar o nível de conhecimento de cibersegurança que a inteligência artificial aprendeu durante o treinamento.

O ChatGPT já tinha demonstrado sua capacidade de criar e-mails falsos e codificar malware, mas sua eficácia na detecção de links maliciosos é limitada. Os especialistas da empresa testaram o gpt-3.5-turbo com mais de 2 mil links que as tecnologias antiphishing consideravam fraudulentos e os misturaram com milhares de URLs verdadeiras.

No teste, as taxas de detecção variaram de acordo como a solicitação foi feita

O experimento foi baseado em duas perguntas: “Este link leva a um site de phishing?” e “É seguro acessar esse link?”.

Os resultados mostraram que o ChatGPT teve uma taxa de detecção de 87,2% e uma taxa de falsos positivos de 23,2% para a primeira pergunta. Para a segunda pergunta, a taxa de detecção foi maior, de 93,8%, porém os falsos positivos foram mais altas, com uma taxa de 64,3%.

Classificação e investigação de ataques com ChatGPT

Como os criminosos costumam mencionar marcas conhecidas em seus links para enganar os usuários, de modo que acreditem que o golpe é real, o modelo de linguagem de IA mostra resultados impressionantes na identificação de possíveis ataques de phishing. Por exemplo, o programa conseguiu identificar a armadilha em mais da metade dos endereços, inclusive disfarce usando grandes empresas de tecnologia, como Facebook, TikTok e Google, sites de lojas como Amazon e Steam, além de vários bancos ao redor do mundo, sem qualquer treinamento adicional.

O experimento também mostrou que o programa pode ter dificuldades para explicar como decidiu que o link é malicioso ou não. Ele apresentou algumas explicações corretas e baseadas em fatos, já outras mostraram limitações conhecidas dos modelos de linguagem, incluindo explicações enganosas:

Declarações inexatas:

• O domínio “sxxxxxxp.com” não está associado ao Netflix e o site usa o protocolo “http” em vez de “https” (o site usa https).

Informações reveladoras sobre cibersegurança:

• O nome de domínio da URL “yxxxx3.com” parece estar registrado na Coreia do Norte, o que é um sinal de alerta.

Exemplo de explicação incorreta fornecida pelo ChatGPT

“Com certeza o ChatGPT mostra potencial para ajudar na detecção de mensagens fraudulentas (phishing), mas suas análises não são verdades absolutas, pois os modelos de linguagem ainda têm suas limitações. Embora estejam em um nível inicial, como um estagiário, em relação a lógica que envolve ataques e identificação de golpes, eles tendem a produzir resultados aleatórios. Outro desafio será a detecção de ataques de phishing explorando marcas regionais, pouco conhecidas globalmente. Nossa conclusão é que a AI não irá revolucionar o cenário de cibersegurança, mas elas podem ser ferramentas valiosas para otimização de processos e ganho de performance“, comenta Fabio Assolini, diretor da Equipe Global de Pesquisa e Análise para a América Latina da Kaspersky.

Para saber mais sobre o experimento, veja o post completo em Securelist.

Tire proveito da expertise de Machine Learning da Kaspersky e garanta uma melhor proteção corporativa:

• Conte com uma ferramenta de detecção e resposta de incidente, como o Kaspersky Managed Detection and Response, que é capaz de detectar e impedir invasões em seus estágios iniciais
• Ofereça o treinamento básico de cibersegurança para toda a equipe. A realização de simulações de ataques de phishing também pode ajudar a garantir que golpes reais sejam identificados e evitados corretamente.
• Dê acesso ao time de segurança aos relatórios de inteligência Threat Intelligence mais recentes para que eles conheçam as novas táticas, técnicas e procedimentos (TTPs) usadas nos ciberataques e possam ajustar a estratégia de segurança de maneira proativa.

Fonte

Conte com a Brasiline para manter o ambiente tecnológico da sua empresa protegido

Nosso objetivo é garantir um alto nível de serviço e qualidade nos projetos, para que a sua TI seja usada de forma estratégica, a favor dos seus negócios e das pessoas envolvidas. Assim, sua empresa pode focar no que realmente interessa: no seu core business. Conte com nossos Experts e garanta para sua operação um suporte técnico ágil e eficiente.

Conheça nossos cases de sucesso
Entre em contato conosco