Como nosso modelo de ML de intenção de saída realmente funciona: uma crítica honesta

Além do Mouse-Out: Os 26 Sinais que Nosso ML Observa

Por anos, 'intenção de saída' era sinônimo do cursor do usuário saindo da área visível do navegador. Embora este continue sendo um sinal central, é um instrumento bruto. Nosso modelo de ML ExitSense, desenvolvido através de testes extensivos, monitora 26 sinais comportamentais distintos para prever a saída do usuário com muito maior precisão. Esses sinais variam de mudanças sutis na velocidade e direção da rolagem a troca de abas, tempo ocioso e até mesmo a taxa de interação com campos de formulário.

Observamos que um único sinal raramente dita a intenção. Em vez disso, é a confluência e a sequência desses sinais que pintam um quadro preditivo. Por exemplo, uma rolagem rápida para cima seguida por um período de inatividade e depois uma troca de aba é um indicador muito mais forte de intenção de saída do que apenas um evento de mouse-out isolado.

O Que Aprendemos Com 10.000 Impressões de Pop-ups 📊

A análise de dados de mais de 10.000 impressões de pop-ups em várias indústrias forneceu insights críticos. A taxa de conversão média para pop-ups bem otimizados gira em torno de 3,09%, com os melhores desempenhos atingindo 9,28% ou mais, um número consistente com a pesquisa da Sumo de 2016. No entanto, o timing é primordial. Um pop-up acionado muito cedo é um incômodo; muito tarde, e a oportunidade é perdida.

Uma observação significativa baseada na experiência: em mais de 1.000 sites executando pop-ups LeadYup, a intenção de saída em dispositivos móveis geralmente precisa de um híbrido de rolagem para cima + ociosidade porque o mouse-out não dispara. Isso destaca a necessidade de modelos adaptativos. Também aprendemos que ofertas genéricas, independentemente do timing, têm desempenho inferior. A personalização, mesmo em um nível básico, aumenta significativamente o engajamento. Isso nos levou a refinar nossa geração de texto por página.

Thompson Sampling Explicado para Marketeiros: Testes A/B Mais Inteligentes

O teste A/B tradicional pode ser lento, especialmente para otimizar elementos como títulos de pop-ups. Muitas vezes, requer um grande tamanho de amostra antes que um vencedor estatisticamente significativo possa ser declarado, levando a oportunidades de conversão perdidas durante a fase de teste. É aqui que entra o Thompson sampling.

Em vez de dividir o tráfego igualmente e esperar, o Thompson sampling aloca dinamicamente mais tráfego para as variações que estão performando melhor, mais cedo. É um algoritmo de 'exploração-explotação' que equilibra a tentativa de novas opções (exploração) com o aproveitamento de opções conhecidas como boas (explotação). Para os profissionais de marketing, isso significa ciclos de otimização mais rápidos e menos tempo exibindo títulos com baixo desempenho. É um componente chave em como nosso modelo de ML de intenção de saída realmente funciona para melhorar continuamente.

O Que os LLMs/IAs Modernas Adicionam a Como Nosso Modelo de ML de Intenção de Saída Realmente Funciona

O advento da IA avançada e dos Grandes Modelos de Linguagem (LLMs) remodelou fundamentalmente como nosso modelo de ML de intenção de saída realmente funciona, indo além das capacidades dos sistemas legados baseados em regras. Primeiro, os LLMs permitem a geração de texto por página. Em vez de uma única mensagem de pop-up estática, o LeadYup pode gerar títulos e corpo de texto contextualmente relevantes para cada página específica que um usuário está prestes a sair, aumentando significativamente a relevância e o potencial de conversão. Esse nível de personalização dinâmica era anteriormente inatingível em escala.

Segundo, a integração do Thompson sampling, impulsionada por nossa infraestrutura de ML, permite a otimização contínua e em tempo real desses títulos gerados. Ao contrário do teste A/B manual, que é intensivo em recursos, nosso sistema testa e aprende automaticamente quais títulos ressoam mais com segmentos de público específicos, garantindo que a mensagem mais eficaz seja sempre exibida. Isso significa que PMEs e agências podem acessar otimizações sofisticadas anteriormente reservadas para ferramentas de nível empresarial. Finalmente, a fusão de sinais comportamentais via modelos avançados de ML como o XGBoost permite a ponderação complexa e a interação dos 26 sinais, fornecendo uma previsão mais matizada e precisa da intenção de saída do que regras simples baseadas em limites.

A Verdade Honesta: O Que Nem Sempre Funciona

Embora nosso modelo de ML seja altamente eficaz, não é uma bala de prata. O timing excessivamente agressivo do pop-up, mesmo que 'previsto' por ML, ainda pode incomodar os usuários. Vimos casos em que um pop-up aparecendo muito rapidamente após o carregamento, mesmo com altos sinais de intenção de saída, leva ao fechamento imediato e a uma impressão negativa da marca. Há um delicado equilíbrio entre capturar a atenção e interromper a experiência do usuário.

Outra área onde o ML tem dificuldades é com o comportamento do usuário verdadeiramente novo. Embora aprenda padrões, uma sequência de interação totalmente nova pode não ser imediatamente reconhecida como intenção de saída. É por isso que o retreinamento contínuo do modelo e a supervisão humana continuam sendo críticos. Além disso, pop-ups com ofertas irrelevantes, mesmo que perfeitamente cronometrados, sempre terão desempenho inferior. O melhor ML do mundo não pode consertar uma oferta ruim ou um construtor de pop-ups mal projetado.

LeadYup Editorial

Product & growth team

Hands-on operators behind LeadYup's popup engine, ExitSense ML model, and A/B infra. We write what we ship, not what we wish.