Comment fonctionne réellement notre modèle ML d'intention de sortie : une critique honnête

Au-delà de la sortie de la souris : Les 26 signaux surveillés par notre ML

Pendant des années, l'« intention de sortie » était synonyme du curseur de la souris d'un utilisateur quittant la fenêtre du navigateur. Bien que cela reste un signal essentiel, c'est un instrument grossier. Notre modèle ML ExitSense, développé après des tests approfondis, surveille 26 signaux comportementaux distincts pour prédire le départ de l'utilisateur avec une précision bien plus grande. Ces signaux vont des changements subtils dans la vitesse et la direction du défilement au changement d'onglet, au temps d'inactivité, et même au taux d'interaction avec les champs de formulaire.

Nous avons observé qu'un seul signal dicte rarement l'intention. Au lieu de cela, c'est la confluence et la séquence de ces signaux qui brossent un tableau prédictif. Par exemple, un défilement rapide vers le haut suivi d'une période d'inactivité puis d'un changement d'onglet est un indicateur d'intention de sortie bien plus fort qu'un simple événement de sortie de souris seul.

Ce que nous avons appris de 10 000 impressions de pop-ups 📊

L'analyse des données de plus de 10 000 impressions de pop-ups dans diverses industries a fourni des informations essentielles. Le taux de conversion moyen pour les pop-ups bien optimisés oscille autour de 3,09 %, les meilleurs atteignant 9,28 % ou plus, un chiffre cohérent avec la recherche de Sumo de 2016. Cependant, le timing est primordial. Un pop-up déclenché trop tôt est une nuisance ; trop tard, et l'opportunité est perdue.

Une observation significative basée sur l'expérience : sur les plus de 1 000 sites utilisant les pop-ups LeadYup, l'intention de sortie sur mobile nécessite généralement un hybride défilement vers le haut + inactivité car la sortie de souris ne se déclenche pas. Cela souligne la nécessité de modèles adaptatifs. Nous avons également appris que les offres génériques, quel que soit le timing, sont moins performantes. La personnalisation, même à un niveau de base, augmente considérablement l'engagement. Cela nous a amenés à affiner notre génération de texte par page.

L'échantillonnage de Thompson expliqué aux marketeurs : des tests A/B plus intelligents

Les tests A/B traditionnels peuvent être lents, surtout pour optimiser des éléments comme les titres de pop-ups. Ils nécessitent souvent un grand échantillon avant qu'un gagnant statistiquement significatif ne puisse être déclaré, ce qui entraîne des opportunités de conversion perdues pendant la phase de test. C'est là qu'intervient l'échantillonnage de Thompson.

Au lieu de répartir le trafic de manière égale et d'attendre, l'échantillonnage de Thompson alloue dynamiquement plus de trafic aux variations qui sont plus performantes, plus tôt. C'est un algorithme « explorer-exploiter » qui équilibre l'essai de nouvelles options (exploration) avec l'exploitation d'options connues comme bonnes (exploitation). Pour les marketeurs, cela signifie des cycles d'optimisation plus rapides et moins de temps passé à afficher des titres sous-performants. C'est un élément clé de la façon dont comment fonctionne réellement notre modèle ML d'intention de sortie pour s'améliorer continuellement.

Ce que les IA/LLM modernes ajoutent à comment fonctionne réellement notre modèle ML d'intention de sortie

L'avènement des IA avancées et des Grands Modèles Linguistiques (LLM) a fondamentalement remodelé comment fonctionne réellement notre modèle ML d'intention de sortie, allant au-delà des capacités des systèmes basés sur des règles hérités. Premièrement, les LLM permettent la génération de texte par page. Au lieu d'un seul message de pop-up statique, LeadYup peut générer des titres et des corps de texte contextuellement pertinents pour chaque page spécifique qu'un utilisateur est sur le point de quitter, augmentant considérablement la pertinence et le potentiel de conversion. Ce niveau de personnalisation dynamique était auparavant inaccessible à grande échelle.

Deuxièmement, l'intégration de l'échantillonnage de Thompson, alimentée par notre infrastructure ML, permet une optimisation continue et en temps réel de ces titres générés. Contrairement aux tests A/B manuels, qui sont gourmands en ressources, notre système teste et apprend automatiquement quels titres résonnent le plus avec des segments d'audience spécifiques, garantissant que le message le plus efficace est toujours affiché. Cela signifie que les PME et les agences peuvent accéder à une optimisation sophistiquée auparavant réservée aux outils de niveau entreprise. Enfin, la fusion des signaux comportementaux via des modèles ML avancés comme XGBoost permet la pondération et l'interaction complexes des 26 signaux, offrant une prédiction plus nuancée et précise de l'intention de sortie que de simples règles basées sur des seuils.

La vérité honnête : ce qui ne fonctionne pas toujours

Bien que notre modèle ML soit très efficace, ce n'est pas une solution miracle. Un timing de pop-up trop agressif, même s'il est « prédit » par le ML, peut toujours agacer les utilisateurs. Nous avons vu des cas où un pop-up apparaissant trop rapidement après l'atterrissage, même avec des signaux d'intention de sortie élevés, entraîne une fermeture immédiate et une impression de marque négative. Il y a un équilibre délicat entre capter l'attention et perturber l'expérience utilisateur.

Un autre domaine où le ML a des difficultés est celui des comportements utilisateurs véritablement nouveaux. Bien qu'il apprenne des modèles, une séquence d'interaction entièrement nouvelle pourrait ne pas être immédiatement reconnue comme une intention de sortie. C'est pourquoi le réentraînement continu du modèle et la supervision humaine restent essentiels. De plus, les pop-ups avec des offres non pertinentes, même parfaitement synchronisées, seront toujours sous-performants. Le meilleur ML du monde ne peut pas corriger une mauvaise offre ou un créateur de pop-ups mal conçu.

LeadYup Editorial

Product & growth team

Hands-on operators behind LeadYup's popup engine, ExitSense ML model, and A/B infra. We write what we ship, not what we wish.