¿Cómo funciona realmente nuestro modelo de ML de intención de salida? Una crítica honesta

Más allá de la salida del mouse: Las 26 señales que monitorea nuestro ML

Durante años, la 'intención de salida' fue sinónimo de que el cursor del mouse de un usuario abandonaba la ventana del navegador. Si bien esto sigue siendo una señal central, es un instrumento tosco. Nuestro modelo ExitSense ML, desarrollado a través de extensas pruebas, monitorea 26 señales de comportamiento distintas para predecir la salida del usuario con mucha mayor precisión. Estas señales van desde cambios sutiles en la velocidad y dirección del desplazamiento hasta el cambio de pestaña, el tiempo de inactividad e incluso la tasa de interacción con los campos del formulario.

Hemos observado que una sola señal rara vez dicta la intención. En cambio, es la confluencia y secuencia de estas señales lo que pinta una imagen predictiva. Por ejemplo, un desplazamiento rápido hacia arriba seguido de un período de inactividad y luego un cambio de pestaña es un indicador mucho más fuerte de intención de salida que solo un evento de salida del mouse.

¿Qué aprendimos de 10,000 impresiones de pop-ups? 📊

El análisis de datos de más de 10,000 impresiones de pop-ups en varias industrias ha arrojado información crítica. La tasa de conversión promedio para pop-ups bien optimizados ronda el 3.09%, con los de mejor rendimiento alcanzando el 9.28% o más, una cifra consistente con la investigación de Sumo de 2016. Sin embargo, el tiempo es primordial. Un pop-up activado demasiado pronto es una molestia; demasiado tarde, y la oportunidad se pierde.

Una observación significativa basada en la experiencia: en los más de 1,000 sitios que ejecutan pop-ups de LeadYup, la intención de salida en dispositivos móviles generalmente necesita un híbrido de desplazamiento hacia arriba + inactividad porque la salida del mouse no se activa. Esto resalta la necesidad de modelos adaptativos. También aprendimos que las ofertas genéricas, independientemente del momento, tienen un rendimiento inferior. La personalización, incluso a un nivel básico, aumenta significativamente el compromiso. Esto nos llevó a refinar nuestra generación de texto por página.

Muestreo de Thompson explicado para especialistas en marketing: pruebas A/B más inteligentes

Las pruebas A/B tradicionales pueden ser lentas, especialmente para optimizar elementos como los titulares de los pop-ups. A menudo requieren un gran tamaño de muestra antes de que se pueda declarar un ganador estadísticamente significativo, lo que lleva a la pérdida de oportunidades de conversión durante la fase de prueba. Aquí es donde entra en juego el muestreo de Thompson.

En lugar de dividir el tráfico por igual y esperar, el muestreo de Thompson asigna dinámicamente más tráfico a las variaciones que están funcionando mejor, antes. Es un algoritmo de 'exploración-explotación' que equilibra probar nuevas opciones (exploración) con aprovechar las opciones buenas conocidas (explotación). Para los especialistas en marketing, esto significa ciclos de optimización más rápidos y menos tiempo mostrando titulares de bajo rendimiento. Es un componente clave en cómo funciona realmente nuestro modelo de ML de intención de salida para mejorar continuamente.

Lo que la IA/LLM moderna añade a cómo funciona realmente nuestro modelo de ML de intención de salida

El advenimiento de la IA avanzada y los Grandes Modelos de Lenguaje (LLM) ha remodelado fundamentalmente cómo funciona realmente nuestro modelo de ML de intención de salida, yendo más allá de las capacidades de los sistemas basados en reglas heredados. Primero, los LLM permiten la generación de texto por página. En lugar de un solo mensaje de pop-up estático, LeadYup puede generar titulares y texto de cuerpo contextualmente relevantes para cada página específica que un usuario está a punto de abandonar, aumentando significativamente la relevancia y el potencial de conversión. Este nivel de personalización dinámica era inalcanzable a escala anteriormente.

En segundo lugar, la integración del muestreo de Thompson, impulsada por nuestra infraestructura de ML, permite la optimización continua y en tiempo real de estos titulares generados. A diferencia de las pruebas A/B manuales, que requieren muchos recursos, nuestro sistema prueba y aprende automáticamente qué titulares resuenan más con segmentos de audiencia específicos, asegurando que siempre se muestre el mensaje más efectivo. Esto significa que las PYMES y las agencias pueden acceder a una optimización sofisticada que antes estaba reservada para herramientas de nivel empresarial. Finalmente, la fusión de señales de comportamiento a través de modelos de ML avanzados como XGBoost permite la ponderación e interacción complejas de las 26 señales, proporcionando una predicción más matizada y precisa de la intención de salida que las reglas simples basadas en umbrales.

La verdad honesta: lo que no siempre funciona

Si bien nuestro modelo de ML es altamente efectivo, no es una bala mágica. Una sincronización demasiado agresiva del pop-up, incluso si es 'predicha' por el ML, aún puede molestar a los usuarios. Hemos visto casos en los que un pop-up que aparece demasiado rápido después de aterrizar, incluso con altas señales de intención de salida, lleva a un cierre inmediato y a una impresión negativa de la marca. Hay un delicado equilibrio entre captar la atención y alterar la experiencia del usuario.

Otra área donde el ML tiene dificultades es con el comportamiento del usuario verdaderamente novedoso. Si bien aprende patrones, una secuencia de interacción completamente nueva podría no ser reconocida inmediatamente como intención de salida. Por eso, el reentrenamiento continuo del modelo y la supervisión humana siguen siendo críticos. Además, los pop-ups con ofertas irrelevantes, incluso perfectamente sincronizados, siempre tendrán un rendimiento inferior. El mejor ML del mundo no puede arreglar una mala oferta o un generador de pop-ups mal diseñado.

LeadYup Editorial

Product & growth team

Hands-on operators behind LeadYup's popup engine, ExitSense ML model, and A/B infra. We write what we ship, not what we wish.