Les innovations régulières apportées par les régies et l'émergence de nouvelles normes en matière de pilotage média sont au cœur de nos questionnements en tant que partenaires média, tiers de confiance de nos clients.
Chez Arcane, mais aussi au sein du groupe Labelium, nous avons développé une méthodologie pour tester et nous forger des convictions fortes sur ces optimisations structurantes à apporter dans la gestion de nos comptes.
Cette méthodologie est clé, car elle s'inscrit dans un contexte marché rendant la mesure de la performance média de plus en plus complexe.
Découvrez dans cet article comment nous pouvons vous redonner confiance dans la mesure du succès de vos chantiers stratégiques en média.
Pourquoi utiliser cette méthodologie ?
Au quotidien, nous sommes confrontés à une double problématique : tester en permanence et mesurer les performances de nos actions.
Or, une méthodologie de test standard semble bien peu robuste face aux exigences de mesure auxquelles nous faisons face. En effet, se limiter à une comparaison classique "avant / après" ne prend pas en compte des paramètres clés tels que :
- Le contexte marché et la saisonnalité.
- Les restructurations de compte.
- La corrélation des indicateurs de suivi de performance (par exemple : quelle dégradation de chiffre d'affaires en ligne suis-je près à accepter en basculant mon pilotage sur un KPI de marge ?).
- Etc.
D’un autre côté, les évolutions qui traversent notre écosystème, comme les restrictions légales et navigateurs, ou les changements de comportements des utilisateurs, fragilisent la mesure de la performance média.
L’attribution est désormais limitée, moins de conversions sont remontées dans les outils média et une part non négligeable du trafic et des conversions ne sont pas collectés. La complexification des méthodologies de mesure et l'arrivée progressive de conversions modélisées en surcouche de conversions observables moins nombreuses, posent aussi la question de la confiance dans les performances remontées dans les plateformes.
Compte tenu de ce contexte, nous avons développé une autre approche de la mesure de la performance reposant sur l'incrémentalité, dite "Test & Experiment".
Cette approche consiste à mesurer l'incrément de performance apporté par une action structurante sur un levier. Ces analyses sont appuyées par des méthodologies statistiques comme par exemple l'analyse causale ou le test géographique.
Qu’est-ce que la méthodologie Test & Experiment ?
Concrètement, voici comment nous accompagnons nos clients sur leurs problématiques de test et d’expérimentation.
Phase 1 : cadrage métier et Data Orchestration
Tout d’abord, nous commençons par une phase de cadrage : on accompagne le client dans la définition fine de son objectif. S'ensuit une phase de cadrage métier, afin de nous approprier le contexte de notre client de manière approfondie, en auditant l'existant, en capitalisant sur les optimisations déjà "testées", en formalisant nos besoins techniques sur la base de l'objectif défini, etc.
Notre méthodologie Smart Data Orchestration nous permet d’accompagner nos clients dans la récupération des données qui permettent de mesurer l’impact d’un test. Pour cela, nous nous assurons que le KPI suivi pour le test peut être remonté dans la plateforme souhaitée et nous pouvons mobiliser notre équipe Data pour cette étape du projet.
Phase 2 : Choix de la méthodologie & Design du test
En fonction des contraintes et enjeux du client et du choix du KPI à évaluer, plusieurs méthodologies de mesure d’impact existent. Chacune possède ses avantages, prérequis et limitations en fonction du test à opérer.
Chez Arcane, nous utilisons principalement deux méthodologies :
- Un test géographique, définissant une zone géographique de diffusion du test et une autre zone contrôle d’exclusion.
- Une analyse causale, permettant de quantifier l’écart de performance apporté par une action sur un groupe test, par rapport à à un groupe contrôle ayant des performances comparables avant la mise en place du test.
Ces méthodologies ont pour avantage de respecter les règles de privacy et de s'affranchir des limites de la collecte de données car elles ne reposent pas sur un cookie et sur l'utilisateur.
Elles se concentrent directement sur l'incrément de performance sur la métrique observée, indépendamment de sa source (plateforme média, analytics, magasin, etc.)
Elles permettent également de traiter des cas d'usages traditionnellement complexes en termes de mesure de performance, comme la mesure de la performance des leviers de notoriété, des leviers offline, du mix média etc.
Une fois la méthodologie déterminée vient la phase de Test Design.
L’objectif ici est de déterminer l’ensemble des paramètres qui vont permettre d’aboutir à un test fiable d’un point de vue statistique en fonction de la méthodologie et du KPI choisi. Tout l’enjeu réside notamment dans la capacité à structurer correctement des zones test et contrôle en fonction des bons paramètres et d’un historique de performance cohérent.
On recherche également tous les impacts média à anticiper pour lancer le test. Pour cela, certaines questions reviennent fatalement :
- Quel impact sur la structure des campagnes ?
- Sur les produits répartis sur les campagnes ?
- Sur la stratégie budgétaire ?
- Quelles autres actions mettre en place dans la plateforme pour le bon déroulé du test ?
Phase 3 : Launch & Learn
Nous décomposons la phase de Launch & Learn de la manière suivante :
- Le lancement du test et son bon suivi à travers la mise à disposition d'un reporting de suivi dédié. Il n'est pas rare que des optimisations progressives sur les comptes soient nécessaires à cette étape en fonction des résultats observés les premiers jours.
- Une phase clé d'apprentissage des résultats où nous cherchons à quantifier l'incrément de performance apporté par le dispositif. La méthodologie employée isolant strictement nos groupes test et contrôle, nous pouvons valider l'incrément éventuellement observé.
- En fonction des résultats et des apprentissages partagés avec nos clients, nous pouvons prévoir un élargissement du dispositif sur un périmètre plus large : totalité du compte, nouveaux pays, etc.
Applications concrètes de notre méthodologie
Test & Experiment pour lancer un nouveau levier
Avec notre méthodologie, mesurez l’impact du lancement d’un nouveau levier de notoriété.
Pour cela, on lance une campagne de notoriété sur une zone test en plus du mix Media habituel, que l’on pourra comparer avec une zone contrôle exposée seulement au mix Media habituel.
Le test en lui-même est divisé en deux phases :
- Le cadrage de l'étude, permettant d’identifier les leviers à tester, le KPI de test, ainsi que les zones à tester.
- Le lancement du test, avec la mise en place des différents scénarios d’activation définis en phase 1, ainsi que le suivi de ce test.
Nous analysons ensuite les résultats du test, afin de mesurer l’incrément généré dans la zone test. Cette phase aboutit à un fichier de conclusions et de recommandations média défini avec nos équipes d’experts .
Enfin, nous aidons notre client à mettre en place les recommandations identifiées précédemment.
Ce type de test permet de quantifier l'impact du lancement d’un nouveau levier de notoriété et de challenger son mix média au service de la performance.
Test & Experiment pour piloter ses campagnes sur un indicateur comme la marge ou les ventes en magasins
Avec notre méthodologie, approchez vous de vos enjeux business en pilotant vos campagnes sur un objectif de maximisation de la marge ou des ventes omnicanales.
Pour cela, on peut déployer un KPI de pilotage sur-mesure intégrant l’une de ces deux notions sur une partie du compte. Par exemple, on peut remonter en valeur de conversion pour le test la marge générée par la vente en ligne, que l’on confronte à la valeur d’achat plus communément utilisée.
On définit deux groupes de produits aux performances historiques similaires et on peut déployer ce nouveau KPI sur le groupe test. Tout l’enjeu en amont est de bien avoir défini les critères de succès du test et les KPIs de suivi tout au long du projet, en plus d’une structuration du compte spécifique pour accompagner la conduite du projet.
Ces deux exemples ne sont que des échantillons des nombreuses possibilités que nous offrent notre méthodologie Test & Experiment ! N’hésitez pas à nous contacter pour en savoir plus.
