Comment mesurer le retour sur investissement de l'IA du commerce électronique sans vous tromper

La base de référence est le contrefactuel: que se serait-il passé sans l’expérience de l’IA. Un agent d'assistance a besoin d'une base de référence pour le volume de tickets, le temps de traitement, la résolution au premier contact, le taux d'escalade, le taux de remboursement, la satisfaction client et le taux de contact répété.

Un assistant de découverte de produits a besoin d'une base de référence pour affiner la recherche, les vues PDP, le taux d'ajout au panier, la conversion, la valeur moyenne des commandes, la marge brute, le taux de retour et les contacts post-achat. La période de référence doit capturer la variation normale et être segmentée par source de trafic, appareil, type de client, géographie, saisonnalité et catégorie de produits où ces facteurs modifient le comportement.

Les moyennes à l’échelle du site cachent où l’IA du commerce électronique fonctionne réellement. Un modèle de recommandation pourrait améliorer la découverte dans le secteur de l'habillement, mais ne ferait pas grand-chose pour les produits de réapprovisionnement.

Un agent de support peut gérer proprement le statut d'expédition, mais échouer en raison de la logique de garantie ou de bundle. Un assistant merchandising peut augmenter la conversion dans les catégories à longue traîne tout en réduisant la marge dans les meilleures ventes.

Rapportez les performances de l'IA par catégorie de produits, nouveaux clients par rapport aux clients fidèles, sessions à forte intention par rapport aux sessions exploratoires, mobile par rapport à l'ordinateur de bureau, trafic payant par rapport au trafic organique, produits à prix plein par rapport à ceux à prix réduit, code de motif d'assistance et étape de commande. La bonne question est de savoir dans quelle mesure l’IA crée suffisamment de valeur supplémentaire pour justifier l’exposition, le coût et le risque opérationnel.

L'attribution vous indique ce qui a touché un achat. L'incrémentalité vous indique ce qui a provoqué un changement.

Pour l’IA axée sur les revenus, utilisez une expérience contrôlée dans laquelle les utilisateurs, sessions, magasins, catégories ou régions éligibles sont attribués à des groupes exposés et réticents. Le récalcitrant reçoit l'expérience actuelle.

Le groupe exposé reçoit l’expérience de l’IA. Définissez l'unité de randomisation, le résultat principal, les garde-fous, la durée, les exclusions et la règle de décision avant le lancement.

Pour les volumes de trafic plus petits, utilisez des déploiements progressifs, des tests de basculement ou des comparaisons correspondantes. Celles-ci ne sont pas parfaites, mais elles valent mieux que de comparer après coup les utilisateurs d’IA à des utilisateurs non-IA.

La formule de retour sur investissement de l'IA pour le commerce électronique la plus propre est la marge brute supplémentaire moins les coûts d'exploitation supplémentaires de l'IA. L'augmentation des revenus à elle seule ne suffit pas, car l'IA peut augmenter les commandes tout en réduisant la marge, en augmentant les remises, en créant des retours ou en augmentant la demande d'assistance.

Pour les cas d'utilisation des revenus, calculez les commandes incrémentielles, les revenus incrémentiels, la marge brute en dollars, le coût de remise, le coût de paiement, le coût d'exécution, le coût de retour, le coût de remboursement, le coût de support et le coût d'exploitation de l'IA. L’impact net de l’IA est égal au bénéfice brut supplémentaire moins les coûts des logiciels, des modèles, de l’infrastructure, de l’assurance qualité et de l’examen humain.

Les produits d'IA se trouvent souvent à proximité de moments à forte intention: résultats de recherche, PDP, flux de paniers, assistance post-achat et messages de cycle de vie. Cela facilite le surcrédit.

Les pièges courants incluent le crédit de dernière touche, la comparaison assistée des sessions, le crédit des clics de recommandation, le nombre de déviations de tickets, l'augmentation des revenus uniquement et les fenêtres de mesure courtes. Un tableau de bord utile sépare l'exposition, le comportement et l'impact commercial.

L'exposition indique qui a vu ou utilisé l'IA. Le comportement dit ce qu’ils ont fait ensuite.

L’impact commercial indique ce qui a changé par rapport à une référence crédible ou à une résistance.

L’IA de support et l’IA des revenus ne doivent pas partager un seul modèle de retour sur investissement. L'IA de support crée de la valeur grâce à une résolution plus rapide, aux contacts évités, à la productivité des agents et à la prévention des mauvais résultats tels que les annulations, les remboursements, les rétrofacturations et les contacts répétés.

L'IA des revenus crée de la valeur grâce à la découverte, la confiance, la personnalisation, le marchandisage, la synchronisation du cycle de vie et la conversion. Le support de l’IA n’est utile que lorsque confinement et qualité vont de pair.

L'IA des revenus n'est utile que lorsque la marge brute supplémentaire survit aux contrôles de sécurité pour les marges, les retours, les remboursements, les plaintes et les contacts d'assistance.

La mesure s'interrompt lorsque l'événement IA est enregistré mais le résultat en aval est invisible. Suivez l'exposition à l'IA, la catégorie d'intention, le type de source, l'ensemble de recommandations, la confiance des réponses, l'escalade, l'action de l'utilisateur, le produit consulté, l'ajout au panier, le début du paiement, l'achat, la remise utilisée, la marge brute, l'annulation, le retour, le remboursement, le contact répété, la réclamation et la satisfaction le cas échéant.

Pour les workflows d’assistance, connectez les ID de conversation aux ID de ticket et aux ID de commande. Pour les workflows de découverte, connectez les sessions d'IA aux impressions de produits, aux événements de recherche, aux clics de recommandation, aux vues PDP et aux achats ultérieurs.

Le coût de l’IA ne concerne pas seulement l’utilisation d’un modèle ou l’abonnement à un logiciel. Incluez les frais des fournisseurs, l'inférence, les intégrations, la récupération, l'hébergement, les pipelines de données, la normalisation du catalogue, l'intégration du CRM ou du service d'assistance, l'examen de l'assurance qualité, les tests rapides, les mises à jour des politiques, les audits d'escalade, les contacts répétés, les transferts médiocres, les remises excessives, les substitutions à faible marge, les retours, l'examen de conformité, la latence, les expériences interrompues et la gestion de secours.

Modélisez le coût par cas d’utilisation, et pas seulement au niveau de la plateforme. Un système d'IA peut générer des recommandations, des réponses d'assistance, une recherche de commandes et une copie de marchandisage; chaque flux de travail a besoin de son propre modèle de coûts et de résultats.

L'IA du commerce électronique a besoin d'une assurance qualité continue, car les catalogues, les prix, les promotions, les politiques, les stocks et les questions des clients ne cessent de changer. Combinez l’examen aléatoire et l’examen basé sur les risques.

Précision du score, exhaustivité, sécurité, escalade, ton et impact commercial. Avant d'étendre l'exposition, exigez l'achèvement de la ligne de base, la conception de l'incrémentalité, le seuil d'assurance qualité, les garde-corps propres, le modèle de coûts approuvé, la solution de repli testée et la surveillance en direct.

Commencez de manière étroite, mesurez en profondeur, développez là où les preuves sont solides et faites une pause là où les preuves sont faibles. L’IA devrait gagner plus de surface en prouvant sa valeur dans la production.