|
Ascolta
|
Esiste una tecnica ben nota agli addetti ai lavori che spesso sfugge all’occhio dell’utente comune durante la navigazione su siti come Amazon o app come Spotify e che negli ultimi anni ha rivoluzionato il modo in cui molte piattaforme effettuano test e ottimizzano l’esperienza utente: l’A/B Testing. Lorenzo Boiocchi, esperto di Product Management nell’area Digital Sales di un’Azienda leader nel settore delle Telecomunicazioni, ci spiegherà cosa si intende per A/B Testing e il contributo qualitativo che questa tecnica porta allo sviluppo di un prodotto.
Iniziamo subito! Siamo curiosi di approfondire il bozzetto del tuo sketch
Ok! Allora diciamo che quando dobbiamo andare a definire un nuovo prodotto o la vendita e vogliamo cambiare quella che è l’esperienza attuale, ci mettiamo a ragionare assieme all’area che si occupa della customer experience. Disegniamo con loro quello che vogliamo andare a proporre spesso con il supporto di focus Group, quindi sempre basandoci sull’aiuto di persone da un punto di vista qualitativo.
Dopo questo punto di partenza, ci rivolgiamo al nostro team IT e andiamo a farla sviluppare per poi mandarla in produzione.
Per noi il prodotto non è rilasciato, e non è pronto se non sono disponibili tutti gli analytics, dove per analytics ovviamente intendo il funnel: capire quante persone vedono lo step 1, quante persone vedono lo step 2 e quali sono le “cadute” rispetto al percorso immaginato.
Da un annetto abbiamo introdotto uno strumento come Content Square che ci permette di capire esattamente qual è la navigazione del cliente, cioè vedere quali sono le parti più viste e ci permette di visualizzare quali sono gli errori che l’utente incontra.
Abbiamo delle dashboard di monitoraggio in cui andiamo a vedere quali sono i punti principali e le cadute nel nostro funnel. A questo punto lavoriamo andando a concentrarci sulle cadute che a nostro avviso sono le peggiori.
Ti chiediamo per chi leggerà questa rubrica, che magari non conosce tutti i termini: cosa si intende con A/B Testing e portabilità?
Allora con portabilità si intende, nel flusso di acquisto di una linea fissa, quando il cliente ha già a disposizione una linea fissa con un numero di telefono.
Invece l’ A/B Testing, è una tecnica che permette di andare a verificare quanto è valida una modifica che si vuole sottoporre. Questo sistema riesce a gestire e indirizzare il traffico dei clienti sulla versione di Controllo che è la versione base, cioè quella che era presente anche prima e allo stesso tempo sull’altra, la versione che vogliamo andare a testare, quindi con le modifiche.
Di solito, dipende poi dalla complessità del test, ma teniamo questo test una settimana, 10 giorni per vederne le numeriche.
Questa parte di A/B Testing la applichiamo su ogni singola modifica. Sono davvero poche le modifiche che andiamo a introdurre senza averle prima testate con questa modalità, proprio perché ci siamo resi conto che, per quanto i nostri designer siano veramente molto bravi, niente vale come la reazione del pubblico. Le aspettative del pubblico su come ricevere informazioni ci guidano nelle nostre scelte.
Puoi raccontarci un caso particolare nel quale avete dovuto rimodulare le proporzioni di A/B testing?
Prima tutti i sistemi erano in mano a un unico fornitore esterno. Avevamo bisogno di flessibilità, di velocità nelle modifiche e questo fornitore nello specifico, non riusciva a garantirci questi due aspetti. Quindi cosa abbiamo fatto?
Abbiamo deciso di togliere il canale front end, di darlo in mano a uno sviluppo interno all’IT dell’Azienda. Ormai lavoriamo con metodologia Agile, con sprint di due settimane e abbiamo ottenuto dei miglioramenti davvero incredibili. Riusciamo a svolgere davvero bene queste attività con Adobe Target, che è lo strumento che ci permette di fare A/B testing. Teniamo 10 giorni il testing, vediamo come va con il team interno IT e dopo due settimane siamo già live.
Diciamo che la mia vita è migliorata parecchio e anche i mal di pancia vanno decisamente meglio: riusciamo in maniera molto più precisa a dare la soluzione.
Per quanto riguarda le metriche invece, c’è stata una metrica che magari inizialmente non sembrava importante e che invece poi lo è diventata?
Una cosa che inizialmente non avevamo considerato e che abbiamo introdotto successivamente è il pagamento. Mi spiego meglio, inizialmente avevamo semplicemente considerato quanti uscivano dal flusso senza finalizzare il pagamento e il numero risultava molto alto. Quello che abbiamo notato è che tanta gente, non sapeva la differenza tra carta di credito e carta di debito.
Perciò abbiamo lavorato in due modi: uno, migliorando la comunicazione anche con cose molto stupide e banali tipo, “la carta di credito ha le cifre in rilievo, la Carta di debito no” che effettivamente ha aiutato il cliente.
Secondariamente, riuscendo a fare questa modifica nel tagging e nelle variabili che andavamo a recuperare, siamo riusciti a isolare esattamente questa casistica di errore. Adesso andiamo a proporre al cliente quando c’è questo errore specifico un avviso come “guarda ci siamo accorti che tu hai inserito queste informazioni, ma non vanno bene”, o ancora “Metti invece l’IBAN associato a questa Carta e potrai proseguire nella nel tuo flusso di acquisto.”
Ok, molto carina questa cosa. Perché poi magari uno non ci pensa perché sono cose “banali”, no? Invece ti cambiano il risultato, effettivamente.
Avere possibilità di fare test Live con persone vere che mettono a disposizione i propri dati ci ha aiutato tantissimo per tanti motivi. Vi posso assicurare che avere tante casistiche di utenti diversi per poter fare i test sembra una banalità, ma è veramente difficile avere a disposizione queste possibilità. L’esempio più lampante, che potrà sembrare strano, è che noi non abbiamo una carta di credito, non abbiamo un metodo di pagamento per fare i test, quando li facciamo dobbiamo usare i nostri. Affidandoci a delle persone riusciamo veramente a fare un test end to end
I feedback che loro ci danno, ci permettono di capire cose che per noi erano banali e facili e invece per il cliente non lo sono. L’ A/B testing più o meno guida, ma avere queste persone che danno dei feedback, commentando gli step, ci ha aiutato tanto nello sviluppo della nostra esperienza ed infatti adesso lo facciamo regolarmente, ogni volta che noi andiamo a introdurre una nuova Capability, un nuovo prodotto.
Una domanda che mi sorge spontanea dal punto di vista dell’attenzione al cliente. Tu hai citato appunto gli sprint di due settimane e quindi comunque anche una sorta di continuous delivery. Da 1 a 10, quanto diresti che è importante il vostro DNA Agile?
Ne discutevo proprio ieri con la prima linea del direttore marketing generale che anche lui diceva che aveva notato dei miglioramenti, pur essendo stato spaventato in passato da come fare progetti grossi in agile.
In realtà stiamo deliverando molto, molto di più di quello che facevamo prima, perché grazie a questo approccio riusciamo a capire esattamente quali sono le cose più grosse, più importanti e che ci danno maggiore aiuto. Quindi se vediamo che qualcosa non funziona, abbandoniamo.
È stata davvero una rivoluzione copernicana che ci ha portato un miglioramento da tutti i punti di vista e si ripercuote anche nei risultati finali.
Concludiamo tutte le interviste con la stessa domanda, ovvero se tu avessi una bacchetta magica, e potessi scegliere cosa cambiare, cosa cambieresti del processo che hai appena descritto?
Coinvolgerei il team di supporto e focus group fin dall’inizio perché nella definizione di nuovi prodotti ed esperienze di vendita è essenziale.
Questo approccio garantisce che le soluzioni sviluppate rispondano realmente alle esigenze e aspettative dei clienti, migliorando così la customer experience.
Implementare l’A/B testing consente di valutare oggettivamente l’impatto delle modifiche apportate ai prodotti o alle esperienze utente. Questo metodo, combinato con feedback da test live con utenti reali, è fondamentale per prendere decisioni basate sui dati e ottimizzare continuamente le interazioni dei clienti. Adottare una metodologia Agile con sprint regolari e monitorare costantemente le metriche chiave di performance (KPI) sono strategie cruciali per migliorare la flessibilità e velocità delle modifiche. Questo approccio non solo porta a risultati migliori in termini di vendite, ma assicura anche che le soluzioni sviluppate siano
