Kampanja voi näyttää selkeältä ja vakuuttavalta sen tekijöiden silmissä, vaikka tärkeät kysymykset yleisölle sopivuudesta, vastaväitteistä ja todennäköisestä toiminnasta ovat vielä avoimia. Halusin nopeamman tavan arvioida valmista kampanjaa kriittisesti ennen julkaisua ja tehdä palautteen perusteluista helposti tarkasteltavia.
Rakensin Campaign Simulation Labin, paikalliseen käyttöön suunnitellun prototyypin, joka testaa kampanjoita tekoälyagenteista koostuvalla synteettisellä yleisöllä. Markkinointipäällikkö syöttää kampanjan, määrittelee kohdeyleisön, markkinan, ostopolun vaiheen, kanavan ja tavoitteen sekä käynnistää simuloinnin.
Aloituspaneelissa on kymmenen vastaaja-agenttia. Jokainen saa oman roolinsa kohdeyleisössä ja tarkastelee kampanjaa siitä näkökulmasta.
Työkalu yhdistää kokonaispistemäärään kunkin agentin reaktion, todennäköisen toiminnan, vastaväitteet sekä arvion kampanjan osuvuudesta, selkeydestä ja uskottavuudesta. Sen jälkeen se muuttaa havainnot luettavaksi raportiksi. Jokaisesta ajosta säilyvät kampanjan lähtötiedot, yleisöoletukset, agenttien ohjeet, mallin tiedot ja yksittäiset vastaukset. Näin on mahdollista tarkastella, miten tulos muodostui.
Yleisön muodostaminen erilleen kampanjan arvioinnista
Järjestelmä käyttää agentteja kahdessa erillisessä roolissa.
Ensin yleisöä muodostava agentti rakentaa paneelin markkinointipäällikön lähtötietojen perusteella. Se määrittelee näkökulmat, joita tarvitaan kohdeyleisön eri osien edustamiseen.
Erilliset vastaaja-agentit arvioivat sitten kampanjaa näistä näkökulmista.
En tarkoituksella antanut yleisöä muodostavan agentin nähdä kampanjan tarjousta, tekstejä tai mainosaineistoja. Jos se olisi saanut kampanjan käyttöönsä, se olisi voinut huomaamatta muokata yleisöä niin, että tarjous näyttäisi todellista osuvammalta.
Tämä erottelu lisättiin sen jälkeen, kun varhainen testaus paljasti yleisöroolien vääristymistä. Osa vastaaja-agenteista käyttäytyi markkinoinnin ammattilaisten tavoin riippumatta siitä, mikä yleisö oli syötetty. Yleisön muodostamisen pitäminen erillään kampanjan arvioinnista auttoi korjaamaan tätä vääristymää ja antoi jokaiselle agentille selkeämmän roolin.
Pisteytyksen korjaaminen
Testaus paljasti myös vakavamman ongelman pisteytyksessä.
Tarkoituksella väärälle yleisölle suunnatussa esimerkissä traktorinrenkaita koskeva kampanja näytettiin markkinointipäälliköitä edustavalle agenttipaneelille. Ensimmäinen pisteytystapa antoi tulokseksi 36. Selkeä esitystapa oli osittain korvannut sen, ettei tarjous ollut yleisölle olennainen. Tämä sai kampanjan näyttämään kohdeyleisölle sopivammalta kuin se oli.
Rakensin pisteytyksen uudelleen niin, että osuvuus ja todennäköinen toiminta olivat korkean pistemäärän ehdottomia edellytyksiä. Sama agenttipaneeli ja sama yleisölle sopimaton kampanja saivat sen jälkeen tuloksen 10.
Testi vahvisti, että tietty pisteytysongelma oli korjattu. Ennustetarkkuus todellisiin asiakkaisiin nähden vaatii erillisen todentamisen, mutta uudistettu järjestelmä tunnisti huomattavasti paremmin ilmeisen epäsopivuuden kohdeyleisölle.
Paikallinen suoritus ja ymmärrettävä eteneminen
Agentit voivat käyttää paikallista tekoälymallia, jolloin kampanjatiedot ja tulokset pysyvät näiden ajojen aikana paikallisessa ympäristössä. Paikallisesta suorituksesta ei myöskään synny ajokohtaisia mallimaksuja, vaikka koneen laskenta-aikaa kuluu. Ulkoinen malli voidaan liittää mukaan, kun vertailusta on hyötyä.
Kymmenen agentin paikallinen testiajo kesti 14 tallennetussa kehitysajossa keskimäärin hieman yli kaksi minuuttia. Aika vaihteli kampanjan ja pyydetyn yksityiskohtaisuuden mukaan.
Pidemmän agenttisimuloinnin etenemisen täytyy myös olla käyttäjälle ymmärrettävää. Lisäsin etenemisen seurannan, arvion valmistumisajasta, valmistuneiden agenttien määrän, selkeät diagnostiikkatiedot ja yhteyden palauttamisen. Tilapäinen katkos selaimessa ei siis automaattisesti käynnistäisi samaa testiä toiseen kertaan.
Rajattu esikatselupääsy mahdollisti prototyypin ulkopuolisen testauksen. PDF-vienti puolestaan helpotti agenttien havaintojen tarkastelua ja jakamista.
Käytännön hyöty
Nykyinen prototyyppi tuottaa suuntaa antavaa näyttöä siitä, miten kirjallinen kampanja sopii tarkoitetulle yleisölle. Agentit voivat paljastaa ilmeisiä epäsopivuuksia, nostaa esiin todennäköisiä vastaväitteitä ja osoittaa, mitkä oletukset kannattaa tarkistaa oikeilla asiakkailla ennen budjetin sitomista.
Käsittelen agenttipaneelin tuloksia yhtenä jäsenneltynä tietolähteenä laajemmassa kampanjapäätöksessä. Lopullinen varmistus tulee edelleen oikeiden asiakkaiden tutkimuksesta ja toteutuneiden kampanjoiden tuloksista. Nykyinen versio arvioi myös kirjallista kampanjakuvausta tulkitsematta varsinaisesti ladattuja visuaalisia aineistoja. Visuaalinen analyysi kuuluu siksi seuraavaan kehitysvaiheeseen.
Työkalu tuottaa jo nyt arvoa antamalla tiimeille nopean, johdonmukaisen ja dokumentoidun ensiarvion ennen julkaisua. Yhden yleisen tekoälyvastauksen sijaan markkinointipäällikkö voi tarkastella, miten useat erikseen ohjeistetut agentit reagoivat samaan kampanjaan.
Kuinka paljon lisää arvoa se voi luoda?
Hyötyä voidaan kasvattaa uudelleenkäytettävillä agenttipaneeleilla, laajemmilla simuloinneilla, varsinaisella visuaalisella analyysilla sekä kalibroimalla järjestelmää ihmisiltä kerätyn tutkimustiedon ja toteutuneiden kampanjatulosten perusteella.
Näiden tulosten palauttaminen järjestelmään voisi luoda historiallisia vertailutasoja, tarkentaa agenttien pisteytystä ja osoittaa, missä synteettinen palaute on hyödyllisintä. Ajan myötä testilaboratoriosta voi tulla paremmin kalibroitu tietolähde kampanjapäätöksiin. Se voi auttaa tiimejä kohdistamaan ihmisten kanssa tehtävän tutkimuksen tärkeimpiin kysymyksiin.