NPS arvutatakse 11 palli soovitamise skaalal (hinded 0 kuni 10) järgmiselt:
1) leitakse kõige kõrgema soovituse 9 ja 10 andnute määr kõikidest hinnangutest
2) lahutatakse sellest madalate soovituste 0 kuni 6 määr, saadakse soovitusindeks
Mis on sellise lihtsustuse tagajärg, selgitan järgmise elust võetud näitega.
Hiljuti oli mul võimalus aidata ühel eesrindlikul koolil tõlgendada vanemate rahulolu-uuringut. See uuring oli tehtud ja töödeldud üsna tavapäraselt. Vastused tuli anda nelja palli skaalal, saadud vastused keskmistati ja esitati pingereas. Kõikide vastuste keskmine oli 3,3 . Muu hulgas küsiti ka "soovitad meie kooli oma tuttavata lastele". Soovituste keskmine oli 3,4 . Iseenesest pole sel hindel midagi viga, üle keskmise ju...
Kui aga uurida, kuidas see keskmine tekkis, oli pilt järgmine
Üldise üle keskmise taseme juures oli 2 lapsevanemat, kes "mitte mingil juhul ei soovita" ei soovitaks ja 9 lapsevanemat kes "ei soovita". Arvutame nüüd Soovitusindeksi. Kuna uuringu skaala pikkus on erinev NPS omast, siis arvutame SI järgmiselt:
SI = (hinde 4 andnute määr) - (hinnete 1 ja 2 andnute määr)
Meie indeks tuleb tänu sellele veidi optimistlikum, kui originaalne NPS, kuid see ei muuda järgneva arutelu sisu. Niisiis, SI = (49/99) - ((2+9)/99) = 49% -11% = 38%
Nüüd on kooli direktoril mõtlemise koht. Ilmselgelt on SI madalam, kui Microlinki vastaval kodukal toodud parimate oma. Direktoril on kaks valikut:
1) tegeleda ainult kriitiliste olukordadega, st eriti rahulolematute lastevanematega
2) parandada üldist rahulolu, st kõikide lastevanematega
Mida oleks võimalik saavutada?
1) Oletame et tegevused mis põhjustasid 11 lapsevanema eriti suure rahulolematuse kannavad vilja ja soovitusindeksist kaovad kõige negatiivsemad hinnangud ning liiguvad "pigem soovitan" rubriiki. Uus soovitusindeks on siis
SI = 49/99 = 49%
Tubli tulemus
2) Oletame, et tegevused, mis põhjustavad üldist rahulolu kasvu, õnnestuvad. Selle tagajärjel 1 lapsevanem kes "mitte mingil juhul ei soovitanud" muudab oma hinnangu "ei soovita"'ks, 3 vanemate "ei soovita" arvamuse "pigem soovitan" ja 7 vanemat "pigem soovitan" arvamuse "kindlasti soovitan" arvamuseks. Vana ja uus vastuste jaotus oleksid sellised
Vana Uus
49 56
39 36
9 6
2 1
Milline on Soovitusindeks nüüd?
SI = (56/99) - ((1+6)/99) = 56% - 7% = 49%
Jälle tubli tulemus.
Aga kas tegemist on samaväärsete tulemustega? Kumba teie eelistaks?
1) SI= 49% ning mitte üks lapsevanem ei räägi kooli kohta halba
2) SI= 49% ja seitse rahulolematut lapsevanemat räägib kooli kohta halba
Loo moraal - NPS ignoreerib statistika põhitõde, et keskmine soovitusindeks võib olla üksmeelne või erimeelne.
Neile, kes teavad rohkem statistikat, on märksõnadeks "hinnangute sagedusjaotus" ning "deviatsioon" ehk "vastuste hälbimine keskmisest" lühidalt "hälve". Excelis arvutatakse seda funktsiooni STDEV abil. Mida väiksem on STDEV, seda suurem on hinnangute üksmeelsus ja vastupidi. Kokkuvõtteks esitan, kuidas näeb välja uus olukord SI mõttes ning kuidas paljuvihatud statistikat kasutades
Mõlemad uued olukorrad on võrdsed nii soovitusindeksi NPS kui keskmise CSI järgi. Ainus, mis viitab, et esimene lahendus on parem - on suurem üksmeel vastajate vahel, madalam hälve vastustes.
Kokkuvõte - usaldades ainult keskmisi näitajaid, mitte uurides kuidas vastused jaotuvad, lõigatakse endale valusalt näppu.
Ma saan aru, milleks on hea see pilt
asendada selle pildiga
Aga miks on saadud soovituste spekter vaja asendada ühe numbriga
on arusaamatu. On ikka suur vahe, kas haiglas on või ei ole 7 haiget, kelle palavik on üle 40 ...
Soovituse asemel - klientidelt tagasiside küsimine "kas soovitad" küsimusega on väga kasulik. Nagu ka negatiivsete soovituste sügavam analüüsimine. Omaette teema on, kuidas "järgnevad küsimused" on sõnastatud. Neid korrastades jõuame ikkagi pikema ankeedini, mille nimi on "rahulolu või teeninduskvaliteedi uuring". Positiivne kogu asja juures on see, et küsitakse kohe peale teenindamist mitte kord või kaks aastas.
Aga SI või NPS arvutamine ja eriti omavaheline võrdlus (benchmark, sihtmärkimine) on täiesti mõttetu.
3 kommentaari:
Kui vaadata NPS'i kui pelgalt ühte numbrit, siis on tõesti ettevõtte olukorrast raske aru saada (võrdle: mida näitab igakuine kasum/kahjum juhile?)
Samas, kui vaadata NPS'i kui vahendit kliendi arvamuse pidevaks kogumiseks, siis annab see juba parema pildi ette. Ehk järgmine etapp olekski vaadata vastuste jaotust. Ja küsida endalt miks asjad on nii (või veel parem, kui seda on kliendilt küsitud vabavastuse vormis). Ehk et NPS on ainult üks väike komponent terves PDCA tsüklis, kuidas kliendisisendit kasutada oma toodete/teenuste parendamiseks.
NPS eesmärk kasutamise eesmärgina näengi, et see on odav vahend kogumaks infot iga kliendikontakti kohta vahetult pärast selle toimumist.
Säutsusid, et põhjendad ka, miks CSI on halb. Ei leia selle kohta põhjendust. Kas mõtlesid sama situatsiooni, kus rahulolu vaadatatkse ühe numbrina (olgu selleks siis 3.5 või 81). Mina mõtlen CSI all eelkõige ACSI või EPSI metoodikat, mis hindavad ka põhjus-tagajärg seoste tugevust ja annavad seeläbi infot, millele tasuks eelisjärjekorras aega ja raha panustada. Samas eks iga keerukama statistilise meetodi (olgu selleks siis struktuurivõrrandid või närvivõrgud) kasutamisel ole oma võlud, aga põhiline valu seisneb selles, kas tulemused/järeldused/edasised tegevused on intuitiivselt arusaadavad ka "lihtsale juhile", kes otsuseid vastu võtab.
CSI "viletsus" paistab välja sellest väikesest tabelist, kus võrdlesin olukordi "Uus 1" ja "Uus 2". Nimelt on mõlema puhul CSI = 3,5 (või 88%) ja ka NPS = 49% aga tegemist on kahe täiesti erineva olukorraga. Esimene indikaator, mis annab aimu erinevusest, on oluliselt suurem lahkarvamuste arv "Uus 2" puhul
Enamus rahulolu mõõtmise metoodikaid ei uuri mitte põhjus-tagajärg seoseid vaid korrelatsioone erinevate rahulolu aspektide vahel. Ilma korrelatsioonide tagamaadesse süvenemata võidakse saada tulemus "globaalses soojenemises on süüdi piraatluse likvideerimine"
Nõustun, et jooksva tagasiside võtmine klientidelt on väga kasulik. Aga selle põhjal NPS arvutamise mõtet ma ei näe. Võtsin vaevaks Microlinki SI kodukal sellest veidi kirjutada http://soovitusindeks.ning.com/profiles/blogs/kas-ma-soovitan
Võtan ka vaevaks nii CSI (ACSI) kui ka NPS'i kallal veidi "tähti närida" :)
Ma pole küll CSI (ACSI) mudeliga, õigemini selle arvutusmetoodikaga sügavuti tuttav, kuid erinevaid mõõtmistulemusi näinuna julgen väita, et mudeli komponentide vahel on välja arvutatud "lihtlabane" korrelatsioon. Korrelatsioon oma olemuselt ei ole aga kunagi põhjuslikkust näidanud, vaid ikka ainult võimaliku seose olemasolu, tugevust ning suunda. Kui tahaks põhjuslikkust leida, siis statistikas kasutatakse selleks teisi meetodeid.
NPS-i kohta joriseks seda, et suures "uue lihtsa meeodi" vaimustuses ei taha Eestis pea keegi rääkida ühest skoori arvutamise nüansist - nimelt tuleks mittesoovitajate hulka lugeda ka need, kes neile esitatud "The One Question"'ile üldse ei vasta. Aga jah, kui NPS'i kasutada peaasjalikult kliendilt tagasiside saamiseks ja numbrit arvutada lihtsalt moe pärast, siis tegelikult ju kama kaks, mismoodi see skoor kokku tuleb. Peaasi, kui enam-vähem "meetodi järgi" ja võrreldav ;)
Postita kommentaar