Proč na správně realizovaný kvantitativní průzkum nestačí selský rozum (a brainstorming na pivu)

Nedávno jsem se ocitla na přednášce marketingového ředitele nejmenované společnosti, která vytváří dotazníky. Od samého začátku mě v negativním slova smyslu "zaujalo" více jeho poznatků včetně zpochybňování kvality práce tazatelů na základě jeho osobní zkušenosti (s agenturami jsem přitom pracovala a pracuji a vím, jaké kontrolní mechanismy mají nastavené ty opravdu kvalitní mezi nimi). Myšlenka, že správná realizace kvanti průzkumu má jedinou výhodu, a to pohled zvenčí, mě však zarazila. I když jí z úst člověka v jeho funkci vlastně rozumím.

Ale zároveň mě to vyprovokovalo k sepsání toho, proč si myslím, že vám k tomu, aby byl kvantitativní průzkum kvalitní, nestačí selský rozum a pivo u brainstormingu. Jistě. Nikdo nezná vaše zákazníky, zaměstnance... lépe než vy. A strukturu dotazníku nebo možnosti odpovědí tak možná dokážete opravdu vymyslet lépe než daná agentura (nebo v mém případě někdo na volné noze). Dokážete tedy vymyslet to, NA CO se ptát (i když osobně si myslím, že ta zaslepenost lidí zevnitř je někdy větší, než si sami dokážou připustit). Ale co je nezpochybnitelnou bolístkou většiny průzkumů, je otázka JAK se ptát.

Když dva dělají totéž...

Věřte tomu, že když se dva lidé zeptají podle jejich mínění na stejnou věc, jen jinak, vyjdou jim u stejné skupiny respondentů jiné výsledky. Proč? Třeba "jen" tím, že jeden z nich sepíše otázku více sugestivně. A tak nezamýšleně ovlivní odpovědi respondentů. Nebo se zároveň zeptá na dvě věci zároveň, protože mu přijde, že spolu souvisí. Ale ony nemusí. A respondent je zmatený: na jednu část by odpověděl tak, na druhou jinak. Tak zvolí (například) střední možnost. Druhý tazatel naopak testuje jen jednu z částí: a výsledky budou naprosto jiné, ač se obě otázky ptají na tu stejnou záležitost.

S ohledem na to jsou pak věci typu kumulované odpovědi nebo jejich překrývající se varianty (jedna věková kategorie vám končí 40 lety, druhá jí začíná) už z hlediska výsledků možná i menším problémem. Ale stále poměrně podstatným, když děláte segmentaci a nemáte tam tu otázku jen, abyste zjistili, kdo vám na dotazník odpovídal.

I pokud umíte formulovat otázky tak, aby byly položené správně a nabízely relevantní možnosti odpovědí, máme tu další záležitost: filtry.

Nekupuji. Fakt ne

Věřte tomu nebo ne, ale většina tvůrců dotazníků s nimi neumí pracovat (a někteří ani nevědí o tom, že něco takového jde). Přitom když vám v první otázce odpovím, že něco nedělám (například nekupuji daný typ zboží), a vy se mě v dalších dvou zeptáte, kde jej kupuji nejčastěji a jak si daný obchod vybírám, k čemu to vede? Buď daný dotazník opustím (lepší varianta), nebo tam něco nasázím, jen aby mě systém pustil dál. Pro mě ale měla fungovat sada naprosto jiných otázek, a tyto pro kupující jsem měla přeskočit. Tyto základní filtrace umí všechna řešení dostupná zdarma.

Já ale často pracuji na poměrně složitých a rozsáhlých průzkumech, kde nejsou filtrace tak jednoduché. Například když na otázky 15 až 20 odpovídají ti, co zvolili v otázce 13 odpověď a nebo b a v otázce 14 a i b. A jako bonus ještě ti, co odpověděli 13 a, mají separátní set otázek s pořadím 21 a 22. A ti, co odpověděli 13 c, jdou až na otázku 40. Kterou zase odpovídají jen oni. A tyto dotazníky se už fakticky musí programovat na míru. A pokud s tím nemáte technické zkušenosti, agentura, která to nejen automaticky dle zadání naprogramuje, ale také domyslí další důsledky a vychytá případné problémy, se hodí.

Častou chybou je třeba také zjištění, že něčeho máte v domácnosti více než 1 kus (dejme si příklad počítač). A pak se vás zadavatel v dalších otázkách ptá, co je to za značku, jak ho máte dlouho, jak jste s ním spokojeni... A teď: který si máte zvolit? Na tuto situaci by měl být průzkumník připravený, ať už tím, že vás nechá vyplňovat tento set otázek tolikrát, kolik těch počítačů doma máte, nebo vám dá jasné zadání vztáhnout vaše odpovědi k tomu nejnovějšímu, nejpoužívanějšímu apod.

Vy, co dotazníkem sledujete, víte. Ale ví to i vaši respondenti?

Roky v průzkumu mě totiž naučily (a to si většina lidí uvědomí až při zpracování a interpretaci výsledků), že je třeba upřesňovat. Uvedu další příklad: pracovala jsem na průzkumu v sektoru doručovacích služeb. Ale aby byly odpovědi relevantní a porovnatelné, každý respondent by měl rozumět tomu, co je v našem průzkumu doručovací služba, stejně. Myslíme tím pouze nabídku společností typu DHL nebo Messenger, nebo také Rohlík, případně rozvážkové služby hotových pokrmů? Možná vám to přijde jako maličkost (většina to přece bude chápat, jako vy), ale co třeba těch zbylých 10, 20 procent?

Stejně tak musím myslet na to, zda daná odpověď dává smysl spíš za respondenta, nebo jeho celou domácnost. A když domácnost, musíme pak pro správnou interpretaci vědět, kolik má dospělých členů. A kolik je v ní dětí. A opět: radši upřesněte, že vám jde o lidi, co spolu trvale žijí v jednom domě nebo bytě. A věk dětí. Někdo za dítě stále považuje i svého čtyřicetiletého syna.

Samostatnou záležitostí jsou pak respondenti. Pokud máte svoje vlastní, umíte správně sestavit dotazník, naprogramovat si (nebo zadat do dostupných nástrojů) správně otázky a pak umíte přemýšlet nad souvislostmi, které vám nástroje představí formou automatizovaného reportu, nebo umíte s primárními daty sami pracovat, pak opravdu agenturu nepotřebujete. Pokud vám znalosti čehokoliv z toho chybí, pak si u toho piva sepište raději jen přesné zadání a nějakou agenturu nebo externistu raději oslovte. Ono se vám to vrátí relevantními výsledky.