Oceny w sklepach z aplikacjami nie odróżniają banków od siebie

Comdirect ma 1,30 na Trustpilot i 4,42 w sklepach z aplikacjami. Ten sam bank, ci sami klienci, ten sam rok — różnica przekraczająca trzy gwiazdki.

Kusi, by zrobić z tego regułę: oceny w sklepach z aplikacjami są zawyżone, a Trustpilot mówi prawdę. Dane tej reguły nie potwierdzają, a to, co potwierdzają zamiast niej, jest bardziej użyteczne.

Porównaliśmy oba źródła dla każdego neobanku w naszym katalogu, który ma co najmniej 100 opinii po każdej ze stron — 79 firm, 1,84 mln opinii na Trustpilot i 37,3 mln ocen w sklepach z aplikacjami.

Średnia różnica to pułapka

W tej grupie 79 firm sklepy z aplikacjami wypadają średnio o 0,61 gwiazdki lepiej. Ta liczba jest bliska bezużyteczności, ponieważ stojący za nią rozkład jest silnie skośny. Mediana różnicy wynosi 0,19 — a połowa wszystkich banków mieści się między 0,05 a 0,73.

Innymi słowy: w przypadku większości neobanków oba źródła są w zasadzie zgodne. Średnią w górę ciągnie niewielki ogon firm, w przypadku których źródła rozchodzą się drastycznie.

Ostatnią kolumnę warto czytać z góry na dół. Ocena na Trustpilot przesuwa się niemal przez całą skalę. Ocena w sklepach z aplikacjami nie przesuwa się wcale.

Ocena w sklepie z aplikacjami prawie nikogo nie odróżnia

To jest właściwe ustalenie i łatwiej je dostrzec w rozrzucie niż w średnich:

51 z 79 ocen w sklepach z aplikacjami mieści się między 4,0 a 4,6 — przedział szeroki na sześć dziesiątych gwiazdki obejmuje blisko dwie trzecie rynku. Na Trustpilot ten sam przedział obejmuje 37 firm.

Ocena, która przypisuje niemal wszystkim ten sam wynik, nie jest w stanie powiedzieć, kto jest lepszy. Jeśli wybiera się między dwoma neobankami i oba pokazują 4,4 w App Store, nie dowiadujemy się niczego. Porównanie, które wygląda najbardziej autorytatywnie — miliony ocen, wyeksponowanych na widocznym miejscu — niesie najmniej informacji.

Gdzie oba źródła się rozchodzą i dlaczego

Największe różnice w naszym zbiorze:

Mechanizm nie jest zagadkowy, choć na podstawie tych danych możemy go jedynie wnioskować, a nie udowodnić. Obie oceny zbierane są w przeciwstawnych okolicznościach.

Oceny aplikacji są wywoływane pytaniem. Okienko pojawia się wewnątrz aplikacji, zwykle po tym, jak coś się udało — przelew doszedł, płatność przeszła. Pytani są więc z założenia ci, którym korzystanie z produktu właśnie się udaje. Za tym idzie wolumen: w naszych 79 firmach przypada 20,3 oceny w sklepach z aplikacjami na każdą opinię z Trustpilot. Sam PayPal ma 4,2 mln ocen aplikacji wobec 39 754 opinii na Trustpilot.

Trustpilot trzeba wyszukać samemu. Nikt nie wchodzi na serwis z opiniami dlatego, że przelew zadziałał. Wchodzi po zamrożeniu konta, nieudanym przelewie, kolejce do wsparcia, która donikąd nie doprowadziła. To mierzy coś innego: nie to, czy produkt działa, kiedy działa, lecz to, co dzieje się, kiedy nie działa.

Żadne z tych źródeł nie jest nieuczciwe. Odpowiadają na różne pytania, a branżowy zwyczaj cytowania tej oceny, która akurat jest wyższa, to zaciera.

Jedno wyjaśnienie, które sprawdziliśmy i odrzuciliśmy

15 z 79 firm układa się odwrotnie — mają wyższą ocenę na Trustpilot niż w sklepach z aplikacjami. Nasuwa się hipoteza, że chodzi o konta firmowe i freelancerskie, gdzie klient jest bardziej skłonny napisać przemyślaną opinię, a mniej skłonny ocenić aplikację.

Nie broni się ona. Wśród 15 odwróconych przypadków 6 ma tag „biznes”, „małe firmy” lub „freelancerzy” — 40%. Wśród pozostałych 64 ma go 24 — 37,5%. To nie jest różnica. Cokolwiek wyróżnia te odwrócone przypadki, nie jest to grupa klientów, do której bank kieruje ofertę, i wolimy to powiedzieć wprost, niż zaproponować zgrabną opowieść, której liczby nie udźwigną.

Jak faktycznie korzystać z obu liczb

Oceny w sklepie z aplikacjami używaj do oceny aplikacji. To przyzwoity wskaźnik tego, czy korzystanie z niej na co dzień jest przyjemne, a naprawdę zła aplikacja rzeczywiście się w nim ujawnia — dolna granica w naszym zbiorze to 3,41.

Trustpilot używaj do sytuacji awaryjnych. To tam najwcześniej wychodzą na jaw zamrożenia kont, zablokowane procesy KYC i załamania obsługi klienta.

Dużą różnicę traktuj jako informację, a nie jako szum. Firma z oceną 1,4 na Trustpilot i 4,4 w App Store to nie jest sprzeczność do rozstrzygnięcia. Zwykle opisuje to produkt, który działa gładko, dopóki nie przestanie, oraz obsługę klienta, która ma trudności, kiedy już przestanie.

Dlatego publikujemy obie wartości w każdym profilu, zamiast uśredniać je do jednego wyniku. Średnie ukrywają dokładnie tę niezgodność, którą warto zobaczyć. Pełny katalog — każdy neobank, oba źródła, podziały według krajów — znajduje się w naszym katalogu neobanków.