Dlaczego nie używamy uczenia maszynowego do oceny leadów

Co budowaliśmy

System dla brokera faktoringowo-leasingowego: pozyskiwanie firm z publicznego rejestru, ocena każdej z nich, kampanie mailowe i pipeline sprzedaży w jednym miejscu. Do tego strona z kalkulatorem prowizji — publicznie działa pod adresem plusfactor.pl.

Sercem tego systemu jest punktacja: każda firma z bazy dostaje ocenę od 0 do 100, która mówi, na ile pasuje do oferty brokera. Przy kilkuset firmach w turze to jest różnica między sensowną pracą a dzwonieniem po kolei.

Dlaczego nie model

Pierwszy powód jest przyziemny: nie było na czym uczyć. Model potrzebuje historii — setek firm, o których wiadomo, czy transakcja doszła do skutku. Broker startował z systemem od zera. Model uczony na kilkudziesięciu przypadkach nauczyłby się głównie przypadkowości tych kilkudziesięciu.

Drugi powód jest ważniejszy i zostaje aktualny nawet wtedy, gdy danych już będzie dość. Handlowiec musi móc się z oceną kłócić. Kiedy widzi firmę z oceną 80 i uważa, że to bez sensu, chce wiedzieć, co dało te punkty — i albo zmienia zdanie, albo znajduje błąd w regułach. Przy modelu jedyna dostępna odpowiedź brzmi „tak wyszło”, a to kończy się tym, że kolumna z oceną jest ignorowana.

Trzeci powód to koszt. Jawne reguły liczą się na miejscu, bez odpytywania płatnej usługi przy każdej firmie. Ocena przeliczana dla całej bazy nie kosztuje nic ponad prąd.

Jak to jest zbudowane

Punktacja składa się z kilku składowych z przypisanymi wagami — branża, wielkość, forma prawna, wiek firmy, sygnały świadczące o zapotrzebowaniu na finansowanie. Wagi są widoczne i zmienialne, nie zaszyte w kodzie. Broker sam je przestawia, gdy zmienia się to, na czym mu zależy.

Do tego matryca dopasowania: około dwudziestu czterech instytucji finansujących, każda z własnymi kryteriami. Firma, która dla jednej jest za mała, dla drugiej mieści się idealnie — punktacja odpowiada więc nie na pytanie „czy dobra”, tylko „dla kogo dobra”.

Ile kosztuje zdobycie danych — zmierzone, nie oszacowane

Dane o firmach pochodzą z publicznego rejestru, dostępnego przez płatny interfejs. Wcześniejsza notatka w projekcie mówiła o „2 groszach za firmę”. Po zmierzeniu okazało się, że jest kilkadziesiąt razy taniej: 3 250 numerów rejestrowych to trzynaście zapytań, czyli 1,17 zł łącznie — bo zapytania pobierają dane paczkami, a nie po jednej firmie.

Podaję tę historię, bo jest pouczająca niezależnie od tematu: szacunek podany kiedyś w dobrej wierze potrafi żyć w projekcie miesiącami. Dopiero licznik kosztów wbudowany w panel pokazał prawdziwą liczbę. Odtąd każda złotówka wydana na dane jest widoczna w systemie.

Zanim system dostał prawdziwe kampanie

Przed pierwszą realną wysyłką przepuściliśmy system przez audyt z adwersaryjnym przeglądem — czyli takim, w którym jedna strona szuka błędów, a druga próbuje podważyć każde znalezisko. Wyszło z tego 26 napraw, w tym trzy, które mogłyby zaboleć: zabezpieczenie przed dwukrotną wysyłką do tej samej firmy, ograniczenie dostępu podglądowego do samego odczytu i wersjonowanie umowy o poufności.

To jest kolejność, którą polecam przy każdym systemie dotykającym danych osobowych i wysyłki: najpierw ktoś próbuje go zepsuć, potem wchodzą prawdziwe kampanie. Odwrotna kolejność też działa, tylko koszt błędu ponosi się na żywym kliencie.

Jak dobrać wagi, skoro nie ma danych historycznych

Pytanie zadaje każdy, kto słyszy o jawnych regułach: skąd wiadomo, że branża ma ważyć więcej niż wiek firmy? Odpowiedź jest mniej naukowa, niż ktoś by chciał, i całkowicie wystarczająca.

1. Wagi początkowe pochodzą od handlowca. Człowiek, który przez lata dzwonił do tych firm, wie, co je odróżnia. Siada się z nim i spisuje: co sprawia, że firma jest dobrym kandydatem, a co ją dyskwalifikuje.
2. Pierwsza tura sprawdza, czy punktacja ma sens. Bierze się kilkadziesiąt firm z góry listy i kilkadziesiąt z dołu, a handlowiec ocenia je z ręki, nie patrząc na punkty. Jeśli oceny się rozjeżdżają, błąd jest w wagach — i to jest cenna informacja, a nie porażka.
3. Wagi poprawia się po każdej kampanii. Skoro są jawne i zmienialne z panelu, korekta zajmuje minutę i nie wymaga wykonawcy.

Po roku takich korekt macie coś jeszcze cenniejszego niż działającą punktację: historię, na której da się nauczyć model, gdyby okazał się potrzebny. Kolejność „najpierw reguły, potem ewentualnie model” działa w obie strony; odwrotna nie.

Jedno narzędzie zamiast czterech

Punktacja jest sercem, ale sama w sobie niczego nie załatwia. Wartość tego wdrożenia bierze się z tego, że baza firm, wysyłka, strona z kalkulatorem i pipeline sprzedaży są jednym systemem, a nie czterema narzędziami spinanymi arkuszem.

Praktyczna konsekwencja: firma oceniona na 80 punktów, do której poszła wiadomość, która weszła na stronę i policzyła prowizję w kalkulatorze, jest w tym samym miejscu, w którym broker prowadzi rozmowę. Nie trzeba niczego przeklejać, a co ważniejsze — nie ma miejsca, w którym coś ginie.

Do tego uprawnienia: trzynaście osobnych zgód rozpisanych na cztery role, konfigurowalnych. Brzmi to jak przerost formy przy jednoosobowej firmie, ale jest tam z konkretnego powodu — system dotyka danych firm z rejestru i korespondencji, więc dostęp podglądowy musi być naprawdę tylko podglądem.

Punktacja to nie to samo co decyzja

Ostatnia rzecz, o której warto powiedzieć, bo bywa źródłem rozczarowań: punktacja nie mówi, do kogo zadzwonić. Mówi, w jakiej kolejności przeglądać listę.

Różnica jest istotna. Firma z oceną 30 nie jest firmą, do której nie warto dzwonić — jest firmą, która przy ograniczonym czasie poczeka. Jeśli handlowiec zrozumie to odwrotnie, system zacznie odcinać go od części rynku, i to bez niczyjej decyzji.

Dlatego w panelu widać nie tylko liczbę, ale i jej składowe. Handlowiec, który widzi „30 punktów, bo branża spoza profilu, ale wielkość i wiek na plus”, podejmuje decyzję świadomie. Handlowiec, który widzi samo „30”, po prostu przewija dalej.

Kiedy model jednak wygrywa

Żeby nie było, że jesteśmy przeciw: model ma sens, gdy macie tysiące zamkniętych spraw z wiedzą, które skończyły się sprzedażą, a zależności są zbyt zawiłe, żeby je wypisać w regułach. Wtedy warto — i wtedy dorzuca się do niego wyjaśnienie, dlaczego dana firma dostała taką ocenę, bo bez tego wracamy do punktu wyjścia.

Przy starcie od zera jawne reguły są nie tylko tańsze. Są jedyną wersją, której zespół sprzedaży będzie używał.