Poprzedni rok nie był w Polsce rokiem Big Data? No to 2014 będzie. Dotychczas słyszeliśmy o BD w bankowości i finansach, teraz usłyszymy o monitorowaniu sprzedaży w branży FMCG, a za dwa lata może nawet małe podmioty będą zainteresowane usługami Data Scientists.
W moim interesie jako osoby silnie zaangażowanej w temat (również od strony praktycznej) jest by mówić nie tylko o niewątpliwych korzyściach płynących z analizy Big Data, ale również o związanych z tym zjawiskiem zagrożeniach. Poniżej krótki przegląd.
Big Data to droga impreza, ale musisz na niej być
To, że nie każdy może pozwolić sobie na Big Data to jasne - nie trzeba być orłem, żeby zaobserwować kto korzysta z takich systemów. Banki, duże firmy energetyczne, instytucje finansowe. Powoli zaczyna go wykorzystywać również sektor publiczny (zwłaszcza system opieki zdrowotnej i policja). Czyli? Wielka Kasa.
Banał, prawda? Ano niekoniecznie. Niestety z tworzenia systemu Big Data wynikają problemy zwłaszcza dla tych przedsiębiorstw, które takiego systemu jeszcze nie wybudowały. Kogo z was nie irytuje, że wasz bank wysyła wam oferty, które nie tylko wcale was nie interesują, ale na które często nawet się nie łapiecie? No właśnie. Big Data to olbrzymia przewaga konkurencyjna. To zysk dla wizerunku firmy (wysyłamy ci tylko to, czego potrzebujesz, nie marnujemy twojego czasu) oraz szybsza reakcja na sygnały z rynku, w tym sytuacje kryzysowe.
No to pomyślmy teraz, co się stanie z małymi i średnimi przedsiębiorstwami?
Klucz jest w kompetencjach
Dobrze. Wiemy już, że na Big Data potrzebujemy środków. Jasne, możemy skorzystać z niektorych dostępnych narzędzi ocierających się o Big Data (mam tu na myśli dwie polskie firmy zajmujące się analizą Internetu - jedna po prostu monitoruje ruch sieciowy, druga oferuje też narzędzia takie jak analiza sentymentu), ale powiedzmy sobie szczerze - to absolutne minimum. Google Analytics z powodzeniem radzi sobie z większością tego typu problemów, a analiza sentymentu? Cóż. Skuteczność niewielka, a i przydatność dyskusyjna (obiecuję więcej o tym napisać w innym tekście). Każde przedsiębiorstwo to odosobniony przypadek. Z reguły potrzebuje unikalnych informacji. Wiedzy szytej na miarę.
Zdobycie takiej wiedzy możliwe jest wyłącznie dzięki osobom z odpowiednimi kompetencjami: po pierwsze w programowaniu, a po drugie w metodologii. I tu trzeba zaznaczyć: osoba odpowiedzialna za budowanie takiego systemu musi być biegła w obu dziedzinach, przy czym kompetencje metodologiczne wydają się nieco ważniejsze. Przede wszystkim musimy wiedzieć jakie dane zbierać i jak uzyskać z nich wiedzę.
Wiemy co, nie wiemy w jaki sposób
Jest to jeden z głównych problemów związanych z Big Data. Załóżmy, że firma z branży spożywczej monitoruje sprzedaż w swoich sklepach. Wyobraźmy sobie, że między 12 a 14 w południe drastycznie spada sprzedaż jakiegoś konkretnego towaru. Dobrze zaprojektowany system natychmiast to wykryje, ale rzadko odpowie na pytanie, dlaczego tak się dzieje. A właśnie odpowiedź na pytanie "jak?" będzie kluczowa by zaproponować rozwiązanie. To jeden z powodów, dla których Big Data i "klasyczne" badania rynkowe muszą się uzupełniać.
Pojawią się problemy techniczne
Na szczęście większość narzędzi służących do analizy dużych ilości danych jest darmowa (mówię przede wszystkim o narzędziach Hadoop, a także o R). Problem w tym, że po pierwsze - wymagają one dużych nakładów na systemy przechowywania i przetwarzania danych (dzięki chmurom nie jest to już aż taki problem), a po drugie - niektóre zadania wykonywane przy ich użyciu mogą okazać się wyjątkowo trudne. Zwłaszcza te oparte na algorytmach "machine-learningowych". Rzecz komplikuje się, gdy zdamy sobie sprawę, że flagowa technologia Big Data, czyli MapReduce nie sprawdza się do niektórych zadań tak jak SQL-owe bazy danych.
Co z tym zrobić? Cóż, zaufajcie specjalistom.
