Bigdata staje się coraz większym wyzwaniem dla dużych korporacji. Termin "Big Data" jest metaforą bezwartościowej góry danych, w której należy szukać wiedzy. Bigdata mining opisuje metody statystyczne wykorzystywane do wyszukiwania trendów, powiązań i nowych danych. Dane jest poszukiwany w danych masowych. Ręczne przetwarzanie tak dużych zbiorów danych nie jest możliwe, dlatego konieczne jest stosowanie metod wspomaganych komputerowo. Metody te mogą być również stosowane dla mniejszych ilości danych. Eksploracja danych odnosi się zazwyczaj tylko do etapu analizy w ramach tego procesu.
Data Mining i Big Data
Dzięki eksploracji danych, znaczne ilości danych mogą być badane przez programy wspomagane komputerowo. Termin "data mining" jest nieco mylący, ponieważ nie chodzi tu o generowanie danych, ale o wydobywanie wiedzy z danych. Termin ten stał się popularny głównie dlatego, że jest krótki i precyzyjny. Ogólnie rzecz biorąc, eksplorację danych można opisać jako proces, w którym wydobywana jest wiedza, która była wcześniej nieznana i uważana za potencjalnie użyteczną. Bigdata służy do opisu ilości danych, które są zbyt złożone lub duże lub po prostu zbyt szybko się zmieniają. Ręczne wprowadzanie lub przetwarzanie metodami klasycznymi jest zatem niemożliwe. Zebrane bigdane, które mają być wykorzystane do eksploracji danych, mogą pochodzić ze wszystkich możliwych źródeł. Począwszy od komunikacji elektronicznej firm i urzędów, aż po zapisy z systemów monitoringu. Pragnienie analizowania bigdanych w celu wykorzystania zdobytej wiedzy często stoi w sprzeczności z prawami osobistymi innych osób, dlatego też zaleca się wcześniejszą ochronę.
Górnictwo danych i duże ilości danych: metody konwencjonalne
Eksploracja danych Big Data polega na analizowaniu selekcji i zbiorów danych. Niekompletne zestawy danych są usuwane i dodawane są ważne źródła lub wartości porównawcze. Następnie dane te są wyszukiwane pod kątem określonych wzorców zachowań, a uzyskane wyniki są prezentowane. Są one badane i oceniane przez ekspertów, aby można było podjąć decyzję, czy zamierzony cel może zostać osiągnięty. Zdobyta wiedza jest wykorzystywana w kolejnych badaniach lub jako parametry porównawcze, dzięki czemu wyniki kolejnych poszukiwań są jeszcze dokładniejsze. O ile wcześniej eksploracja danych w Bigdata była wykorzystywana głównie w IT, o tyle obecnie coraz więcej firm zaczyna interesować się stosowanymi metodami i znacznym potencjałem Bigdata. W sektorze finansowym eksploracja danych jest wykorzystywana do wykrywania oszustw i weryfikacji faktur. W scoringu kredytowym Bigdata jest wykorzystywana do obliczania, jak wysokie jest prawdopodobieństwo niewykonania zobowiązania. Na stronie Marketing Data mining służy do obliczania zachowań zakupowych klientów oraz tego, jakimi działaniami reklamowymi zainteresowani są potencjalni klienci. W sklepach internetowych analizowane są koszyki zakupowe, a następnie zmieniane są ceny i rozmieszczenie produktów. Ponadto można wyszukiwać grupy docelowe dla kampanii reklamowych i badać profile klientów. W Internecie, Bigdata Mining jest wykorzystywany do wykrywania ataków, rekomendowania usług i analizowania sieci społecznych. Inne obszary zastosowań to na przykład medycyna, bibliometria i pielęgniarstwo.
Rzeczy, które warto wiedzieć o Bigdata i Data Mining
Bigdata lub data mining można uznać za dyscyplinę neutralną na płaszczyźnie naukowej. W eksploracji danych można analizować dane pochodzące z wszelkich możliwych źródeł. Jednakże, gdy tylko dane odnoszą się do osoby, szybko mogą pojawić się konflikty moralne i prawne. W większości przypadków nie odnoszą się one do analizy danych, a jedynie do procesu ich pozyskiwania. Dane, które nie zostały dostatecznie zanonimizowane, mogą w pewnych okolicznościach zostać przypisane do konkretnych osób. Dlatego też przy eksploracji danych Bigdata należy zawsze zadbać o anonimizację danych w taki sposób, aby nie można było wyciągać wniosków na temat osób lub grup osób. Oprócz konfliktów prawnych należy zauważyć, że pojawiają się również kwestie moralne. Wątpliwe jest, czy komputery powinny być uprawnione do dzielenia ludzi na "kategorie" lub "klasy". W eksploracji danych, na przykład, ludzie są przedstawiani jako posiadający lub nieposiadający zdolności kredytowej. Ogólnie rzecz biorąc, należy zauważyć, że sam proces jest niezwykle neutralny pod względem wartości i anonimowy. Procedura nie zna konsekwencji i prawdopodobieństwa obliczeń. Jednak gdy tylko ludzie zostaną skonfrontowani z danymi w rzeczywistości, na przykład przez Schufę, może to wywołać reakcje wyobcowania, urazy lub zdziwienia. W wyszukiwarkowym gigancie Google, w Google Analytics Dane dotyczące grup docelowych podanych przez operatorów stron internetowych.
Możliwości i perspektywy na przyszłość
W zglobalizowanym świecie eksploracja danych z Big Data staje się coraz bardziej istotna. W przeszłości amerykańskie przedsiębiorstwa były w stanie określić, czy ich klienci są w ciąży, czy też nie, na podstawie ich zachowań zakupowych. Na podstawie tych ustaleń bony zakupowe i wskazówki dotyczące zakupów były wysyłane w sposób ukierunkowany, co zwiększyło sprzedaż. Ze względu na charakter zakupów można było nawet przewidzieć datę urodzenia, choć nie do dnia. Data Mining z Big Data ma dziś ogromne znaczenie dla firm. Dzięki ukierunkowanej eksploracji danych z Big Data można uzyskać istotne informacje na temat użytkowników i potencjalnych klientów. Eksploracja danych prowadzi ostatecznie do zwiększenia sprzedaży i zysków, a zatem stanie się jeszcze ważniejsza w przyszłości. Nic dziwnego: w zglobalizowanym i technicznie zaawansowanym świecie gromadzenie danych jest teraz normalne i w najbliższej przyszłości stanie się jeszcze ważniejsze.
