Бигданные все чаще становятся проблемой для крупных корпораций. Термин "Большие данные" стоит как метафора для никчемной горы данных, в которой знания должны быть найдены. Добыча больших данных описывает статистические методы, используемые для поиска тенденций, перекрестных связей и новых данных. Данные ищется в массовых данных. Ручная обработка таких огромных массивов данных невозможна, поэтому приходится использовать компьютерные методы. Эти методы могут также использоваться для небольших объемов данных. Добыча данных обычно относится только к этапу анализа в рамках процесса.
Добыча данных и большие данные
С помощью интеллектуального анализа данных можно исследовать значительные объемы данных с помощью компьютерных программ. Термин "добыча данных" несколько вводит в заблуждение, поскольку речь идет не о генерации данных, а о извлечении знаний из данных. Этот термин стал популярным, главным образом, потому, что он короткий и точный. В целом, добыча данных может быть описана как процесс, в котором извлекаются знания, ранее неизвестные и считающиеся потенциально полезными. Bigdata используется для описания слишком сложных или больших объемов данных или просто слишком быстро меняющихся. Поэтому ручной ввод или обработка классическими методами невозможны. Собранные большие данные, которые будут использоваться для добычи данных, могут поступать из всех возможных источников. Они варьируются от электронных сообщений от компаний и органов власти до записей от систем мониторинга. Желание анализировать бигданные, чтобы использовать полученные знания, часто вступает в конфликт с личными правами других людей, поэтому желательно заранее защитить себя.
Горнодобывающая промышленность и большие данные: традиционные методы
Минжиниринг больших данных включает в себя анализ селекции и сбора данных. Незавершенные наборы данных удаляются и добавляются важные источники или значения для сравнения. Затем производится поиск данных по конкретным поведенческим моделям и представляются полученные результаты. Они изучаются и оцениваются экспертами, с тем чтобы можно было принять решение о том, может ли быть достигнута намеченная цель. Полученные знания включаются в новые исследования или используются в качестве параметров сравнения, чтобы результаты следующего поиска были еще более точными. Если раньше добыча данных в Bigdata использовалась в основном в IT, то все больше компаний проявляют интерес к используемым методам и значительному потенциалу Bigdata. В финансовом секторе добыча данных используется для выявления случаев мошенничества и проверки счетов-фактур. В кредитном скоринге Bigdata используется для расчета того, насколько высока вероятность дефолта. На сайте Маркетинг Минимум данных используется для расчета покупательского поведения покупателей и того, какие рекламные мероприятия интересуют потенциальных клиентов. В интернет-магазинах тележки анализируются, а затем меняются цены и расположение товаров. Кроме того, можно искать целевые группы для рекламных кампаний и изучать профили клиентов. В Интернете Bigdata Mining используется для обнаружения атак, рекомендации сервисов и анализа социальных сетей. Другими областями применения являются, например, медицина, библиометрия и медсестринское дело.
Вещи, которые нужно знать о Bigdata и Data Mining
Добыча больших данных или данных может считаться дисциплиной, нейтральной на научном уровне. При добыче данных можно анализировать данные из всех возможных источников. Однако, как только данные относятся к человеку, моральные и правовые коллизии могут быстро возникнуть. В основном они относятся не к анализу данных, а только к процессу извлечения. Данные, которые не были в достаточной степени анонимизированы, могут, при определенных обстоятельствах, быть отнесены к конкретным лицам. Поэтому при добыче данных Bigdata необходимо всегда следить за тем, чтобы данные были анонимизированы таким образом, чтобы нельзя было сделать выводы об отдельных лицах или группах лиц. В дополнение к правовым коллизиям следует отметить, что поднимаются моральные вопросы. Сомнительно, должны ли компьютеры быть авторизованы для разделения людей на "категории" или "классы". При добыче данных, например, люди изображаются как кредитоспособные или некредитоспособные. В целом, следует отметить, что сам процесс крайне ценностно-нейтральен и анонимен. Процедура не знает последствий и вероятности расчетов. Однако, как только люди сталкиваются с данными в реальном выражении, например, Шуфа, это может вызвать отчужденную, оскорбленную или удивленную реакцию. В поисковике гигант Google, в Google Analytics Данные о целевых группах представленных операторов сайта.
Возможности и перспективы на будущее
В глобализированном мире добыча данных из "Больших данных" становится все более актуальной. В прошлом американские компании могли определить, беременны ли их клиенты, основываясь на их покупательском поведении. На основе этих данных были целенаправленно разосланы ваучеры на покупку и советы по покупке, что привело к увеличению объема продаж. В связи с характером покупок можно было даже предсказать дату рождения, хотя и не на день. Сегодня добыча данных из Big Data имеет большое значение для компаний. Благодаря целенаправленному извлечению данных из "Больших данных" можно получить значительное представление о пользователях и потенциальных клиентах. Добыча данных, в конечном счете, ведет к увеличению продаж и прибыли и поэтому в будущем станет еще более важной. Неудивительно: в глобализированном и технически сложном мире сбор данных сейчас является нормальным явлением и в ближайшем будущем станет еще более важным.
