«Большие данные. Революция, которая изменит то, как мы живём, работаем и мыслим» Виктор Майер-Шенбергер, Кеннет Курьер

«Большие данные. Революция, которая изменит то, как мы живём, работаем и мыслим» Виктор Майер-Шенбергер, Кеннет Курьер: „Манн, Иванов и Фербер“, Москва 2014.

Дьявол обитает в мелочах

«Матрица повсюду. Она окружает нас. Даже сейчас, она с нами рядом…»

                                                        Фильм «Матрица»

Я стал профессионально интересоваться программированием, в тот момент, когда ленточные носители информации вытеснили карточные. До сих пор вспоминаю огромные пирамиды из коробок с перфокартами в компьютерном зале, как наследие прошлого. Но даже самые современные машины того времени уже не успевали угнаться за возрастающим количеством данных, необходимых для обработки. У меня была своя программа для вычисления аэродинамических характеристик летального аппарата, расчёт в пакетном режиме длился около недели, а выстроенная система уравнений, сводилась к матрице 5000*5000, решать которую уже приходилось итерационно, вводя поправку Кларка. Авиация требовала точных расчётов, и массив обрабатываемых данных продолжал стремительно расти. Недавно наткнулся на статью о современном методе расчёта, количество цифр в массиве информации исчислялось пугающим количеством нулей после единицы!

Так что же делать в этой ситуации, когда объём цифровых данных, согласно Гилберту, удваивается каждые три с лишним года? Ответ один — ни в коем случае не пренебрегать, а собирать, сохранять и накапливать! В отличии от большинства объектов материального мира, ценность данных не только не уменьшается, а большей частью растёт по мере их потребления. Массивы обрабатываются в различных алгоритмах, сочетаниях снова и снова! Этими массивами могут пользоваться десятки человек, не составляя конкуренции друг другу.

Мы живём в век ГЛОБАЛЬНОЙ информации, начиная от простой адресной книги в телефоне, заканчивая огромными массивами данных Google, Facebook, Amazon, переписью населения, картой звездного неба, данными из экспериментов в коллайдере и пр. Трудно установить истинную ценность данных, в связи с чем она больше напоминает океанический айсберг, где на виду лишь малая толика. Существуют целые рынки данных, используемые в коммерческих целях, объемы, которых достигают астрономической цифры. Так, в своё время при проведении оценки IPO, стоимость Facebook по стандартам бухучёта составляла 6.6 млрд $, а первоначальная рыночная стоимость аж 104 млрд.$!

Возможно, что с развитием методов сбора/обработки массивов данных отпадёт так обыденно используемое ресёчерами понятие выборки! Теперь для обработки данных появится новая группа специалистов – алгоритмисты – специалисты на стыке компьютерных наук, математики и статистики. Но здесь появляется «обратная» сторона медали. Любые секреты: частной жизни, политики, коммерции, как  бы строго они не охранялись, могут быть раскрыты на основе корреляций и далеко не всем это приходится по душе! А ведь простейшие опции в интернет сервисах, связанные с подсказками по выбору – это уже первые ласточки!

В любом случае, хотим мы это признать или нет, ЭПОХА БОЛЬШИХ ДАНЫХ уже наступила! И прозрачность наших действий приближается к горному хрусталю! Быть может это сможет изменить наш неспокойный и противоречивый мир к лучшему. Во всяком случае очень хочется в это верить. Ведь благодаря накопленным данным можно предсказывать с огромной точностью практически всё – начиная от вспышек эпидемий, заканчивая глобальными потрясениями! Данная книга именно об этом!

PS. Из школьной задачи: «Дан массив вещественных чисел, размер которого N…»

Козуля Игорь Иванович
Директор по маркетингу, MBA
Член Гильдии маркетологов