Українські підприємства починають упроваджувати технології Big Data і монетизувати “великі дані”

Технології Big Data прийнято визначати трьома основними характеристиками, так званими трьома V: обсягом, швидкістю та різноманіттям даних (Volume, Velocity, Variety). Що роблять українські підприємства зі своїми “великими даними” (див. “Людською мовою”) для того, щоб у цих технологій з’явилася четверта V — цінність (Value)?

Людською мовою

Великі дані (big data) — комплекс інноваційних методів, технологій та інструментів обробки даних величезного обсягу та різного формату для отримання результатів, що сприймаються людиною

Глобальна цінність
Мільйони активних клієнтів, мільярди транзакцій, мілісекунди для ухвалення рішень… Для багатьох компаній такі показники — уже не мрія, а реальність, з якою вони працюють щодня.

Як Google визначає, яку рекламу показувати саме вам? Як сервіс “Яндекс.Пробки” прокладає маршрути? Як супермаркети формують персональні пропозиції для своїх клієнтів за картками лояльності?

Відповідь на всі ці запитання однакова і коротко звучить так: “Використовуючи технології Big Data”. Трохи докладніше про технологію та її ефективність розповімо на прикладах кількох компаній.

Компанія Amazon (e-commerce; 237 млн активних клієнтів) використовує засоби Big Data для надання клієнтам персоніфікованих пропозицій щодо купівлі товарів на основі аналізу їхнього минулого досвіду.

Програмне забезпечення сервісу Amazon.com прогнозує, що саме клієнт робитиме найближчі п’ять секунд і протягом найближчих п’яти тижнів…

Платіжна система Visa (2,4 млрд випущених карток; 103 млрд транзакцій на рік) має підсистему запобігання шахрайству з картками, побудовану на основі технологій Big Data.

“Антишахрай” відстежує до 500 параметрів кожної операції та використовує до 16 моделей для
виявлення можливих шахрайських дій. Така підсистема за рік допомагає запобігти шахрайським операціям приблизно на $2 млрд.

Промислова корпорація General Electric використовує для промислового інтернету систему Predix, що функціонує на базі технологій Big Data. Вона контролює й аналізує дані, що надходять із 10 млн датчиків, встановлених на різному обладнанні, яке виробляє компанія (наприклад, з 28 тис. реактивних двигунів і 1,4 млн медичних приладів щодня надходить близько 50 млн елементів даних).

Це дає змогу контролювати працездатність обладнання та знижувати витрати на його експлуатацію. Нещодавно GE відкрила своє “велике” рішення для інших промпідприємств і очікує $4-5 млрд додаткових доходів на рік.

На нещодавньому “Всесвітньому дні шопінгу”, який щороку проводить китайська компанія Alibaba, до продажу пропонувалися понад 6 млн найменувань товарів понад 40 тис. продавців. У моменти пікового навантаження 45 млн користувачів одночасно були в мережі.

Сумарний обсяг онлайн-продажів за добу перевищив $14 млрд. Одне з найважливіших завдань подібних мегазаходів — захист безпеки платежів — вирішувалося з використанням інструментів Big Data.

Бізнес-інтерес

Світовий ринок засобів Big Data, згідно з прогнозом компанії IDC на 2014-2019 рр., зростатиме із середньорічним темпом у 23% і до кінця періоду його річний обсяг сягне майже $49 млрд.

Інтерес до подібних технологічних та аналітичних рішень активно виявляють компанії з різних сегментів бізнесу. І насамперед представники таких галузей, як виробництво, рітейл, банківська справа, медіа, телекомунікації, фінанси, маркетинг, інвестиції тощо.

Згідно з дослідженням, проведеним компанією Gartner серед 437 великих компаній із різних сфер діяльності, 75% з них уже інвестують капітал у розвиток IT, що належать до сфери Big Data, або збираються це робити найближчими двома роками.

Кінцеві цілі в компаній, які впроваджують нові технології збирання та обробки “великих даних”, різні, при цьому в більшості їх кілька.

Для отримання реальної картини інтересів бізнесу в лютому 2015 р. було проведено дослідження Economist Intelligent Unit, у ході якого опитувалися 550 провідних компаній світу, що представляють різні галузі.

У підсумку з’ясувалося, що левова частка респондентів очікує, що впровадження аналітики Big Data допоможе їм підвищити ефективність бізнесу або грамотно вибрати стратегічний напрям подальшого розвитку. Такими виявилися очікування, відповідно, у 39% і 31% опитаних (докладніше — див. “Очікування…”).

В Україні компанії за допомогою технологій Big Data, як показало опитування автора статті, поки що розв’язують дрібніші завдання. Найчастіше респонденти називали такі варіанти: 

вивчення досвіду взаємодії з клієнтом і вибір найкращої моделі продовження співпраці;
створення більш персоніфікованих і таргетованих маркетингових пропозицій;
оптимізація бізнес-процесів у компанії;
скорочення витрат.

При цьому майже всі опитані експерти були одностайні в думці: “монетизація” результатів аналізу даних, зокрема й Big Data, має бути основною метою всього процесу роботи з даними в бізнесі.

“Великі” інвестиції

На жаль, процес “вилучення” бізнес-цінності з “великих даних” не завжди проходить гладко. Дмитро Федюков, програмний директор IT-компанії Syntegra, розповів, що типова проблема бізнесу, особливо великого, полягає в тому, що на інформаційні технології витрачається ціле багатство, а що далі робити, багато компаній не знають.

“Найпроблематичнішою є дилема, чи готовий бізнес до того, щоб не лише накопичувати й навіть аналізувати дані, а й убудовувати результати такого аналізу в усталені бізнес-процеси”, — каже п. Федюков.

І з такими складнощами стикаються багато компаній, причому не лише в Україні. Так, згідно з дослідженням аналітичної компанії Molten, присвяченим стану справ у найбільших світових компаніях нафтогазового сектору, ці компанії інвестують по $1-3 млрд у збирання даних, тоді як витрати на власне обробку та аналіз цих даних становлять усього 1% цієї суми.

Як вирішити цю проблему і не “заморозити” весь IT-бюджет підприємства в незатребувані згодом інфраструктуру та програмне забезпечення для роботи з даними?

Борис Концевий, СЕО й засновник IТ-компанії Intetics, вважає, що будь-яка компанія, яка планує інвестувати капітал у розвиток інфраструктури для роботи з Big Data, насамперед має відповісти на запитання, який стан справ з аналізом даних у неї зараз. 

Експерт вважає, що чим складніше бізнес-завдання, яке розв’язує компанія, тим розгалуженішою має бути інфраструктура з роботи з даними та з їх аналізу і, відповідно, тим більшими мають бути інвестиції в Big Data (докладніше див. “Взаємозв’язок…” на с.28). 

На думку п. Концевого, аналітика, яку зараз використовують українські підприємства, — початкових рівнів (переважно “Звітність” і “Описова аналітика”), але компанії вже починають оцінювати, як найкраще впровадити технології Big Data.

Ринок, що зростає

Аналітичні компанії звіти досліджень українського ринку Big Data ще не публікують.

Проте опитані БІЗНЕСом експерти заявляють, що впроваджень цієї технології в Україні вже чимало.

Зокрема, наводять приклади впроваджень у виробничих і страхових компаніях, на IT-ринку, в ігровій індустрії та навіть у держсекторі. На наш погляд, показовий проект з використання технологій Big Data в компанії Global Spirits (один з найбільших у Східній Європі алкогольних холдингів).

Дмитро Горлін, CIO компанії, розповів БІЗНЕСу, що питання про впровадження “просунутої аналітики” постало, коли компанія спробувала підвищити ефективність роботи з клієнтами.

Для розв’язання цього завдання впровадили систему онлайн-замовлень, налагодили процес збирання та зберігання даних про продажі, замовлення й анкетні дані клієнтів. А потім вибудували систему “просунутого аналізу”, результати якого органічно вбудували в процес продажів.

Тепер компанія, за словами п. Горліна, точно знає, як краще організовувати роботу з кожним клієнтом, які з акційних пропозицій якій аудиторії пропонувати, чим відповідати на акції конкурентних брендів, які комплексні пропозиції будуть більш затребуваними.

А ще “дозволяє” своїм клієнтам завантажувати інформацію на вебпортал для онлайн-замовлень у будь-якому зручному їм вигляді, оскільки вбудовані алгоритми машинного навчання (Machine Learning) самостійно розпізнають інформацію та структурують її відповідно до вимог порталу (точність розпізнавання досягає 95%).

Нові інструменти припали до душі клієнтам. У своєму персональному кабінеті кожен клієнт бачить, які пропозиції є акційними та які з продуктових позицій замовляють його “сусіди” (на основі аналізу історії продажів і GPS-координат).

Як результат, частка онлайн-замовлень збільшується й уже зараз досягає 25% загальної кількості замовлень. У торгових агентів час роботи “на точці” скоротився з 20 хвилин до 13.

Використовувані аналітичні підходи дали змогу отримати й нові знання. Дмитро Горлін розповідає, що навіть для професіоналів ринку деякі залежності, які допомогли визначити математичні моделі, виявилися несподіваними.

Наприклад, було виявлено, як корелюють між собою продажі винних брендів, і навіть факт кореляції обсягів реалізації Coca-Cola і продукції горілчаних брендів. Такі знання дають змогу результативніше формувати комплексні пропозиції.

На форумі “Big Data: культура ефективного управління даними”, що відбувся наприкінці минулого року в Києві, прозвучали й інші приклади застосування технологій Big Data українськими компаніями.

Так, Ігор Філіпенко, заступник голови правління АСК “ІНГО Україна”, розповів, що в його страховій компанії зараз реалізується пілотний проект із впровадження технології збирання й аналізу даних про стиль водіння автомобілістів для подальшого встановлення індивідуального тарифу на страхування автомобіля.

Для цього спеціальний прилад підключається до систем керування автомобілем і фіксує різні параметри їзди: відстань, швидкість, прискорення, гальмування тощо. “Довгостроковою метою цього проекту є перехід до концепції “розумного страхування”, — пояснює п. Філіпенко.

— Відчутний економічний ефект, що виражається в підвищенні прибутковості страхової діяльності в сегменті КАСКО, можна отримати за повномасштабного запуску проекту, коли система буде впроваджена на тисячах автомобілів клієнтів і буде накопичено достатній масив статистичної інформації”.

Крім того, в компанії на базі наявної системи зберігання даних і доступу до них
уже впроваджені аналітичні інструменти, що належать до класу прогнозної аналітики. Наприклад, побудована й проходить дослідну експлуатацію модель передбачення відтоку клієнтів. Зараз, за інформацією страховиків, точність моделі досягає 71%.

Хоча технології Big Data в Україні використовуються поки що в невеликих обсягах, підприємствам, особливо великому бізнесу, найближчим часом доведеться освоювати їх, зокрема й методи складної аналітики, вважає Дмитро Федюков.

“Головним стимулом впровадження буде жорсткіша конкуренція. Український ринок стає відкритішим, на нього приходять світові компанії, які вже використовують прогнозну й навіть приписувальну аналітику, вбудовану в їхні процеси, — каже експерт.

— І щоб виживати, а тим більше розвиватися, вітчизняному бізнесу доведеться стати гнучкішим, адаптивнішим. Технологічні рішення й аналітичні методи, що входять до “парасолькового терміна” Big Data, можуть забезпечити таку гнучкість”.

І необов’язково, кажуть експерти, спочатку ставити завдання-максимум впровадити аналітичні системи роботи з “великими даними”.

На думку Теймураза Синіцина, директора з виробництва компанії Intetics, якщо підприємство вже споживає аналітику й застосовує її результати, варто замислитися над тим, як зменшити час на отримання результату.

Апогеєм при цьому є збирання даних та їх аналіз в онлайн-режимі. Якщо ж компанія ще не використовує “великі дані”, слід приступати до збирання всіх даних, які “генерує” бізнес, — транзакції, фінансові показники тощо.

І коли з’явиться розуміння, як використовувати аналітику, уже буде накопичено статистичну інформацію, вважає п. Синіцин.

Олена Молдавська,
бізнес-аналітик компанії Intetics, канд.екон.наук

Азбука технології

Витоки й суть Big Data

Відомій фразі Натана Ротшильда: “Хто володіє інформацією, той володіє світом”, уже близько 200 років. І весь цей час вона підтверджує свою слушність. Ніхто вже й не сперечається, що інформація — це цінний актив. Термінові “Big Data” майже 20 років, але, як виявилося, парадигма — та сама.

За 200 років інформаційний простір змінився невпізнанно, але “ротшильди” нашого часу й зараз чітко розуміють важливість володіння інформацією, якої стає дедалі більше. 

Обсяг оцифрованої інформації у світі збільшується за експонентою. 

Згідно з дослідженням компанії IDC, з 2013 р. до 2020 р. він виросте в 10 разів — з 4,4 зеттабайта до 44 (див. “Приріст обсягів…” на с.27 і “Z-вимір…”). Але в 2013 р. лише четверта частина накопиченої інформації могла бути проаналізована і менш ніж 5% фактично аналізувалося.

До 2020 р. очікується, що завдяки активному впровадженню та розвитку технологій, які мають пряме чи опосередковане відношення до Big Data, частка інформації, що підлягає аналізу, збільшиться в 7 разів — до 35%.

Щоб величезні масиви даних стали інформаційним активом, їх необхідно вміти накопичувати, зберігати й обробляти. Такі процедури є необхідними складовими будь-якого процесу управління даними, а у випадку з Big Data кожен із цих кроків потребує специфічних, нетривіальних підходів.

Зараз для роботи з великими обсягами даних неоднорідної структури вже створені альтернативні способи їх зберігання, наприклад, у розподілених файлових системах, коли інформація зберігається на кількох (іноді тисячах) жорстких дисках.

А для раціональної організації зберігання даних класу Big Data використовуються спеціально розроблені нові технології на кшталт Hadoop, NoSQL database, MPP databases та ін. Для подальшого аналізу “великих даних” використовуються алгоритми розподілених обчислень типу Map-Reduce.

Технології ж на кшталт in-memory СУБД покликані забезпечити необхідну швидкість доступу до даних та їх обробки. Для вилучення з масивів даних корисної аналітичної інформації використовується весь арсенал “видобутку” засобів Data Mining та інші інструменти.

Комплексні рішення для роботи з Big Data на IT-ринку пропонують уже чимало компаній. І насамперед — лідери IT-індустрії: Microsoft, IBM, SAP, SAS, Oracle, Google, Amazon.
У деяких із них є безкоштовні open-source-рішення.

Це насамперед Hadoop від Apache, а також Spark, Cassandra, MongoDB та ін. Вони дуже популярні в користувачів, тому що дають змогу гнучко вбудовувати нове ПЗ в наявну інфраструктуру й економити IT-бюджети.