Терминът „Големи данни“ може да е разпознаваем днес, но все още има доста объркване около него относно това какво всъщност означава. В интерес на истината концепцията непрекъснато се развива и се предефинира, тъй като остава движещата сила зад много продължаващи вълни на цифрова трансформация, включително изкуствен интелект, наука за данни и Интернет на нещата. Но какво представлява технологията Big-Data и как тя променя нашия свят? Нека се опитаме да разберем същността на технологията Big Data и какво означава тя с прости думи.

Удивителният растеж на големите данни

Всичко започна с експлозия в количеството данни, които сме създали от зората на дигиталната ера. Това до голяма степен се дължи на развитието на компютрите, интернет и технологиите, които могат да „грабят“ данни от света около нас. Данните сами по себе си не са ново изобретение. Дори преди ерата на компютрите и базите данни ние използвахме хартиени записи на транзакции, записи на клиенти и архивни файлове, които представляват данни. Компютрите, особено електронните таблици и базите данни, ни улесниха да съхраняваме и организираме данни в голям мащаб. Изведнъж информацията беше достъпна само с едно кликване.

Ние обаче изминахме дълъг път от оригиналните таблици и бази данни. Днес на всеки два дни създаваме толкова данни, колкото сме получили от самото начало до 2000 година. Точно така, на всеки два дни. И количеството данни, които създаваме, продължава да расте експоненциално; до 2020 г. обемът на наличните цифрова информацияще се увеличи от приблизително 5 зетабайта на 20 зетабайта.

В днешно време почти всяко действие, което предприемаме, оставя своя отпечатък. Ние генерираме данни всеки път, когато влизаме онлайн, когато носим смартфоните си, оборудвани с търсачка, когато говорим с приятелите си чрез социални мрежи или чатове и т.н. Освен това количеството машинно генерирани данни също нараства бързо. Данните се генерират и споделят, когато нашите умни домашни устройства комуникират помежду си или със своите домашни сървъри. Индустриалното оборудване в заводите и фабриките все повече се оборудва със сензори, които натрупват и предават данни.

Терминът „Големи данни“ се отнася до събирането на всички тези данни и нашата способност да ги използваме в наша полза в широк спектър от области, включително бизнес.

Как работи технологията Big-Data?

Големите данни работят на принципа: колкото повече знаете за конкретен предмет или явление, толкова по-надеждно можете да постигнете ново разбиране и да предвидите какво ще се случи в бъдеще. Докато сравняваме повече точки от данни, се появяват връзки, които преди са били скрити, и тези връзки ни позволяват да се учим и да вземаме по-добри решения. Най-често това се прави чрез процес, който включва изграждане на модели въз основа на данните, които можем да съберем, и след това стартиране на симулации, които настройват стойностите на точките от данни всеки път и проследяват как те влияят на нашите резултати. Този процес е автоматизиран – съвременната технология за анализ ще изпълнява милиони от тези симулации, променяйки всяка възможна променлива, докато намерят модел – или идея – която помага за решаването на проблема, върху който работят.

Бил Гейтс виси над хартиеното съдържание на един компактдиск

Доскоро данните бяха ограничени до електронни таблици или бази данни - и всичко беше много организирано и спретнато. Всичко, което не можеше лесно да се организира в редове и колони, се смяташе за твърде сложно за работа и беше игнорирано. Напредъкът в съхранението и анализите обаче означава, че можем да улавяме, съхраняваме и обработваме голям бройданни от различен тип. В резултат на това „данните“ днес могат да означават всичко – от бази данни до снимки, видеоклипове, звукозаписи, писмени текстове и сензорни данни.

За да осмислят всички тези объркани данни, проектите, базирани на големи данни, често използват авангардни анализи, използвайки изкуствен интелект и компютърно обучение. Преподаване изчислителни машиниопределят кои са конкретните данни - например чрез разпознаване на образи или обработка естествен език– можем да ги научим да идентифицират модели много по-бързо и по-надеждно от нас самите.

Как се използват големи данни?

Този непрекъснато нарастващ поток от сензорни данни, текст, глас, снимки и видео данни означава, че сега можем да използваме данни по начини, които биха били невъобразими само преди няколко години. Това носи революционни промени в света на бизнеса в почти всяка индустрия. Днес компаниите могат да предвидят с невероятна точност кои конкретни категории клиенти ще искат да направят покупка и кога. Големите данни също помагат на компаниите да извършват своите дейности много по-ефективно.

Дори извън бизнеса, проектите, свързани с Big Data, вече помагат да променим нашия свят по различни начини:

• Подобряване на здравеопазването – Медицината, управлявана от данни, има способността да анализира огромно количество медицинска информация и изображения в модели, които могат да помогнат за откриване на заболяване на ранен етап и разработване на нови лекарства.
• Прогнозиране и реагиране при природни и причинени от човека бедствия. Данните от сензори могат да бъдат анализирани, за да се предвиди къде има вероятност да се случат земетресения, а моделите на човешкото поведение предоставят улики, които помагат на организациите да предоставят помощ на оцелелите. Технологията Big Data също се използва за проследяване и защита на потока от бежанци от военни зони по света.
• Предотвратяване на престъпността. Полицейските сили все повече използват стратегии, базирани на данни, които включват тяхната собствена разузнавателна информация и информация от свободен достъпза по-ефективно използване на ресурсите и предприемане на възпиращи мерки, когато е необходимо.

Най-добрите книгиза технологията Big-Data

• Всички лъжат. Търсачките, Big Data и Интернет знаят всичко за вас.
• ГОЛЯМА ИНФОРМАЦИЯ. Всички технологии в една книга.
• Индустрия на щастието. Как големите данни и новите технологии помагат да се добави емоция към продуктите и услугите.
• Революция в аналитиката. Как да подобрите бизнеса си в ерата на Big Data с помощта на оперативен анализ.

Проблеми с Big Data

Големите данни ни дават безпрецедентни идеи и възможности, но също така повдигат проблеми и въпроси, които трябва да бъдат разгледани:

• Поверителност на данните – Големите данни, които генерираме днес, съдържат много информация за нашия личен живот, на чиято поверителност имаме пълно право. Все повече и повече от нас се иска да балансираме количеството лични данни, които разкриваме, с удобството, което предлагат базираните на големи данни приложения и услуги.
• Сигурност на данните - Дори и да решим, че сме доволни от това, че някой разполага с нашите данни за конкретна цел, можем ли да му се доверим, че ще пази данните ни в безопасност и сигурност?
• Дискриминация на данни - след като цялата информация е известна, ще бъде ли приемливо да се дискриминират хора въз основа на данни от личния им живот? Вече използваме кредитни рейтинги, за да решим кой може да вземе пари назаем, а застраховката също е силно управлявана от данни. Трябва да очакваме да бъдем анализирани и оценени по-подробно, но трябва да се внимава това да не затрудни живота на хората с по-малко ресурси и ограничен достъп до информация.

Изпълнението на тези задачи е важен компонент на Big Data и трябва да бъде адресирано от организации, които искат да използват такива данни. Неспазването на това може да направи бизнеса уязвим не само по отношение на неговата репутация, но също така юридически и финансово.

С поглед към бъдещето

Данните променят нашия свят и живота ни с безпрецедентна скорост. Ако Big Data са способни на всичко това днес, само си представете на какво ще бъдат способни утре. Количеството данни, с които разполагаме, само ще се увеличава, а технологията за анализ ще става още по-напреднала.

За бизнеса способността за прилагане на Big Data ще става все по-важна през следващите години. Само онези компании, които гледат на данните като на стратегически актив, ще оцелеят и ще процъфтяват. Тези, които пренебрегват тази революция, рискуват да бъдат изоставени.

По едно време чух термина „Големи данни“ от Герман Греф (шеф на Сбербанк). Казват, че сега работят активно по внедряването, защото това ще им помогне да намалят времето, в което работят с всеки клиент.

Вторият път, когато се натъкнах на тази концепция беше в онлайн магазин на клиент, върху който работихме и увеличихме асортимента от няколко хиляди до няколко десетки хиляди артикула.

Третият път видях, че Yandex изисква анализатор на големи данни. Тогава реших да се задълбоча в тази тема и в същото време да напиша статия, която ще разкаже какъв термин вълнува умовете на ТОП мениджърите и интернет пространството.

VVV или VVVVV

Обикновено започвам всяка своя статия с обяснение какъв е този термин. Тази статия няма да бъде изключение.

Това обаче се дължи преди всичко не на желанието да покажа колко съм умен, а на факта, че темата е наистина сложна и изисква внимателно обяснение.

Например, можете да прочетете какво представляват големите данни в Уикипедия, да не разберете нищо и след това да се върнете към тази статия, за да разберете дефиницията и приложимостта за бизнеса. И така, нека започнем с описание и след това с примери за бизнеса.

Големите данни са големи данни. Удивително, нали? Всъщност това се превежда от английски като „големи данни“. Но това определение, може да се каже, е за манекени.

важно. Технологията за големи данни е подход/метод за обработка на повече данни за получаване на нова информация, която е трудна за обработка с помощта на конвенционални методи.

Данните могат да бъдат обработени (структурирани) или разпръснати (т.е. неструктурирани).

Самият термин се появи сравнително наскоро. През 2008 г. научно списание прогнозира, че този подход е необходим за работа с големи количества информация, които нарастват експоненциално.

Така например всяка година информацията в интернет, която трябва да се съхранява и разбира се обработва, се увеличава с 40%. Отново. +40% Нова информация се появява в Интернет всяка година.

Ако отпечатаните документи са ясни и методите за обработката им също са ясни (прехвърлете в електронен изглед, шийте в една папка, номер), тогава какво да правите с информация, която е представена в напълно различни „носители“ и други обеми:

• Интернет документи;
• блогове и социални мрежи;
• аудио/видео източници;
• измервателни уреди;

Има характеристики, които позволяват информацията и данните да бъдат класифицирани като големи данни.

Тоест не всички данни може да са подходящи за анализ. Тези характеристики точно предполагат ключова концепцияголяма дата. Всички те се вписват в три Vs.

1. Обем (от английски том). Данните се измерват по отношение на физическия обем на „документа“, който трябва да се анализира;
2. Скорост (от английската скорост). Данните не стоят неподвижни в своето развитие, а непрекъснато нарастват, поради което е необходима бърза обработка за получаване на резултати;
3. Вариете (от английското разнообразие). Данните може да не са в същия формат. Тоест те могат да бъдат разпръснати, структурирани или частично структурирани.

Въпреки това, от време на време към VVV се добавя четвърто V (достоверност) и дори пето V (в някои случаи това е жизнеспособност, в други е стойност).

Някъде дори видях 7V, което характеризира данни, свързани с големи данни. Но според мен това е от серия (където периодично се добавят P, въпреки че първоначалните 4 са достатъчни за разбиране).

Кому е нужно това?

Възниква логичен въпрос: как можете да използвате информацията (ако изобщо големите данни са стотици и хиляди терабайти)? Дори не това.

Ето информацията. Тогава защо беше измислена голяма дата? Каква е ползата от големи данни в маркетинга и бизнеса?

1. Конвенционалните бази данни не могат да съхраняват и обработват (в момента дори не говоря за анализи, а просто за съхранение и обработка) голямо количествоинформация.

   Големите данни решават този основен проблем. Успешно съхранява и управлява големи обеми информация;

2. Структурира информацията, идваща от различни източници (видео, изображения, аудио и текстови документи) в една единствена, разбираема и смилаема форма;
3. Генериране на анализи и създаване на точни прогнози на базата на структурирана и обработена информация.

Сложно е. Казано по-просто, всеки търговец, който разбира, че ако изучавате голямо количество информация (за вас, вашата компания, вашите конкуренти, вашата индустрия), можете да получите много прилични резултати:

• Пълно разбиране на вашата компания и вашия бизнес от страна на числата;
• Проучете вашите конкуренти. А това от своя страна ще даде възможност да се изпревари, като ги доминира;
• Открийте нова информация за вашите клиенти.

И точно защото технологията за големи данни дава следните резултати, всички се втурват с нея.

Те се опитват да включат този бизнес в своята компания, за да увеличат продажбите и да намалят разходите. И ако конкретно, тогава:

1. Увеличаване на кръстосаните продажби и допълнителни продажби поради по-добро познаване на предпочитанията на клиентите;
2. Търсене на популярни продукти и причини, поради които хората ги купуват (и обратното);
3. Подобряване на продукт или услуга;
4. Подобряване нивото на обслужване;
5. Повишаване на лоялността и фокуса върху клиента;
6. Предотвратяване на измами (по-актуално за банковия сектор);
7. Намаляване на ненужните разходи.

Най-често срещаният пример, който се дава във всички източници, е, разбира се, компанията Apple, която събира данни за своите потребители (телефон, часовник, компютър).

Именно поради наличието на екосистема корпорацията знае толкова много за своите потребители и впоследствие използва това, за да реализира печалба.

Можете да прочетете тези и други примери за използване във всяка друга статия освен тази.

Да отидем в бъдещето

Ще ви разкажа за друг проект. Или по-скоро за човек, който гради бъдещето, използвайки решения за големи данни.

Това е Илон Мъск и неговата компания Tesla. Основната му мечта е да направи автомобилите автономни, тоест сядаш зад волана, включваш автопилота от Москва до Владивосток и... заспиваш, защото изобщо не е нужно да караш колата, защото тя ще направи всичко само по себе си.

Ще изглежда фантастично? Но не! Просто Илон постъпи много по-мъдро от Google, който контролира колите с помощта на десетки сателити. И той тръгна в другата посока:

1. Всяка продадена кола е оборудвана с компютър, който събира цялата информация.

   Всичко - това означава всичко. За шофьора, неговия стил на шофиране, пътищата около него, движението на други автомобили. Обемът на такива данни достига 20-30 GB на час;

2. По-нататък тази информация на сателитни комуникациипрехвърлен към централен компютъркой обработва тези данни;
3. Въз основа на обработени големи данни този компютър, се изгражда модел на безпилотен автомобил.

Между другото, ако Google се справя доста зле и колите им постоянно катастрофират, то Мъск, поради факта, че работи с големи данни, се справя много по-добре, защото тестовите модели показват много добри резултати.

https://youtu.be/lc2ZVUZ6kno

Но... Всичко е въпрос на икономика. Какво сме всички за печалбата, освен за печалбата? Много неща, които една голяма среща може да реши, са напълно несвързани с печалбите и парите.

Статистиката на Google, базирана на големи данни, показва интересно нещо.

Преди лекарите да обявят началото на епидемия от заболяване в определен регион, броят на хората в този регион нараства значително. заявки за търсенеотносно лечението на това заболяване.

По този начин правилното проучване на данните и техният анализ могат да формират прогнози и да предскажат началото на епидемия (и съответно нейното предотвратяване) много по-бързо от заключенията на официалните органи и техните действия.

Приложение в Русия

Русия обаче, както винаги, малко се „бави“. Така че самото определение за големи данни в Русия се появи преди не повече от 5 години (сега говоря за обикновени компании).

И това въпреки факта, че това е един от най-бързо развиващите се пазари в света (наркотиците и оръжията нервно се пушат отстрани), защото всяка година пазарът софтуерза събиране и анализиране на големи данни се увеличава с 32%.

За да характеризирам пазара на големи данни в Русия, си спомням един стар виц. Голямата среща е като да правиш секс преди да навършиш 18.

Всички говорят за това, има много шум около него и малко реално действие, и всички се срамуват да признаят, че самите те не правят това. Наистина има много шум около това, но малко реални действия.

Въпреки че добре известната изследователска компания Gartner обяви още през 2015 г., че големите данни вече не са нарастваща тенденция (както изкуственият интелект, между другото), а доста самостоятелни инструментиза анализ и развитие на съвременни технологии.

Най-активните ниши, в които се използват големи данни в Русия, са банките/застраховането (не напразно започнах статията с ръководителя на Сбербанк), телекомуникационният сектор, търговията на дребно, недвижимите имоти и... публичният сектор.

Като пример ще ви разкажа по-подробно за няколко икономически сектора, които използват алгоритми за големи данни.

банки

Да започнем с банките и информацията, която събират за нас и нашите действия. Като пример взех ТОП 5 руски банки, които активно инвестират в големи данни:

1. Сбербанк;
2. Газпромбанк;
3. ВТБ 24;
4. Алфа Банк;
5. Tinkoff Bank.

Особено приятно е да се види Alfa Bank сред руските лидери. Най-малкото е хубаво да знаете, че банката, на която сте официален партньор, разбира необходимостта от въвеждане на нови маркетингови инструменти в своята компания.

Но искам да покажа примери за използване и успешно внедряване на големи данни в банка, която харесвам заради нетрадиционния поглед и действия на нейния основател.

Говоря за Tinkoff Bank. Техен основна задачаимаше нужда от разработване на система за анализ на големи данни в реално време поради нарастващия клиентска база.

Резултати: времето на вътрешните процеси е намалено най-малко 10 пъти, а при някои – над 100 пъти.

Е, малко разсейване. Знаете ли защо започнах да говоря за необичайните лудории и действия на Олег Тинков?

Просто според мен именно те му помогнаха да се превърне от посредствен бизнесмен, каквито има хиляди в Русия, в един от най-известните и разпознаваеми предприемачи. За да потвърдите това, вижте този необичаен и интересно видео:

https://youtu.be/XHMaD5HAvfk

Недвижим имот

В недвижимите имоти всичко е много по-сложно. И точно това е примерът, който искам да ви дам, за да разберете големите срещи в обикновения бизнес. Първоначални данни:

1. Голям обем текстова документация;
2. Отворени източници (частни спътници, предаващи данни за земните промени);
3. Огромно количество неконтролирана информация в интернет;
4. Постоянни промени в източниците и данните.

И въз основа на това е необходимо да се подготви и оцени стойността на парцел, например близо до уралско село. Това ще отнеме на професионалист една седмица.

Руското дружество на оценителите & ROSEKO, което всъщност внедри анализ на големи данни с помощта на софтуер, ще отнеме не повече от 30 минути спокойна работа. Сравнете, седмица и 30 минути. Огромна разлика.

Е, за лека закуска

Разбира се, огромни количества информация не могат да се съхраняват и обработват на прости твърди дискове.

А софтуерът, който структурира и анализира данни, обикновено е интелектуална собственост и всеки път е разработка на автора. Има обаче инструменти, на базата на които се създава цялата тази красота:

• Hadoop & MapReduce;
• NoSQL бази данни;
• Клас инструменти за откриване на данни.

Честно казано, няма да мога да ви обясня ясно как се различават едно от друго, тъй като запознаването и работата с тези неща се преподава във физико-математическите институти.

Защо тогава говорих за това, ако не можех да го обясня? Помнете, че във всички филми крадците влизат във всяка банка и виждат огромен бройвсякакви видове хардуер, свързани с кабели?

Същото е и в голямата среща. Ето например един модел, който в момента е един от лидерите на пазара.

Инструмент за големи срещи

Цената на максималната конфигурация достига 27 милиона рубли на стелаж. Това, разбира се, е луксозната версия. Искам предварително да изпробвате създаването на големи данни във вашия бизнес.

Накратко за основното

Може да попитате защо вие, малък и среден бизнес, трябва да работите с големи данни?

На това ще ви отговоря с цитат от един човек: „В близко бъдеще клиентите ще търсят компании, които по-добре разбират тяхното поведение и навици и най-добре им подхождат.“

Но нека си признаем. За да внедрите големи данни в малък бизнес, трябва да имате не само големи бюджети за разработка и внедряване на софтуер, но и за поддръжка на специалисти, поне като анализатор на големи данни и системен администратор.

И сега мълча за това, че трябва да имате такива данни за обработка.

ДОБРЕ. Темата е почти неприложима за малкия бизнес. Но това не означава, че трябва да забравите всичко, което прочетохте по-горе.

Просто изучавайте не вашите данни, а резултатите от анализа на данни от добре познати както чуждестранни, така и руски компании.

Например веригата за търговия на дребно Target, използвайки анализ на големи данни, установи, че бременните жени преди втория триместър на бременността (от 1-ва до 12-та седмица на бременността) активно купуват продукти с аромат на ООН.

Благодарение на тези данни те им изпращат купони с отстъпки за продукти без аромат ограничено времедействия.

Ами ако сте просто много малко кафене, например? Да, много просто. Използвайте приложение за лоялност.

И след известно време и благодарение на натрупаната информация ще можете не само да предлагате на клиентите ястия, които отговарят на техните нужди, но и да видите най-непродадените ястия с най-висок марж само с няколко кликвания на мишката.

Оттук и заключението. Малко вероятно е малък бизнес да внедрява големи данни, но е наложително да се използват резултатите и разработките на други компании.

Голяма информация– това не са само самите данни, но и технологиите за тяхната обработка и използване, методите за търсене необходимата информацияв големи площи. Проблемът с големите данни все още остава отворен и жизненоважен за всички системи, които от десетилетия натрупват голямо разнообразие от информация.

Този термин е свързан с израза „Обем, скорост, разнообразие“– принципите, на които се основава работата с големи данни. Директно е количество информация, скорост на обработката муИ разнообразие от информация, съхранявани в масив. IN напоследъккъм трите основни принципа те започнаха да добавят още един - Стойност, което означава стойност на информацията. Тоест, трябва да е полезно и необходимо в теоретични или в практически план, което би оправдало разходите за неговото съхранение и обработка.

Като пример типичен източникголеми данни, можете да донесете социални мрежи - всеки профил или публична страницапредставлява една малка капка в неструктуриран океан от информация. Освен това, независимо от количеството информация, съхранявана в даден профил, взаимодействието с всеки потребител трябва да бъде възможно най-бързо.

Големите данни се натрупват непрекъснато в почти всяка област на човешкия живот. Това включва всяка индустрия, която включва човешко взаимодействие или компютри. Те включват социални медии, медицина, банкиране, както и системи от устройства, които получават множество резултати от ежедневни изчисления. Например астрономически наблюдения, метеорологична информация и информация от устройства за наблюдение на Земята.

Информацията от всички видове системи за проследяване в реално време също отива към сървърите на определена компания. Телевизия и радиоразпръскване, бази данни за обаждания на клетъчни оператори - взаимодействието на всеки отделен човек с тях е минимално, но в съвкупност цялата тази информация се превръща в големи данни.

Технологиите за големи данни станаха неразделна част от научните изследвания и търговията. Освен това те започват да превземат сферата контролирани от правителството– и навсякъде се изисква все повече и повече изпълнение ефективни системисъхранение и манипулиране на информация.

Терминът „големи данни“ се появява за първи път в пресата през 2008 г., когато редакторът на списание Nature Клифърд Линч публикува статия по темата за развитието на бъдещето на науката с помощта на технологии. голяма сумаданни. Преди 2009г този сроксе разглеждаше само от гледна точка на научен анализ, но след публикуването на още няколко статии пресата започна широко да използва концепцията за големи данни - и продължава да я използва днес.

През 2010 г. започнаха да се появяват първите опити за решаване на нарастващия проблем с големите данни. Бяха пуснати софтуерни продукти, чието действие беше насочено към минимизиране на рисковете при използване на огромни количества информация.

До 2011 г. такива големи компании като Microsoft, Oracle, EMC и IBM се заинтересуваха от големите данни - те станаха първите, които използват разработките за големи данни в своите стратегии за развитие и то доста успешно.

Университетите започнаха да изучават големи данни като отделен предмет още през 2013 г. - сега не само науката за данните, но и инженерството, съчетано с компютърни предмети, се занимава с проблеми в тази област.

Основните методи за анализ и обработка на данни включват следното:

1. Класови методи или дълбок анализ (Data Mining).

Тези методи са многобройни, но имат едно общо нещо: използваните математически инструменти в съчетание с постиженията в областта на информационните технологии.

1. Краудсорсинг.

Тази техника ви позволява да получавате данни едновременно от няколко източника, като броят на последните е практически неограничен.

1. A/B тестване.

От целия обем данни се избира контролен набор от елементи, който се сравнява последователно с други подобни набори, където един от елементите е променен. Провеждането на такива тестове помага да се определи кои колебания на параметрите имат най-голямо въздействие върху контролната популация. Благодарение на обема на Big Data е възможно да се извършат огромен брой итерации, като всяка от тях се доближава до най-надеждния резултат.

1. Прогностичен анализ.

Специалистите в тази област се опитват да предвидят и планират предварително как ще се държи контролираният обект, за да вземат най-изгодното решение в тази ситуация.

1. Машинно обучение (изкуствен интелект).

Базира се на емпиричен анализ на информация и последващо изграждане на самообучаващи се алгоритми за системи.

1. Мрежов анализ.

Най-разпространеният метод за изследване социални мрежи– след получаване на статистически данни се анализират възлите, създадени в мрежата, т.е. взаимодействията между отделните потребители и техните общности.

През 2017 г., когато големите данни престанаха да бъдат нещо ново и непознато, тяхното значение не само не намаля, но дори се увеличи. Сега експертите залагат, че анализите на големи данни ще станат достъпни не само за гигантски организации, но и за малки и средни предприятия. Този подход се планира да бъде приложен с помощта на следните компоненти:

• Съхранение в облака.

Съхранението и обработката на данни стават все по-бързи и по-икономични – в сравнение с разходите за поддръжка на собствен център за данни и евентуално разширяване на персонала, наемането на облак изглежда много по-евтина алтернатива.

• Използване на тъмни данни.

Т. нар. „тъмни данни“ е цялата недигитализирана информация за компанията, която не играе ключова роля при директното й използване, но може да послужи като причина за преминаване към нов форматсъхранение на информация.

• Изкуствен интелект и дълбоко обучение.

Технологията за обучение с машинен интелект, която имитира структурата и работата на човешкия мозък, е идеално подходяща за обработка на големи количества постоянно променяща се информация. В този случай машината ще направи всичко, което човек би направил, но вероятността от грешка е значително намалена.

• Блокчейн

Тази технология дава възможност за ускоряване и опростяване на множество онлайн транзакции, включително международни. Друго предимство на Blockchain е, че намалява транзакционните разходи.

• Самообслужване и намалени цени.

През 2017 г. се планира въвеждането на „платформи за самообслужване“ - това са безплатни платформи, където представители на малкия и среден бизнес могат самостоятелно да оценяват данните, които съхраняват, и да ги систематизират.

Всички маркетингови стратегии по един или друг начин се основават на манипулиране на информация и анализ на съществуващи данни. Ето защо използването на големи данни може да предвиди и направи възможно коригирането на по-нататъшното развитие на компанията.

Например, RTB търг, създаден въз основа на големи данни, ви позволява да използвате рекламата по-ефективно - определен продукт ще бъде показан само на тази група потребители, които се интересуват от покупката му.

Какви са ползите от използването на технологии за големи данни в маркетинга и бизнеса?

1. С тяхна помощ можете много по-бързо да създавате нови проекти, които вероятно ще станат търсени сред купувачите.
2. Те помагат да се съпоставят изискванията на клиента със съществуващата или проектирана услуга и по този начин да се коригират.
3. Методите за големи данни позволяват да се оцени степента на текущо удовлетворение на всички потребители и всеки отделен потребител.
4. Повишената лоялност на клиентите се постига чрез методи за обработка на големи данни.
5. Привличането на вашата целева аудитория онлайн става по-лесно благодарение на възможността да контролирате огромни количества данни.

Например, една от най-популярните услуги за прогнозиране на вероятната популярност на даден продукт е Google.trends. Той се използва широко от търговци и анализатори, като им позволява да получат статистика за миналото използване на даден продукт и прогноза за следващия сезон. Това позволява на мениджърите на компанията да разпределят по-ефективно рекламния бюджет и да определят в коя област е най-добре да инвестират пари.

Примери за използване на Big Data

Активното навлизане на Big Data технологиите на пазара и в съвременния живот започна точно след като световноизвестни компании с клиенти от почти всяка точка на земното кълбо започнаха да ги използват.

Това са социални гиганти като Facebook и Google, IBM, както и финансови институции като Master Card, VISA и Bank of America.

Например, IBM прилага техники за големи данни към текущи парични транзакции. С тяхна помощ бяха идентифицирани 15% повече измамни транзакции, което направи възможно увеличаването на размера на защитените средства с 60%. Отстранени са и проблемите с фалшивите аларми на системата – броят им е намален повече от половината.

Компанията VISA по подобен начин използва Big Data, проследявайки измамни опити за извършване на определена операция. Благодарение на това те спестяват повече от 2 милиарда долара годишно от изтичане.

Германското министерство на труда успя да намали разходите с 10 милиарда евро, като въведе система за големи данни в работата си по издаването на обезщетения за безработица. В същото време се разкри, че една пета от гражданите получават тези помощи без основание.

Големите данни не са пощадили и игралната индустрия. Така разработчиците на World of Tanks проведоха проучване на информация за всички играчи и сравниха наличните показатели за тяхната активност. Това помогна да се предвиди възможният бъдещ отлив на играчи - въз основа на направените предположения, представители на организацията успяха да взаимодействат по-ефективно с потребителите.

Известни организации, използващи големи данни, включват също HSBC, Nasdaq, Coca-Cola, Starbucks и AT&T.

Повечето голям проблемголемите данни са разходите за тяхната обработка. Това може да включва както скъпо оборудване, така и разходи за заплати на квалифицирани специалисти, способни да обслужват огромни количества информация. Очевидно оборудването ще трябва да се актуализира редовно, така че да не губи минимална функционалност с увеличаване на обема на данните.

Вторият проблем отново е свързан с голямото количество информация, която трябва да се обработва. Ако, например, едно изследване дава не 2-3, а голям брой резултати, е много трудно да останем обективни и да изберем от общия поток от данни само тези, които ще окажат реално влияние върху състоянието на всяко явление.

Проблем с поверителността на Big Data. Тъй като повечето услуги за обслужване на клиенти преминават към онлайн използване на данни, е много лесно да станете следващата цел за киберпрестъпниците. Дори простото съхраняване на лична информация без извършване на онлайн транзакции може да бъде изпълнено с нежелани последствия за клиентите за облачно съхранение.

Проблемът със загубата на информация. Предпазните мерки изискват да не се ограничавате до просто еднократно архивиране на данни, а да направите поне 2-3 резервни копия на хранилището. С увеличаването на обема обаче се увеличават трудностите с резервирането - и ИТ специалистите се опитват да намерят оптимално решениетози проблем.

Пазар на технологии за големи данни в Русия и света

Към 2014 г. 40% от обема на пазара на големи данни се състои от услуги. Приходите от използването на големи данни в компютърно оборудване са малко по-ниски (38%) от този показател. Останалите 22% идват от софтуер.

Най-полезните продукти в глобалния сегмент за решаване на проблеми с големи данни според статистиката са In-memory и NoSQL аналитичните платформи. 15 и 12 процента от пазара, съответно, са заети от софтуер за анализ на лог-файлове и платформи Columnar. Но Hadoop/MapReduce на практика не се справят много ефективно с проблеми с големи данни.

Резултати от внедряването на технологии за големи данни:

• качествен растеж обслужване на клиенти;
• оптимизиране на интеграцията на веригата за доставки;
• оптимизиране на организационното планиране;
• ускоряване на взаимодействието с клиентите;
• повишаване на ефективността на обработката на клиентските заявки;
• намаляване на разходите за обслужване;
• оптимизиране на обработката на клиентски заявки.

Най-добрите книги за големи данни

Подходящ за начално изучаване на технологии за обработка на големи данни – запознава ви лесно и ясно. Показва как изобилието от информация е повлияло на ежедневието и всички негови сфери: наука, бизнес, медицина и др. Съдържа множество илюстрации, така че се възприема без много усилия.

„Въведение в извличането на данни“ от Pang-Ning Tan, Michael Steinbach и Vipin Kumar

Също така полезна за начинаещи е книга за големи данни, която обяснява работата с големи данни според принципа „от просто към сложно“. Подчертава много важни начална фазаточки: подготовка за обработка, визуализация, OLAP, както и някои методи за анализ и класификация на данни.

Практическо ръководство за използване и работа с големи данни с помощта на езика за програмиране Python. Подходящ както за студенти по инженерство, така и за професионалисти, които искат да задълбочат знанията си.

„Hadoop for Dummies“, Дърк Дерус, Пол С. Зикопулос, Роман Б. Мелник

Hadoop е проект, създаден специално за работа с разпределени програми, които организират изпълнението на действия върху хиляди възли едновременно. Запознаването с него ще ви помогне да разберете по-подробно практическо приложениеголяма информация.

"Голяма информация"е тема, която се обсъжда активно от технологичните компании. Някои от тях са се разочаровали от големите данни, докато други, напротив, се възползват максимално от тях за бизнеса... Нов аналитичен преглед на вътрешния и глобалния пазар на големи данни, изготвен от Московската борса съвместно с анализаторите на IPOboard , показва кои тенденции са най-актуални на пазара в момента. Надяваме се информацията да бъде интересна и полезна.

КАКВО Е BIG DATA?

Основни функции

Big Data в момента е един от ключовите двигатели на развитието на информационните технологии. Това направление, сравнително ново за руския бизнес, стана широко разпространено в западните страни. Това се дължи на факта, че в ерата на информационните технологии, особено след бума на социалните мрежи, започна да се натрупва значително количество информация за всеки интернет потребител, което в крайна сметка доведе до развитието на Big Data.

Терминът „Големи данни“ предизвиква много спорове; мнозина смятат, че това означава само количеството натрупана информация, но не трябва да забравяме за техническата страна; тази област включва технологии за съхранение, изчисления и услуги.

Трябва да се отбележи, че тази област включва обработката на голямо количество информация, която е трудна за обработка с традиционните методи*.

По-долу е дадена сравнителна таблица между традиционни и големи бази данни.

Областта на Big Data се характеризира със следните характеристики:
Сила на звука – обем, натрупаната база данни представлява голямо количество информация, която е трудоемка за обработка и съхранение по традиционни начини, те изискват нов подход и подобрени инструменти.
Скорост – скорост, този атрибут показва както нарастващата скорост на натрупване на данни (90% от информацията е събрана през последните 2 години), така и скоростта на обработка на данни; технологиите за обработка на данни в реално време наскоро станаха все по-търсени.
Разнообразие – разнообразие, т.е. способността за едновременна обработка на структурирана и неструктурирана информация от различни формати. Основната разлика между структурираната информация е, че тя може да бъде класифицирана. Пример за такава информация би била информация за клиентски транзакции.
Неструктурираната информация включва видео, аудио файлове, свободен текст, информация, идваща от социални мрежи. Днес 80% от информацията е неструктурирана. Тази информациясе нуждае от сложен анализ, за ​​да стане полезен за по-нататъшна обработка.
достоверност – надеждност на данните, потребителите започнаха да придават все по-голямо значение на надеждността на наличните данни. По този начин интернет компаниите имат проблем с разделянето на действията, извършвани от робот и човек на уебсайта на компанията, което в крайна сметка води до трудности при анализа на данните.
Стойност – стойността на натрупаната информация. Големите данни трябва да са полезни за компанията и да й носят някаква стойност. Например помощ при подобряване на бизнес процесите, отчитане или оптимизиране на разходите.

Ако горните 5 условия са изпълнени, натрупаните обеми от данни могат да бъдат класифицирани като големи.

Области на приложение на Big Data

Обхватът на използване на технологиите за големи данни е обширен. Така с помощта на Big Data можете да научите за предпочитанията на клиентите, ефективността на маркетинговите кампании или да извършите анализ на риска. По-долу са резултатите от проучване на IBM Institute относно областите на използване на Big Data в компаниите.

Както се вижда от диаграмата, повечето компании използват Big Data в областта на обслужването на клиенти, втората най-популярна област е оперативната ефективност; в областта на управлението на риска Big Data в момента е по-рядко срещана.

Трябва също да се отбележи, че Big Data е една от най-бързо развиващите се области на информационните технологии; според статистиката общото количество получени и съхранени данни се удвоява на всеки 1,2 години.
Между 2012 г. и 2014 г. количеството данни, прехвърляни месечно от мобилните мрежи, се е увеличило с 81%. Според оценките на Cisco през 2014 г. обемът на мобилния трафик е бил 2,5 екзабайта (мерна единица за количеството информация, равна на 10^18 стандартни байта) на месец, а през 2019 г. ще бъде равен на 24,3 екзабайта.
По този начин Big Data е вече утвърдена област на технологиите, въпреки сравнително младата си възраст, която е широко разпространена в много сфери на бизнеса и играе важна роля в развитието на компаниите.

Технологии за големи данни

Технологиите, използвани за събиране и обработка на Big Data, могат да бъдат разделени на 3 групи:

• софтуер;
• Оборудване;
• Услуги.

Най-често срещаните подходи за обработка на данни (DP) включват:
SQL – структуриран език за заявки, който ви позволява да работите с бази данни. С помощта на SQL можете да създавате и променяте данни, а управлението на масива от данни се управлява от съответната система за управление на база данни.
NoSQL – терминът означава Not Only SQL (не само SQL). Той включва редица подходи, насочени към внедряване на база данни, които се различават от моделите, използвани в традиционните релационни СУБД. Те са удобни за използване, когато структурата на данните непрекъснато се променя. Например за събиране и съхраняване на информация в социалните мрежи.
MapReduce – модел на разпределение на изчислението. Използва се за паралелно изчислениевърху много големи масиви от данни (петабайти* или повече). IN софтуерен интерфейсНе данните се прехвърлят към програмата за обработка, а програмата към данните. Така искането е отделна програма. Принципът на работа е последователна обработка на данни чрез два метода: Map и Reduce. Map избира предварителни данни, Reduce ги обобщава.
Hadoop – използва се за внедряване на механизми за търсене и контекстуални механизми за сайтове с високо натоварване – Facebook, eBay, Amazon и др. Отличителна чертае, че системата е защитена от повреда на който и да е от възлите на клъстера, тъй като всеки блок има поне едно копие на данните на друг възел.
SAP HANA – високопроизводителна NewSQL платформа за съхранение и обработка на данни. Осигурява висока скоростобработка на заявки. Друга отличителна черта е, че SAP HANA опростява системния пейзаж, намалявайки разходите за поддръжка на аналитични системи.

Технологичното оборудване включва:

• сървъри;
• инфраструктурно оборудване.

Сървърите включват съхранение на данни.
Инфраструктурното оборудване включва инструменти за ускоряване на платформата, източници непрекъсваемо захранване, комплекти сървърни конзоли и др.

Услуги.
Услугите включват услуги за изграждане на архитектура на система от бази данни, организиране и оптимизиране на инфраструктурата и гарантиране на сигурността на съхранението на данни.

Софтуерът, хардуерът и услугите заедно образуват цялостни платформи за съхранение и анализ на данни. Компании като Microsoft, HP, EMC предлагат услуги за разработка, внедряване и управление на решения за големи данни.

Приложения в индустриите

Големите данни са широко разпространени в много бизнес сектори. Използват се в здравеопазването, телекомуникациите, търговията, логистиката, финансовите компании, както и в държавната администрация.
По-долу са дадени някои примери за приложения с големи данни в някои от индустриите.

На дребно
Базите данни на магазините за търговия на дребно могат да натрупат много информация за клиенти, системи за управление на инвентара и доставки на търговски продукти. Тази информация може да бъде полезна във всички области на дейността на магазина.

По този начин, с помощта на натрупаната информация, можете да управлявате доставката на стоки, тяхното съхранение и продажба. Въз основа на натрупаната информация е възможно да се предвиди търсенето и предлагането на стоки. Освен това системата за обработка и анализ на данни може да реши други проблеми на търговеца на дребно, например оптимизиране на разходите или изготвяне на отчети.

Финансови услуги
Големите данни правят възможно анализирането на кредитоспособността на кредитополучателя и също така са полезни за кредитен рейтинг* и застраховане**. Въвеждането на Big Data технологиите ще намали времето за разглеждане на молбите за кредит. С помощта на Big Data е възможно да се анализират транзакциите на конкретен клиент и да се предложат подходящи за него банкови услуги.

Телеком
В телекомуникационната индустрия Big Data стана широко разпространена сред мобилните оператори.
Клетъчните оператори са наравно с финансова институцияразполагат с една от най-обемните бази данни, което им позволява да извършват най-задълбочен анализ на натрупаната информация.
Основната цел на анализа на данни е да задържи съществуващите клиенти и да привлече нови. За целта компаниите сегментират клиентите, анализират техния трафик и определят социалната принадлежност на абоната.

В допълнение към използването на Big Data за маркетингови цели се използват технологии за предотвратяване на измамни финансови транзакции.

Минна и петролна промишленост
Големите данни се използват както при добива на полезни изкопаеми, така и при тяхната обработка и маркетинг. Въз основа на получената информация предприятията могат да направят изводи за ефективността на разработването на находищата, да наблюдават графика за основен ремонт и състоянието на оборудването и да прогнозират търсенето на продукти и цени.

Според проучване на Tech Pro Research големите данни са най-разпространени в телекомуникационната индустрия, както и в инженерството, ИТ, финансовите и държавни предприятия. Според резултатите това проучванеГолемите данни са по-малко популярни в образованието и здравеопазването. Резултатите от проучването са представени по-долу:

Примери за използване на големи данни в компании

Днес Big Data се внедрява активно в чуждестранни компании. Компании като Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Кока Кола, Starbucks и Netflix вече използват ресурси за големи данни.

Приложенията на обработената информация са разнообразни и варират в зависимост от индустрията и задачите, които трябва да бъдат изпълнени.
След това ще бъдат представени примери за практическото приложение на технологиите за големи данни.

HSBC използва Big Data технологии за борба с измамни транзакции с пластмасови карти. С помощта на Big Data компанията увеличи ефективността на услугата за сигурност 3 пъти, а разпознаването на измамни инциденти - 10 пъти. Икономически ефектот внедряването на тези технологии надхвърли 10 милиона долара.

Антифрайд* ВИЗА ви позволява автоматично да идентифицирате измамни транзакции; системата в момента помага за предотвратяване на измамни плащания на стойност 2 милиарда долара годишно.

Суперкомпютър Watson IBM анализира в реално време потока от данни за паричните транзакции. Според IBM Watson е увеличил броя на разкритите измамни транзакции с 15%, намалил е фалшивите положителни резултати с 50% и е увеличил сумата пари, защитена от транзакции от този вид с 60%.

Проктър и Гембъл използване на големи данни за проектиране на нови продукти и създаване на глобални маркетингови кампании. P&G създаде специални офиси на Business Spheres, където информацията може да се преглежда в реално време.
Така ръководството на компанията имаше възможност незабавно да тества хипотези и да провежда експерименти. P&G вярва, че големите данни помагат при прогнозирането на ефективността на компанията.

Търговец на офис консумативи OfficeMax Използвайки Big Data технологии, те анализират поведението на клиентите. Анализът на Big Data направи възможно увеличаването на B2B приходите с 13% и намаляването на разходите с $400 000 на година.

Според Caterpillar , нейните дистрибутори пропускат 9 до 18 милиарда долара печалба всяка година просто защото не прилагат технологии за обработка на големи данни. Големите данни биха позволили на клиентите да управляват своя флот по-ефективно чрез анализиране на информация, идваща от сензори, инсталирани на машините.

Днес вече е възможно да се анализира състоянието на ключови компоненти, тяхната степен на износване и да се управляват разходите за гориво и поддръжка.

група Luxottica е производител на спортни очила, марки като Ray-Ban, Persol и Oakley. Компанията използва Big Data технологии за анализ на поведението потенциални клиентии „интелигентен“ SMS маркетинг. В резултат на Big Data групата Luxottica идентифицира повече от 100 милиона от най-ценните си клиенти и повиши ефективността на маркетинговата си кампания с 10%.

С помощта на Yandex Data Factory, разработчиците на игри Свят на танкове анализирайте поведението на играчите. Технологиите Big Data позволиха да се анализира поведението на 100 хиляди играчи на World of Tanks, като се използват повече от 100 параметъра (информация за покупки, игри, опит и др.). В резултат на анализа беше получена прогноза за отлив на потребители. Тази информация ви позволява да намалите напускането на потребителите и да работите с участниците в играта по целенасочен начин. Разработеният модел се оказа с 20-30% по-ефективен от стандартните инструменти за анализ на игралната индустрия.

Министерство на труда на Германия използва Big Data в работата, свързана с анализ на входящи заявления за обезщетения за безработица. Така след анализ на информацията стана ясно, че 20% от обезщетенията са изплатени незаслужено. С помощта на Big Data Министерството на труда намали разходите с 10 млрд. евро.

Детска болница в Торонто реализира проекта Artemis. Това е информационна система, която събира и анализира данни за бебетата в реално време. Системата следи 1260 показателя за състоянието на всяко дете всяка секунда. Проектът Artemis позволява да се предвиди нестабилното състояние на детето и да се започне профилактика на заболявания при деца.

ПРЕГЛЕД НА СВЕТОВНИЯ ПАЗАР НА ГОЛЕМИ ДАННИ

Текущо състояние на световния пазар

През 2014 г. големите данни, според Data Collective, се превърнаха в една от приоритетните области за инвестиране в рисковата индустрия. Според данните информационен портал Computerra, това се дължи на факта, че разработките в тази област започнаха да носят значителни резултати за своите потребители. През изминалата година броят на компаниите с реализирани проекти в областта на управлението на големи данни се е увеличил със 125%, а обемът на пазара е нараснал с 45% спрямо 2013 г.

По-голямата част от приходите на пазара на големи данни, според Wikibon, през 2014 г. са съставени от услуги, техният дял е равен на 40% от общите приходи (вижте графиката по-долу):

Ако разгледаме Big Data за 2014 г. по подтип, пазарът ще изглежда така:

Според Wikibon приложенията и анализите представляват 36% от приходите от големи данни през 2014 г. от приложения и анализи на големи данни, 17% от компютърно оборудване и 15% от технологии за съхранение на данни. Най-малко приходи са генерирани от NoSQL технологии, инфраструктурно оборудване и предоставяне на мрежа от компании ( корпоративни мрежи).

Най-популярните Big Data технологии са in-memory платформите на SAP, HANA, Oracle и др. Резултатите от проучването на T-Systems показаха, че те са избрани от 30% от анкетираните компании. На второ място по популярност са NoSQL платформите (18% от потребителите), компаниите също са използвали аналитични платформи от Splunk и Dell, те са избрани от 15% от компаниите. Според резултатите от проучването продуктите на Hadoop/MapReduce се оказаха най-малко полезни за решаване на проблеми с големи данни.

Според проучване на Accenture в повече от 50% от компаниите, използващи Big Data технологии, разходите за Big Data варират от 21% до 30%.
Според следващия анализ на Accenture 76% от компаниите смятат, че тези разходи ще се увеличат през 2015 г., а 24% от компаниите няма да променят бюджета си за технологиите за големи данни. Това предполага, че в тези компании Big Data са се превърнали в утвърдена област на ИТ, която се е превърнала в неразделна част от развитието на компанията.

Резултатите от проучването на Economist Intelligence Unit потвърждават положителния ефект от внедряването на Big Data. 46% от компаниите казват, че с помощта на Big Data технологиите са подобрили обслужването на клиентите с повече от 10%, 33% от компаниите са оптимизирали инвентара и са подобрили производителността на дълготрайните активи, а 32% от компаниите са подобрили процесите на планиране.

Big Data в различни страни по света

Днес технологиите за големи данни най-често се внедряват в американски компании, но други страни по света вече са започнали да проявяват интерес. През 2014 г., според IDC, страните в Европа, Близкия изток, Азия (с изключение на Япония) и Африка представляват 45% от пазара на софтуер, услуги и оборудване в областта на Big Data.

Освен това, според проучване на CIO, компаниите от Азиатско-тихоокеанския регион бързо приемат нови решения в областта на анализа на големи данни, безопасно съхранениеИ облачни технологии. Латинска Америка е на второ място по брой инвестиции в развитието на технологиите за големи данни, изпреварвайки европейските страни и САЩ.
След това ще бъдат представени описание и прогнози за развитието на пазара на големи данни в няколко страни.

Китай
Обемът на информацията в Китай е 909 екзабайта, което се равнява на 10% от общия обем информация в света, до 2020 г. обемът на информацията ще достигне 8060 екзабайта, делът на информацията в глобалната статистика също ще се увеличи, през 5 години ще се равнява на 18%. Потенциалният растеж на големите данни в Китай има една от най-бързо растящите динамики.

Бразилия
В края на 2014 г. Бразилия натрупа информация на стойност 212 екзабайта, което е 3% от глобалния обем. До 2020 г. обемът на информацията ще нарасне до 1600 екзабайта, което ще представлява 4% от световната информация.

Индия
Според EMC обемът на натрупаните данни в Индия към края на 2014 г. е 326 екзабайта, което е 5% от общия обем информация. До 2020 г. обемът на информацията ще нарасне до 2800 екзабайта, което ще представлява 6% от световната информация.

Япония
Обемът на натрупаните данни в Япония към края на 2014 г. е 495 екзабайта, което е 8% от общия обем информация. До 2020 г. обемът на информацията ще нарасне до 2200 екзабайта, но пазарният дял на Япония ще намалее и ще достигне 5% от общия обем информация в целия свят.
Така размерът на японския пазар ще намалее с повече от 30%.

Германия
Според EMC обемът на натрупаните данни в Германия към края на 2014 г. е 230 екзабайта, което е 4% от общия обем информация в света. До 2020 г. обемът на информацията ще нарасне до 1100 екзабайта и ще достигне 2%.
На германския пазар голяма част от приходите, според прогнозите на Experton Group, ще бъдат генерирани от сегмента на услугите, чийто дял през 2015 г. ще бъде 54%, а през 2019 г. ще нарасне до 59%; дяловете на софтуера и хардуерът, напротив, ще намалее.

Като цяло размерът на пазара ще нарасне от 1,345 милиарда евро през 2015 г. до 3,198 милиарда евро през 2019 г., среден темп на растеж от 24%.
По този начин, въз основа на анализите на CIO и EMC, можем да заключим, че развиващите се страни по света през следващите години ще станат пазари за активно развитие на технологиите за големи данни.

Основни пазарни тенденции

Според IDG Enterprise през 2015 г. разходите на компаниите за големи данни ще бъдат средно 7,4 милиона долара на компания, големите компании възнамеряват да похарчат приблизително 13,8 милиона долара, малките и средни компании - 1,6 милиона долара.
Повечето от инвестициите ще бъдат в области като анализ на данни, визуализация и събиране на данни.
Въз основа на текущите тенденции и търсенето на пазара, инвестициите през 2015 г. ще бъдат използвани за подобряване на качеството на данните, подобряване на планирането и прогнозирането и увеличаване на скоростта на обработка на данните.
Компаниите във финансовия сектор, според Insights Analysis на Bain Company, ще направят значителни инвестиции, така че през 2015 г. планират да похарчат 6,4 милиарда долара за технологии за големи данни, средният темп на растеж на инвестициите ще бъде 22% до 2020 г. Интернет компаниите планират да похарчат 2,8 милиарда долара със среден темп на растеж от 26% за разходите за големи данни.
По време на проучването на Economist Intelligence Unit, приоритетни областиразвитие на Big Data през 2014 г. и през следващите 3 години разпределението на отговорите е както следва:

Според прогнозите на IDC тенденциите за развитие на пазара са следните:

• През следващите 5 години разходите за облачни решения в областта на Big Data технологиите ще растат 3 пъти по-бързо от разходите за локални решения. Хибридните платформи за съхранение на данни ще станат търсени.
• Растежът на приложенията, използващи сложни и предсказуеми анализи, включително машинно обучение, ще се ускори през 2015 г., като пазарът за такива приложения расте с 65% по-бързо от приложения, които не използват предсказуеми анализи.
• Медийният анализ ще се утрои през 2015 г. и ще се превърне в ключов двигател на растежа на пазара на технологии за големи данни.
• Тенденцията за въвеждане на решения за анализ на постоянния поток от информация, която е приложима в Интернет на нещата, ще се ускори.
• До 2018 г. 50% от потребителите ще взаимодействат с услуги, базирани на когнитивни изчисления.

Пазарни двигатели и ограничители

Експертите на IDC идентифицираха 3 двигатели на пазара на големи данни през 2015 г.:

Според проучване на Accenture проблемите със сигурността на данните вече са основната бариера пред внедряването на технологиите за големи данни, като повече от 51% от анкетираните потвърждават, че се притесняват за осигуряването на защита и поверителност на данните. 47% от компаниите съобщават за невъзможност за внедряване на Big Data поради ограничен бюджет, 41% от компаниите посочват като проблем липсата на квалифициран персонал.

Wikibon прогнозира, че пазарът на големи данни ще нарасне до 38,4 милиарда долара през 2015 г., което е ръст от 36% на годишна база. През следващите години ще има спад в темповете на растеж до 10% през 2017 г. Като се вземат предвид тези прогнози, размерът на пазара през 2020 г. ще бъде равен на 68,7 милиарда щатски долара.

Разпределението на глобалния пазар на големи данни по бизнес категории ще изглежда така:

Както се вижда от диаграмата, по-голямата част от пазара ще бъде заета от технологии в областта на подобряването на обслужването на клиентите. Целевият маркетинг ще бъде вторият приоритет за компаниите до 2019 г., а през 2020 г., според Heavy Reading, той ще отстъпи място на решения за подобряване на оперативната ефективност.
Сегментът „подобряване на обслужването на клиентите“ също ще има най-висок темп на растеж, с увеличение от 49% годишно.
Пазарната прогноза за подтипове Big Data ще изглежда така:

Преобладаващ пазарен дял, както се вижда от диаграмата, заемат професионалните услуги, като най-висок темп на растеж ще имат приложенията с анализи, техният дял ще нарасне от сегашните 12% на 18% през 2020 г. и обемът на този сегмент ще бъде равен на 12,3 милиарда щатски долара, а делът на изчислителното оборудване, напротив, ще спадне от 20% на 14% и ще достигне около 9,3 милиарда щатски долара през 2020 г., пазарът на облачни технологии постепенно ще се увеличава и през 2020 г. достигнат 6,3 милиарда щатски долара, пазарният дял на решенията за съхранение на данни, напротив, ще намалее от 15% през 2014 г. на 13% през 2020 г. и в парично изражение ще бъде равен на 8,9 милиарда щатски долара.
Според прогнозата на Insights Analysis на Bain & Company разпределението на пазара на големи данни по отрасли през 2020 г. ще бъде както следва:

• Финансовата индустрия ще похарчи 6,4 милиарда долара за големи данни със среден темп на растеж от 22% годишно;
• Интернет компаниите ще похарчат 2,8 милиарда долара, а средният темп на нарастване на разходите ще бъде 26% през следващите 5 години;
• Разходите на публичния сектор ще бъдат съизмерими с разходите на интернет компаниите, но темпът на растеж ще бъде по-нисък - 22%;
• Телекомуникационният сектор ще расте с CAGR от 40%, за да достигне 1,2 милиарда щатски долара през 2020 г.;

Енергийните компании ще инвестират сравнително малка сума в тези технологии - 800 милиона долара, но темпът на растеж ще бъде един от най-високите - 54% годишно.
Така най-голям дял от пазара на големи данни през 2020 г. ще заемат компании от финансовата индустрия, а най-бързо развиващият се сектор ще бъде енергетиката.
Според прогнозите на анализаторите общият размер на пазара ще се увеличи през следващите години. Растежът на пазара ще бъде постигнат чрез внедряване на технологиите за големи данни в развиващите се страни по света, както може да се види от графиката по-долу.

Прогнозираният размер на пазара ще зависи от това как развиващите се страни възприемат технологиите за големи данни и дали те ще бъдат толкова популярни, колкото в развитите страни. През 2014 г. развиващите се страни по света представляват 40% от обема на натрупаната информация. Според прогнозата на EMC сегашната структура на пазара, с преобладаване на развитите страни, ще се промени през 2017 г. Според анализите на EMC през 2020 г. делът на развиващите се страни ще бъде повече от 60%.
Според Cisco и EMC развиващите се страни по света ще работят доста активно с Big Data, до голяма степен поради наличието на технология и натрупването на достатъчно количество информация до ниво Big Data. Картата на света, представена на следващата страница, ще покаже прогнозата за увеличаване на обема и темпа на растеж на Big Data по региони.

АНАЛИЗ НА РУСКИЯ ПАЗАР

Текущото състояние на руския пазар

Според резултатите от проучване на CNews Analytics и Oracle нивото на зрялост на руския пазар на големи данни се е увеличило през последната година. Анкетираните, представляващи 108 големи предприятия от различни индустрии, демонстрираха по-висока степен на информираност за тези технологии, както и установено разбиране за потенциала на подобни решения за техния бизнес.
Към 2014 г., според IDC, Русия е натрупала 155 екзабайта информация, което е само 1,8% от данните в света. Обемът на информацията до 2020 г. ще достигне 980 екзабайта и ще заема 2,2%. Така средният темп на нарастване на обема на информацията ще бъде 36% годишно.
IDC оценява руския пазар на 340 милиона долара, от които 100 милиона са решения на SAP, приблизително 240 милиона са подобни решения на Oracle, IBM, SAS, Microsoft и др.
Темпът на растеж на руския пазар на големи данни е не по-малко от 50% годишно.
Прогнозите са, че положителната динамика ще продължи в този сектор на руския ИТ пазар, дори в условията на обща икономическа стагнация. Това се дължи на факта, че бизнесите продължават да изискват решения, които подобряват оперативната ефективност, както и оптимизират разходите, подобряват точността на прогнозиране и минимизират възможните фирмени рискове.
Основните доставчици на услуги в областта на Big Data на руския пазар са:

• Оракул
• Microsoft
• Клаудера
• Hortonworks
• Терадата.

Преглед на пазара по отрасли и опит в използването на Big Data в компаниите

Според CNews в Русия само 10% от компаниите са започнали да използват технологиите за големи данни, докато в света делът на такива компании е около 30%. Готовността за проекти с големи данни нараства в много сектори на руската икономика, според доклад на CNews Analytics и Oracle. Повече от една трета от анкетираните компании (37%) са започнали да работят с Big Data технологии, от които 20% вече използват такива решения, а 17% започват да експериментират с тях. Втората трета от анкетираните в момента обмислят тази възможност.

В Русия технологиите за големи данни са най-популярни в банковия и телекомуникационния сектор, но също така се търсят в минната индустрия, енергетиката, търговията на дребно, логистичните компании и публичния сектор.
След това ще бъдат разгледани примери за използването на Big Data в руската реалност.

Телеком
Телеком операторите разполагат с едни от най-обемните бази данни, което им позволява да извършват най-задълбочен анализ на натрупаната информация.
Една от областите на приложение на технологията Big Data е управлението на лоялността на абонатите.
Основната цел на анализа на данни е да задържи съществуващите клиенти и да привлече нови. За целта компаниите сегментират клиентите, анализират техния трафик и определят социалната принадлежност на абоната. В допълнение към използването на информация за маркетингови цели, телеком технологиите се използват за предотвратяване на измамни финансови транзакции.
Един от ярки примериот тази индустрия е VimpelCom. Компанията използва Big Data, за да подобри качеството на услугата на ниво всеки абонат, да съставя отчети, да анализира данни за развитие на мрежата, да се бори със спама и да персонализира услугите.

банки
Значителна част от потребителите на Big Data са специалисти от финансовата индустрия. Един от успешните експерименти беше проведен в Уралската банка за реконструкция и развитие, където информационната база започна да се използва за анализ на клиентите, банката започна да предлага специализирани оферти за заеми, депозити и други услуги. В рамките на една година от използването на тези технологии кредитният портфейл на дребно на компанията нарасна с 55%.
Alfa-Bank анализира информация от социалните мрежи, обработва заявления за кредит и анализира поведението на потребителите на уебсайта на компанията.
Сбербанк също започна да обработва огромно количество данни за сегментиране на клиенти, предотвратяване на измамни дейности, кръстосани продажби и управление на рисковете. В бъдеще се планира подобряване на услугата и анализ на действията на клиентите в реално време.
Всеруската банка за регионално развитие анализира поведението на притежателите на пластмасови карти. Това дава възможност да се идентифицират транзакции, които са нетипични за конкретен клиент, като по този начин се увеличава вероятността за откриване на кражба на средства от пластмасови карти.

На дребно
В Русия технологиите за големи данни са внедрени както от онлайн, така и от офлайн търговски компании. Днес, според CNews Analytics, Big Data се използват от 20% от търговците на дребно. 75% от професионалистите в търговията на дребно смятат Big Data за необходими за разработването на конкурентна стратегия за насърчаване на компанията. Според статистиката на Hadoop след внедряването на технологията Big Data печалбите в търговските организации се увеличават със 7-10%.
Специалистите на М.Видео говорят за подобрено логистично планиране след внедряването на SAP HANA; също така, в резултат на внедряването му, подготовката на годишни отчети беше намалена от 10 дни на 3, скоростта на ежедневно зареждане на данни беше намалена от 3 часа на 30 минути.
Wikimart използва тези технологии, за да генерира препоръки за посетителите на сайта.
Един от първите офлайн магазини, които въведоха анализ на големи данни в Русия, беше Lenta. С помощта на Big Data търговията на дребно започна да изучава информацията за клиентите от касовите бележки. Търговецът събира информация, за да създаде поведенчески модели, което прави възможно вземането на по-информирани решения на оперативно и търговско ниво.

Петролна и газова индустрия
В тази индустрия обхватът на Big Data е доста широк. Технологиите за големи данни могат да се използват при добива на полезни изкопаеми от недрата. С тяхна помощ можете да анализирате самия процес на добив и най-ефективните начини за извличането му, да наблюдавате процеса на сондиране, да анализирате качеството на суровините, както и обработката и маркетинга на крайния продукт. В Русия Транснефт и Роснефт вече започнаха да използват тези технологии.

Държавни органи
В страни като Германия, Австралия, Испания, Япония, Бразилия и Пакистан технологиите за големи данни се използват за решаване на национални проблеми. Тези технологии помагат на държавните органи по-ефективно да предоставят услуги на населението и да предоставят целева социална подкрепа.
В Русия тези технологии започнаха да се усвояват от държавни органи като Пенсионния фонд, Федералната данъчна служба и Фонда за задължително медицинско осигуряване. Потенциалът за реализиране на проекти с използване на големи данни е голям; тези технологии могат да помогнат за подобряване на качеството на услугите и в резултат на това стандарта на живот на населението.

Логистика и транспорт
Големите данни могат да се използват и от транспортни компании. Използвайки технологиите за големи данни, можете да проследявате автомобилния си парк, да вземете предвид разходите за гориво и да наблюдавате заявките на клиентите.
Руските железници внедриха технологиите за големи данни заедно със SAP. Тези технологии помогнаха да се намали времето за подготовка на отчетите с 43,5 пъти (от 14,5 часа на 20 минути) и да се увеличи точността на разпределението на разходите с 40 пъти. Големите данни също бяха въведени в процесите на планиране и регулиране на тарифите. Общо компаниите използват повече от 300 системи, базирани на решения на SAP, участват 4 центъра за данни, а броят на потребителите е 220 000.

Основни двигатели и ограничители на пазара

Двигателите за развитието на технологиите за големи данни на руския пазар са:

• Повишен интерес от страна на потребителите към възможностите на Big Data като начин за повишаване на конкурентоспособността на една компания;
• Разработване на методи за обработка на медийни файлове на глобално ниво;
• Прехвърляне на сървърна обработка лична информацияна територията на Русия, в съответствие с приетия закон за съхранение и обработка на лични данни;
• Изпълнение на индустриалния план за заместване на вноса на софтуер. Този план включва държавна подкрепа за местните производители на софтуер, както и предоставяне на преференции за местни ИТ продукти при закупуване за публична сметка.
• В новата икономическа ситуация, когато обменният курс на долара почти се удвои, ще има тенденция към нарастващо използване на услугите на руски доставчици на облачни услуги, а не на чуждестранни.
• Създаване на технологични паркове, които допринасят за развитието на пазара на информационни технологии, включително пазара на големи данни;
• Държавна програма за внедряване на грид системи, базирани на Big Data технологии.

Основните бариери пред развитието на Big Data на руския пазар са:

• Гарантиране на сигурност и поверителност на данните;
• Липса на квалифициран персонал;
• Недостатъчни натрупани информационни ресурси до ниво Big Data в повечето руски компании;
• Трудности при въвеждането на нови технологии в утвърдени Информационни системикомпании;
• Високата цена на технологиите за големи данни, което води до ограничен брой предприятия, които имат възможност да внедрят тези технологии;
• Политическа и икономическа несигурност, довела до изтичане на капитали и замразяване на инвестиционни проекти в Русия;
• Нарастващите цени на вносните продукти и скокът на инфлацията, според IDC, забавят развитието на целия ИТ пазар.

Прогноза за руския пазар

Към днешна дата руският пазар на големи данни не е толкова популярен, колкото в развитите страни. Повечето руски компании проявяват интерес към него, но не смеят да се възползват от възможностите им.
Примери за големи компании, които вече са се възползвали от използването на технологиите за големи данни, увеличават осведомеността за възможностите на тези технологии.
Анализаторите също имат доста оптимистични прогнози по отношение на руския пазар. IDC вярва, че руският пазарен дял ще се увеличи през следващите 5 години, за разлика от немския и японския пазар.
До 2020 г. обемът на Big Data в Русия ще нарасне от сегашните 1,8% до 2,2% от глобалния обем данни. Количеството информация ще нарасне, според EMC, от сегашните 155 екзабайта до 980 екзабайта през 2020 г.
В момента Русия продължава да натрупва обем информация до ниво Big Data.
Според проучване на CNews Analytics 44% от анкетираните компании работят с данни от не повече от 100 терабайта* и само 13% работят с обеми над 500 терабайта.

Въпреки това руският пазар, следвайки световните тенденции, ще се увеличава. Към 2014 г. IDC оценява размера на пазара на 340 милиона долара.
Растежът на пазара през предходните години беше 50% годишно; ако остане на същото ниво, тогава през 2018 г. обемът на пазара ще достигне 1,7 милиарда долара. Делът на руския пазар в световния ще бъде около 3%, увеличавайки се от сегашните 1,2%.

Най-възприемчивите индустрии към използването на големи данни в Русия включват:

• Търговците на дребно и банките, за тях преди всичко са важни анализът на клиентската база и оценката на ефекта от маркетинговите кампании;
• Телеком – сегментиране на клиентската база и монетизация на трафика;
• Публичен сектор – отчетност, анализ на заявления от обществеността и др.;
• Петролни компании – наблюдение на работата и планиране на производство и продажби;
• Енергийни компании – създаване на интелигентни електроенергийни системи, оперативен мониторинги прогнозиране.

В развитите страни Big Data са широко разпространени в областта на здравеопазването, застраховането, металургията, интернет компаниите и производствените предприятия; най-вероятно в близко бъдеще руските компании от тези области също ще оценят ефекта от въвеждането на Big Data и ще се адаптират тези технологии в своите индустрии.
В Русия, както и в света, в близко бъдеще ще има тенденция към визуализация на данни, анализ на медийни файлове и развитие на интернет на нещата.
Въпреки общата стагнация на икономиката, през следващите години анализаторите прогнозират по-нататъшен растеж на пазара на големи данни, главно поради факта, че използването на технологиите за големи данни дава конкурентно предимствокъм своите потребители по отношение на повишаване на оперативната ефективност на бизнеса, привличане на допълнителен клиентски поток, минимизиране на рисковете и внедряване на технологии за прогнозиране на данни.
По този начин можем да заключим, че сегментът на Big Data в Русия е в етап на формиране, но търсенето на тези технологии нараства всяка година.

Основни резултати от анализа на пазара

Световен пазар

В края на 2014 г. пазарът на Big Data се характеризира със следните параметри:

• пазарният обем възлиза на 28,5 милиарда щатски долара, което е увеличение от 45% в сравнение с предходната година;
• по-голямата част от приходите на пазара на големи данни идват от услуги, техният дял е равен на 40% от общите приходи;
• 36% от приходите идват от приложения и анализи на големи данни, 17% от компютърно оборудване и 15% от технологии за съхранение на данни;
• Най-популярните за решаване на проблеми с големи данни са платформите в паметта на компании като SAP, HANA и Oracle.
• броят на компаниите с реализирани проекти в областта на управлението на големи данни нараства със 125%;

Пазарната прогноза за следващите години е следната:

• през 2015 г. обемът на пазара ще достигне 38,4 млрд. щатски долара, през 2020 г. – 68,7 млрд. щатски долара;
• средният темп на растеж ще бъде 16% годишно;
• средните фирмени разходи за технологии за големи данни ще бъдат 13,8 милиона долара за големи компании и 1,6 милиона долара за малки и средни предприятия;
• технологиите ще бъдат най-разпространени в областите на обслужване на клиенти и целеви маркетинг;
• През 2017 г. структурата на глобалния пазар ще се промени към преобладаване на потребителски компании от развиващите се страни.

руски пазар

Руският пазар на големи данни е в етап на формиране, резултатите от 2014 г. са както следва:

• обемът на пазара достигна 340 милиона щатски долара;
• средният темп на растеж на пазара през предходните години беше 50% годишно;
• общият обем на натрупаната информация е 155 екзабайта;
• 10% от руските компании започнаха да използват технологиите за големи данни;
• Технологиите за големи данни бяха по-популярни в банковия сектор, телекомите, интернет компаниите и търговията на дребно.

Прогнозата за руския пазар за следващите години е следната:

• обемът на руския пазар през 2015 г. ще достигне 500 млн. щатски долара, а през 2018 г. – 1,7 млрд. щатски долара;
• делът на руския пазар в световния пазар ще бъде около 3% през 2018 г.;
• обемът на натрупаните данни през 2020 г. ще бъде 980 екзабайта;
• обемът на данните ще нарасне до 2,2% от глобалния обем на данните през 2020 г.;
• Най-популярни ще станат технологиите за визуализация на данни, анализ на медийни файлове и Интернет на нещата.

Въз основа на резултатите от анализа можем да заключим, че пазарът на големи данни все още е в ранен етап на развитие и в близко бъдеще ще видим неговия растеж и разширяване на възможностите на тези технологии.

Благодарим ви, че отделихте време да прочетете тази обемна работа, абонирайте се за нашия блог - обещаваме много нови интересни публикации!

Moscow_Exchange 6 май 2015 г. в 20:38 ч

Аналитичен преглед на пазара на големи данни

• Блог на компанията Московска борса,
• Голяма информация

"Голяма информация"е тема, която се обсъжда активно от технологичните компании. Някои от тях са се разочаровали от големите данни, докато други, напротив, се възползват максимално от тях за бизнеса... Нов аналитичен преглед на вътрешния и глобалния пазар на големи данни, изготвен от Московската борса съвместно с анализаторите на IPOboard , показва кои тенденции са най-актуални на пазара в момента. Надяваме се информацията да бъде интересна и полезна.

КАКВО Е BIG DATA?

Основни функции

Big Data в момента е един от ключовите двигатели на развитието на информационните технологии. Това направление, сравнително ново за руския бизнес, стана широко разпространено в западните страни. Това се дължи на факта, че в ерата на информационните технологии, особено след бума на социалните мрежи, започна да се натрупва значително количество информация за всеки интернет потребител, което в крайна сметка доведе до развитието на Big Data.

Терминът „Големи данни“ предизвиква много спорове; мнозина смятат, че това означава само количеството натрупана информация, но не трябва да забравяме за техническата страна; тази област включва технологии за съхранение, изчисления и услуги.

Трябва да се отбележи, че тази област включва обработката на голямо количество информация, която е трудна за обработка с традиционните методи*.

По-долу е дадена сравнителна таблица между традиционни и големи бази данни.

Областта на Big Data се характеризира със следните характеристики:
Сила на звука – обем, натрупаната база данни представлява голямо количество информация, която е трудоемка за обработка и съхранение по традиционни начини, те изискват нов подход и подобрени инструменти.
Скорост – скорост, този атрибут показва както нарастващата скорост на натрупване на данни (90% от информацията е събрана през последните 2 години), така и скоростта на обработка на данни; технологиите за обработка на данни в реално време наскоро станаха все по-търсени.
Разнообразие – разнообразие, т.е. способността за едновременна обработка на структурирана и неструктурирана информация от различни формати. Основната разлика между структурираната информация е, че тя може да бъде класифицирана. Пример за такава информация би била информация за клиентски транзакции.
Неструктурираната информация включва видео, аудио файлове, свободен текст, информация, идваща от социални мрежи. Днес 80% от информацията е неструктурирана. Тази информация се нуждае от сложен анализ, за ​​да бъде полезна за по-нататъшна обработка.
достоверност – надеждност на данните, потребителите започнаха да придават все по-голямо значение на надеждността на наличните данни. По този начин интернет компаниите имат проблем с разделянето на действията, извършвани от робот и човек на уебсайта на компанията, което в крайна сметка води до трудности при анализа на данните.
Стойност – стойността на натрупаната информация. Големите данни трябва да са полезни за компанията и да й носят някаква стойност. Например помощ при подобряване на бизнес процесите, отчитане или оптимизиране на разходите.

Ако горните 5 условия са изпълнени, натрупаните обеми от данни могат да бъдат класифицирани като големи.

Области на приложение на Big Data

Обхватът на използване на технологиите за големи данни е обширен. Така с помощта на Big Data можете да научите за предпочитанията на клиентите, ефективността на маркетинговите кампании или да извършите анализ на риска. По-долу са резултатите от проучване на IBM Institute относно областите на използване на Big Data в компаниите.

Както се вижда от диаграмата, повечето компании използват Big Data в областта на обслужването на клиенти, втората най-популярна област е оперативната ефективност; в областта на управлението на риска Big Data в момента е по-рядко срещана.

Трябва също да се отбележи, че Big Data е една от най-бързо развиващите се области на информационните технологии; според статистиката общото количество получени и съхранени данни се удвоява на всеки 1,2 години.
Между 2012 г. и 2014 г. количеството данни, прехвърляни месечно от мобилните мрежи, се е увеличило с 81%. Според оценките на Cisco през 2014 г. обемът на мобилния трафик е бил 2,5 екзабайта (мерна единица за количеството информация, равна на 10^18 стандартни байта) на месец, а през 2019 г. ще бъде равен на 24,3 екзабайта.
По този начин Big Data е вече утвърдена област на технологиите, въпреки сравнително младата си възраст, която е широко разпространена в много сфери на бизнеса и играе важна роля в развитието на компаниите.

Технологии за големи данни

Технологиите, използвани за събиране и обработка на Big Data, могат да бъдат разделени на 3 групи:

• софтуер;
• Оборудване;
• Услуги.

Най-често срещаните подходи за обработка на данни (DP) включват:
SQL – структуриран език за заявки, който ви позволява да работите с бази данни. С помощта на SQL можете да създавате и променяте данни, а управлението на масива от данни се управлява от съответната система за управление на база данни.
NoSQL – терминът означава Not Only SQL (не само SQL). Той включва редица подходи, насочени към внедряване на база данни, които се различават от моделите, използвани в традиционните релационни СУБД. Те са удобни за използване, когато структурата на данните непрекъснато се променя. Например за събиране и съхраняване на информация в социалните мрежи.
MapReduce – модел на разпределение на изчислението. Използва се за паралелно изчисление на много големи масиви от данни (петабайти* или повече). В програмния интерфейс не данните се прехвърлят към програмата за обработка, а програмата към данните. По този начин заявката е отделна програма. Принципът на работа е последователна обработка на данни чрез два метода: Map и Reduce. Map избира предварителни данни, Reduce ги обобщава.
Hadoop – използва се за реализиране на механизми за търсене и контекстуални механизми за сайтове с високо натоварване – Facebook, eBay, Amazon и др. Отличителна черта е, че системата е защитена от повреда на който и да е от възлите на клъстера, тъй като всеки блок има поне едно копие на данни на друг възел.
SAP HANA – високопроизводителна NewSQL платформа за съхранение и обработка на данни. Осигурява висока скорост на обработка на заявки. Друга отличителна черта е, че SAP HANA опростява системния пейзаж, намалявайки разходите за поддръжка на аналитични системи.

Технологичното оборудване включва:

• сървъри;
• инфраструктурно оборудване.

Сървърите включват съхранение на данни.
Инфраструктурното оборудване включва инструменти за ускоряване на платформата, непрекъсваеми захранвания, комплекти сървърни конзоли и др.

Услуги.
Услугите включват услуги за изграждане на архитектура на система от бази данни, организиране и оптимизиране на инфраструктурата и гарантиране на сигурността на съхранението на данни.

Софтуерът, хардуерът и услугите заедно образуват цялостни платформи за съхранение и анализ на данни. Компании като Microsoft, HP, EMC предлагат услуги за разработка, внедряване и управление на решения за големи данни.

Приложения в индустриите

Големите данни са широко разпространени в много бизнес сектори. Използват се в здравеопазването, телекомуникациите, търговията, логистиката, финансовите компании, както и в държавната администрация.
По-долу са дадени някои примери за приложения с големи данни в някои от индустриите.

На дребно
Базите данни на магазините за търговия на дребно могат да натрупат много информация за клиенти, системи за управление на инвентара и доставки на търговски продукти. Тази информация може да бъде полезна във всички области на дейността на магазина.

По този начин, с помощта на натрупаната информация, можете да управлявате доставката на стоки, тяхното съхранение и продажба. Въз основа на натрупаната информация е възможно да се предвиди търсенето и предлагането на стоки. Освен това системата за обработка и анализ на данни може да реши други проблеми на търговеца на дребно, например оптимизиране на разходите или изготвяне на отчети.

Финансови услуги
Големите данни правят възможно анализирането на кредитоспособността на кредитополучателя и също така са полезни за кредитен рейтинг* и застраховане**. Въвеждането на Big Data технологиите ще намали времето за разглеждане на молбите за кредит. С помощта на Big Data е възможно да се анализират транзакциите на конкретен клиент и да се предложат подходящи за него банкови услуги.

Телеком
В телекомуникационната индустрия Big Data стана широко разпространена сред мобилните оператори.
Клетъчните оператори, наред с финансовите институции, разполагат с едни от най-обемните бази данни, което им позволява да извършват най-задълбочен анализ на натрупаната информация.
Основната цел на анализа на данни е да задържи съществуващите клиенти и да привлече нови. За целта компаниите сегментират клиентите, анализират техния трафик и определят социалната принадлежност на абоната.

В допълнение към използването на Big Data за маркетингови цели се използват технологии за предотвратяване на измамни финансови транзакции.

Минна и петролна промишленост
Големите данни се използват както при добива на полезни изкопаеми, така и при тяхната обработка и маркетинг. Въз основа на получената информация предприятията могат да направят изводи за ефективността на разработването на находищата, да наблюдават графика за основен ремонт и състоянието на оборудването и да прогнозират търсенето на продукти и цени.

Според проучване на Tech Pro Research Big Data е най-разпространено в телекомуникационната индустрия, както и в инженерни, ИТ, финансови и държавни предприятия. Според резултатите от това проучване Големите данни са по-малко популярни в образованието и здравеопазването. Резултатите от проучването са представени по-долу:

Примери за използване на големи данни в компании

Днес Big Data се внедрява активно в чуждестранни компании. Компании като Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks и Netflix вече използват ресурси за големи данни.

Приложенията на обработената информация са разнообразни и варират в зависимост от индустрията и задачите, които трябва да бъдат изпълнени.
След това ще бъдат представени примери за практическото приложение на технологиите за големи данни.

HSBC използва Big Data технологии за борба с измамни транзакции с пластмасови карти. С помощта на Big Data компанията увеличи ефективността на услугата за сигурност 3 пъти, а разпознаването на измамни инциденти - 10 пъти. Икономическият ефект от въвеждането на тези технологии надхвърля 10 милиона долара.

Антифрайд* ВИЗА ви позволява автоматично да идентифицирате измамни транзакции; системата в момента помага за предотвратяване на измамни плащания на стойност 2 милиарда долара годишно.

Суперкомпютър Watson IBM анализира в реално време потока от данни за паричните транзакции. Според IBM Watson е увеличил броя на разкритите измамни транзакции с 15%, намалил е фалшивите положителни резултати с 50% и е увеличил сумата пари, защитена от транзакции от този вид с 60%.

Проктър и Гембъл използване на големи данни за проектиране на нови продукти и създаване на глобални маркетингови кампании. P&G създаде специални офиси на Business Spheres, където информацията може да се преглежда в реално време.
Така ръководството на компанията имаше възможност незабавно да тества хипотези и да провежда експерименти. P&G вярва, че големите данни помагат при прогнозирането на ефективността на компанията.

Търговец на офис консумативи OfficeMax Използвайки Big Data технологии, те анализират поведението на клиентите. Анализът на Big Data направи възможно увеличаването на B2B приходите с 13% и намаляването на разходите с $400 000 на година.

Според Caterpillar , нейните дистрибутори пропускат 9 до 18 милиарда долара печалба всяка година просто защото не прилагат технологии за обработка на големи данни. Големите данни биха позволили на клиентите да управляват своя флот по-ефективно чрез анализиране на информация, идваща от сензори, инсталирани на машините.

Днес вече е възможно да се анализира състоянието на ключови компоненти, тяхната степен на износване и да се управляват разходите за гориво и поддръжка.

група Luxottica е производител на спортни очила, марки като Ray-Ban, Persol и Oakley. Компанията използва Big Data технологии за анализ на поведението на потенциални клиенти и „умен“ SMS маркетинг. В резултат на Big Data групата Luxottica идентифицира повече от 100 милиона от най-ценните си клиенти и повиши ефективността на маркетинговата си кампания с 10%.

С помощта на Yandex Data Factory, разработчиците на игри Свят на танкове анализирайте поведението на играчите. Технологиите Big Data позволиха да се анализира поведението на 100 хиляди играчи на World of Tanks, като се използват повече от 100 параметъра (информация за покупки, игри, опит и др.). В резултат на анализа беше получена прогноза за отлив на потребители. Тази информация ви позволява да намалите напускането на потребителите и да работите с участниците в играта по целенасочен начин. Разработеният модел се оказа с 20-30% по-ефективен от стандартните инструменти за анализ на игралната индустрия.

Министерство на труда на Германия използва Big Data в работата, свързана с анализ на входящи заявления за обезщетения за безработица. Така след анализ на информацията стана ясно, че 20% от обезщетенията са изплатени незаслужено. С помощта на Big Data Министерството на труда намали разходите с 10 млрд. евро.

Детска болница в Торонто реализира проекта Artemis. Това е информационна система, която събира и анализира данни за бебетата в реално време. Системата следи 1260 показателя за състоянието на всяко дете всяка секунда. Проектът Artemis позволява да се предвиди нестабилното състояние на детето и да се започне профилактика на заболявания при деца.

ПРЕГЛЕД НА СВЕТОВНИЯ ПАЗАР НА ГОЛЕМИ ДАННИ

Текущо състояние на световния пазар

През 2014 г. големите данни, според Data Collective, се превърнаха в една от приоритетните области за инвестиране в рисковата индустрия. Според информационния портал Computerra това се дължи на факта, че разработките в тази област са започнали да носят значителни резултати за своите потребители. През изминалата година броят на компаниите с реализирани проекти в областта на управлението на големи данни се е увеличил със 125%, а обемът на пазара е нараснал с 45% спрямо 2013 г.

По-голямата част от приходите на пазара на големи данни, според Wikibon, през 2014 г. са съставени от услуги, техният дял е равен на 40% от общите приходи (вижте графиката по-долу):

Ако разгледаме Big Data за 2014 г. по подтип, пазарът ще изглежда така:

Според Wikibon приложенията и анализите представляват 36% от приходите от големи данни през 2014 г. от приложения и анализи на големи данни, 17% от компютърно оборудване и 15% от технологии за съхранение на данни. Най-малко приходи са генерирани от NoSQL технологии, инфраструктурно оборудване и предоставяне на мрежи за компании (корпоративни мрежи).

Най-популярните Big Data технологии са in-memory платформите на SAP, HANA, Oracle и др. Резултатите от проучването на T-Systems показаха, че те са избрани от 30% от анкетираните компании. На второ място по популярност са NoSQL платформите (18% от потребителите), компаниите също са използвали аналитични платформи от Splunk и Dell, те са избрани от 15% от компаниите. Според резултатите от проучването продуктите на Hadoop/MapReduce се оказаха най-малко полезни за решаване на проблеми с големи данни.

Според проучване на Accenture в повече от 50% от компаниите, използващи Big Data технологии, разходите за Big Data варират от 21% до 30%.
Според следващия анализ на Accenture 76% от компаниите смятат, че тези разходи ще се увеличат през 2015 г., а 24% от компаниите няма да променят бюджета си за технологиите за големи данни. Това предполага, че в тези компании Big Data са се превърнали в утвърдена област на ИТ, която се е превърнала в неразделна част от развитието на компанията.

Резултатите от проучването на Economist Intelligence Unit потвърждават положителния ефект от внедряването на Big Data. 46% от компаниите казват, че с помощта на Big Data технологиите са подобрили обслужването на клиентите с повече от 10%, 33% от компаниите са оптимизирали инвентара и са подобрили производителността на дълготрайните активи, а 32% от компаниите са подобрили процесите на планиране.

Big Data в различни страни по света

Днес технологиите за големи данни най-често се внедряват в американски компании, но други страни по света вече са започнали да проявяват интерес. През 2014 г., според IDC, страните в Европа, Близкия изток, Азия (с изключение на Япония) и Африка представляват 45% от пазара на софтуер, услуги и оборудване в областта на Big Data.

Освен това, според проучването на CIO, компаниите от Азиатско-тихоокеанския регион бързо приемат нови решения в областта на анализа на големи данни, сигурното съхранение и облачните технологии. Латинска Америка е на второ място по брой инвестиции в развитието на технологиите за големи данни, изпреварвайки европейските страни и САЩ.
След това ще бъдат представени описание и прогнози за развитието на пазара на големи данни в няколко страни.

Китай
Обемът на информацията в Китай е 909 екзабайта, което се равнява на 10% от общия обем информация в света, до 2020 г. обемът на информацията ще достигне 8060 екзабайта, делът на информацията в глобалната статистика също ще се увеличи, през 5 години ще се равнява на 18%. Потенциалният растеж на големите данни в Китай има една от най-бързо растящите динамики.

Бразилия
В края на 2014 г. Бразилия натрупа информация на стойност 212 екзабайта, което е 3% от глобалния обем. До 2020 г. обемът на информацията ще нарасне до 1600 екзабайта, което ще представлява 4% от световната информация.

Индия
Според EMC обемът на натрупаните данни в Индия към края на 2014 г. е 326 екзабайта, което е 5% от общия обем информация. До 2020 г. обемът на информацията ще нарасне до 2800 екзабайта, което ще представлява 6% от световната информация.

Япония
Обемът на натрупаните данни в Япония към края на 2014 г. е 495 екзабайта, което е 8% от общия обем информация. До 2020 г. обемът на информацията ще нарасне до 2200 екзабайта, но пазарният дял на Япония ще намалее и ще достигне 5% от общия обем информация в целия свят.
Така размерът на японския пазар ще намалее с повече от 30%.

Германия
Според EMC обемът на натрупаните данни в Германия към края на 2014 г. е 230 екзабайта, което е 4% от общия обем информация в света. До 2020 г. обемът на информацията ще нарасне до 1100 екзабайта и ще достигне 2%.
На германския пазар голяма част от приходите, според прогнозите на Experton Group, ще бъдат генерирани от сегмента на услугите, чийто дял през 2015 г. ще бъде 54%, а през 2019 г. ще нарасне до 59%; дяловете на софтуера и хардуерът, напротив, ще намалее.

Като цяло размерът на пазара ще нарасне от 1,345 милиарда евро през 2015 г. до 3,198 милиарда евро през 2019 г., среден темп на растеж от 24%.
По този начин, въз основа на анализите на CIO и EMC, можем да заключим, че развиващите се страни по света през следващите години ще станат пазари за активно развитие на технологиите за големи данни.

Основни пазарни тенденции

Според IDG Enterprise през 2015 г. разходите на компаниите за големи данни ще бъдат средно 7,4 милиона долара на компания, големите компании възнамеряват да похарчат приблизително 13,8 милиона долара, малките и средни компании - 1,6 милиона долара.
Повечето от инвестициите ще бъдат в области като анализ на данни, визуализация и събиране на данни.
Въз основа на текущите тенденции и търсенето на пазара, инвестициите през 2015 г. ще бъдат използвани за подобряване на качеството на данните, подобряване на планирането и прогнозирането и увеличаване на скоростта на обработка на данните.
Компаниите във финансовия сектор, според Insights Analysis на Bain Company, ще направят значителни инвестиции, така че през 2015 г. планират да похарчат 6,4 милиарда долара за технологии за големи данни, средният темп на растеж на инвестициите ще бъде 22% до 2020 г. Интернет компаниите планират да похарчат 2,8 милиарда долара със среден темп на растеж от 26% за разходите за големи данни.
При провеждането на проучването на Economist Intelligence Unit бяха идентифицирани приоритетни области за развитие на Big Data през 2014 г. и през следващите 3 години, разпределението на отговорите е както следва:

Според прогнозите на IDC тенденциите за развитие на пазара са следните:

• През следващите 5 години разходите за облачни решения в областта на Big Data технологиите ще растат 3 пъти по-бързо от разходите за локални решения. Хибридните платформи за съхранение на данни ще станат търсени.
• Растежът на приложенията, използващи сложни и предсказуеми анализи, включително машинно обучение, ще се ускори през 2015 г., като пазарът за такива приложения расте с 65% по-бързо от приложения, които не използват предсказуеми анализи.
• Медийният анализ ще се утрои през 2015 г. и ще се превърне в ключов двигател на растежа на пазара на технологии за големи данни.
• Тенденцията за въвеждане на решения за анализ на постоянния поток от информация, която е приложима в Интернет на нещата, ще се ускори.
• До 2018 г. 50% от потребителите ще взаимодействат с услуги, базирани на когнитивни изчисления.

Пазарни двигатели и ограничители

Експертите на IDC идентифицираха 3 двигатели на пазара на големи данни през 2015 г.:

Според проучване на Accenture проблемите със сигурността на данните вече са основната бариера пред внедряването на технологиите за големи данни, като повече от 51% от анкетираните потвърждават, че се притесняват за осигуряването на защита и поверителност на данните. 47% от компаниите съобщават за невъзможност за внедряване на Big Data поради ограничени бюджети, 41% от компаниите посочват като проблем липсата на квалифициран персонал.

Wikibon прогнозира, че пазарът на големи данни ще нарасне до 38,4 милиарда долара през 2015 г., което е ръст от 36% на годишна база. През следващите години ще има спад в темповете на растеж до 10% през 2017 г. Като се вземат предвид тези прогнози, размерът на пазара през 2020 г. ще бъде равен на 68,7 милиарда щатски долара.

Разпределението на глобалния пазар на големи данни по бизнес категории ще изглежда така:

Както се вижда от диаграмата, по-голямата част от пазара ще бъде заета от технологии в областта на подобряването на обслужването на клиентите. Целевият маркетинг ще бъде вторият приоритет за компаниите до 2019 г., а през 2020 г., според Heavy Reading, той ще отстъпи място на решения за подобряване на оперативната ефективност.
Сегментът „подобряване на обслужването на клиентите“ също ще има най-висок темп на растеж, с увеличение от 49% годишно.
Пазарната прогноза за подтипове Big Data ще изглежда така:

Преобладаващ пазарен дял, както се вижда от диаграмата, заемат професионалните услуги, като най-висок темп на растеж ще имат приложенията с анализи, техният дял ще нарасне от сегашните 12% на 18% през 2020 г. и обемът на този сегмент ще бъде равен на 12,3 милиарда щатски долара, а делът на изчислителното оборудване, напротив, ще спадне от 20% на 14% и ще достигне около 9,3 милиарда щатски долара през 2020 г., пазарът на облачни технологии постепенно ще се увеличава и през 2020 г. достигнат 6,3 милиарда щатски долара, пазарният дял на решенията за съхранение на данни, напротив, ще намалее от 15% през 2014 г. на 13% през 2020 г. и в парично изражение ще бъде равен на 8,9 милиарда щатски долара.
Според прогнозата на Insights Analysis на Bain & Company разпределението на пазара на големи данни по отрасли през 2020 г. ще бъде както следва:

• Финансовата индустрия ще похарчи 6,4 милиарда долара за големи данни със среден темп на растеж от 22% годишно;
• Интернет компаниите ще похарчат 2,8 милиарда долара, а средният темп на нарастване на разходите ще бъде 26% през следващите 5 години;
• Разходите на публичния сектор ще бъдат съизмерими с разходите на интернет компаниите, но темпът на растеж ще бъде по-нисък - 22%;
• Телекомуникационният сектор ще расте с CAGR от 40%, за да достигне 1,2 милиарда щатски долара през 2020 г.;

Енергийните компании ще инвестират сравнително малка сума в тези технологии - 800 милиона долара, но темпът на растеж ще бъде един от най-високите - 54% годишно.
Така най-голям дял от пазара на големи данни през 2020 г. ще заемат компании от финансовата индустрия, а най-бързо развиващият се сектор ще бъде енергетиката.
Според прогнозите на анализаторите общият размер на пазара ще се увеличи през следващите години. Растежът на пазара ще бъде постигнат чрез внедряване на технологиите за големи данни в развиващите се страни по света, както може да се види от графиката по-долу.

Прогнозираният размер на пазара ще зависи от това как развиващите се страни възприемат технологиите за големи данни и дали те ще бъдат толкова популярни, колкото в развитите страни. През 2014 г. развиващите се страни по света представляват 40% от обема на натрупаната информация. Според прогнозата на EMC сегашната структура на пазара, с преобладаване на развитите страни, ще се промени през 2017 г. Според анализите на EMC през 2020 г. делът на развиващите се страни ще бъде повече от 60%.
Според Cisco и EMC развиващите се страни по света ще работят доста активно с Big Data, до голяма степен поради наличието на технология и натрупването на достатъчно количество информация до ниво Big Data. Картата на света, представена на следващата страница, ще покаже прогнозата за увеличаване на обема и темпа на растеж на Big Data по региони.

АНАЛИЗ НА РУСКИЯ ПАЗАР

Текущото състояние на руския пазар

Според резултатите от проучване на CNews Analytics и Oracle нивото на зрялост на руския пазар на големи данни се е увеличило през последната година. Анкетираните, представляващи 108 големи предприятия от различни индустрии, демонстрираха по-висока степен на информираност за тези технологии, както и установено разбиране за потенциала на подобни решения за техния бизнес.
Към 2014 г., според IDC, Русия е натрупала 155 екзабайта информация, което е само 1,8% от данните в света. Обемът на информацията до 2020 г. ще достигне 980 екзабайта и ще заема 2,2%. Така средният темп на нарастване на обема на информацията ще бъде 36% годишно.
IDC оценява руския пазар на 340 милиона долара, от които 100 милиона са решения на SAP, приблизително 240 милиона са подобни решения на Oracle, IBM, SAS, Microsoft и др.
Темпът на растеж на руския пазар на големи данни е не по-малко от 50% годишно.
Прогнозите са, че положителната динамика ще продължи в този сектор на руския ИТ пазар, дори в условията на обща икономическа стагнация. Това се дължи на факта, че бизнесите продължават да изискват решения, които подобряват оперативната ефективност, както и оптимизират разходите, подобряват точността на прогнозиране и минимизират възможните фирмени рискове.
Основните доставчици на услуги в областта на Big Data на руския пазар са:

• Оракул
• Microsoft
• Клаудера
• Hortonworks
• Терадата.

Преглед на пазара по отрасли и опит в използването на Big Data в компаниите

Според CNews в Русия само 10% от компаниите са започнали да използват технологиите за големи данни, докато в света делът на такива компании е около 30%. Готовността за проекти с големи данни нараства в много сектори на руската икономика, според доклад на CNews Analytics и Oracle. Повече от една трета от анкетираните компании (37%) са започнали да работят с Big Data технологии, от които 20% вече използват такива решения, а 17% започват да експериментират с тях. Втората трета от анкетираните в момента обмислят тази възможност.

В Русия технологиите за големи данни са най-популярни в банковия и телекомуникационния сектор, но също така се търсят в минната индустрия, енергетиката, търговията на дребно, логистичните компании и публичния сектор.
След това ще бъдат разгледани примери за използването на Big Data в руската реалност.

Телеком
Телеком операторите разполагат с едни от най-обемните бази данни, което им позволява да извършват най-задълбочен анализ на натрупаната информация.
Една от областите на приложение на технологията Big Data е управлението на лоялността на абонатите.
Основната цел на анализа на данни е да задържи съществуващите клиенти и да привлече нови. За целта компаниите сегментират клиентите, анализират техния трафик и определят социалната принадлежност на абоната. В допълнение към използването на информация за маркетингови цели, телеком технологиите се използват за предотвратяване на измамни финансови транзакции.
Един от ярките примери за тази индустрия е VimpelCom. Компанията използва Big Data, за да подобри качеството на услугата на ниво всеки абонат, да съставя отчети, да анализира данни за развитие на мрежата, да се бори със спама и да персонализира услугите.

банки
Значителна част от потребителите на Big Data са специалисти от финансовата индустрия. Един от успешните експерименти беше проведен в Уралската банка за реконструкция и развитие, където информационната база започна да се използва за анализ на клиентите, банката започна да предлага специализирани оферти за заеми, депозити и други услуги. В рамките на една година от използването на тези технологии кредитният портфейл на дребно на компанията нарасна с 55%.
Alfa-Bank анализира информация от социалните мрежи, обработва заявления за кредит и анализира поведението на потребителите на уебсайта на компанията.
Сбербанк също започна да обработва огромно количество данни за сегментиране на клиенти, предотвратяване на измамни дейности, кръстосани продажби и управление на рисковете. В бъдеще се планира подобряване на услугата и анализ на действията на клиентите в реално време.
Всеруската банка за регионално развитие анализира поведението на притежателите на пластмасови карти. Това дава възможност да се идентифицират транзакции, които са нетипични за конкретен клиент, като по този начин се увеличава вероятността за откриване на кражба на средства от пластмасови карти.

На дребно
В Русия технологиите за големи данни са внедрени както от онлайн, така и от офлайн търговски компании. Днес, според CNews Analytics, Big Data се използват от 20% от търговците на дребно. 75% от професионалистите в търговията на дребно смятат Big Data за необходими за разработването на конкурентна стратегия за насърчаване на компанията. Според статистиката на Hadoop след внедряването на технологията Big Data печалбите в търговските организации се увеличават със 7-10%.
Специалистите на М.Видео говорят за подобрено логистично планиране след внедряването на SAP HANA; също така, в резултат на внедряването му, подготовката на годишни отчети беше намалена от 10 дни на 3, скоростта на ежедневно зареждане на данни беше намалена от 3 часа на 30 минути.
Wikimart използва тези технологии, за да генерира препоръки за посетителите на сайта.
Един от първите офлайн магазини, които въведоха анализ на големи данни в Русия, беше Lenta. С помощта на Big Data търговията на дребно започна да изучава информацията за клиентите от касовите бележки. Търговецът събира информация, за да създаде поведенчески модели, което прави възможно вземането на по-информирани решения на оперативно и търговско ниво.

Петролна и газова индустрия
В тази индустрия обхватът на Big Data е доста широк. Технологиите за големи данни могат да се използват при добива на полезни изкопаеми от недрата. С тяхна помощ можете да анализирате самия процес на добив и най-ефективните начини за извличането му, да наблюдавате процеса на сондиране, да анализирате качеството на суровините, както и обработката и маркетинга на крайния продукт. В Русия Транснефт и Роснефт вече започнаха да използват тези технологии.

Държавни органи
В страни като Германия, Австралия, Испания, Япония, Бразилия и Пакистан технологиите за големи данни се използват за решаване на национални проблеми. Тези технологии помагат на държавните органи по-ефективно да предоставят услуги на населението и да предоставят целева социална подкрепа.
В Русия тези технологии започнаха да се усвояват от държавни органи като Пенсионния фонд, Федералната данъчна служба и Фонда за задължително медицинско осигуряване. Потенциалът за реализиране на проекти с използване на големи данни е голям; тези технологии могат да помогнат за подобряване на качеството на услугите и в резултат на това стандарта на живот на населението.

Логистика и транспорт
Големите данни могат да се използват и от транспортни компании. Използвайки технологиите за големи данни, можете да проследявате автомобилния си парк, да вземете предвид разходите за гориво и да наблюдавате заявките на клиентите.
Руските железници внедриха технологиите за големи данни заедно със SAP. Тези технологии помогнаха да се намали времето за подготовка на отчетите с 43,5 пъти (от 14,5 часа на 20 минути) и да се увеличи точността на разпределението на разходите с 40 пъти. Големите данни също бяха въведени в процесите на планиране и регулиране на тарифите. Общо компаниите използват повече от 300 системи, базирани на решения на SAP, участват 4 центъра за данни, а броят на потребителите е 220 000.

Основни двигатели и ограничители на пазара

Двигателите за развитието на технологиите за големи данни на руския пазар са:

• Повишен интерес от страна на потребителите към възможностите на Big Data като начин за повишаване на конкурентоспособността на една компания;
• Разработване на методи за обработка на медийни файлове на глобално ниво;
• Прехвърляне на сървъри, обработващи лична информация, на територията на Русия, в съответствие с приетия закон за съхранение и обработка на лични данни;
• Изпълнение на индустриалния план за заместване на вноса на софтуер. Този план включва държавна подкрепа за местните производители на софтуер, както и предоставяне на преференции за местни ИТ продукти при закупуване за публична сметка.
• В новата икономическа ситуация, когато обменният курс на долара почти се удвои, ще има тенденция към нарастващо използване на услугите на руски доставчици на облачни услуги, а не на чуждестранни.
• Създаване на технологични паркове, които допринасят за развитието на пазара на информационни технологии, включително пазара на големи данни;
• Държавна програма за внедряване на грид системи, базирани на Big Data технологии.

Основните бариери пред развитието на Big Data на руския пазар са:

• Гарантиране на сигурност и поверителност на данните;
• Липса на квалифициран персонал;
• Недостатъчни натрупани информационни ресурси до ниво Big Data в повечето руски компании;
• Трудности при въвеждането на нови технологии в изградените информационни системи на фирмите;
• Високата цена на технологиите за големи данни, което води до ограничен брой предприятия, които имат възможност да внедрят тези технологии;
• Политическа и икономическа несигурност, довела до изтичане на капитали и замразяване на инвестиционни проекти в Русия;
• Нарастващите цени на вносните продукти и скокът на инфлацията, според IDC, забавят развитието на целия ИТ пазар.

Прогноза за руския пазар

Към днешна дата руският пазар на големи данни не е толкова популярен, колкото в развитите страни. Повечето руски компании проявяват интерес към него, но не смеят да се възползват от възможностите им.
Примери за големи компании, които вече са се възползвали от използването на технологиите за големи данни, увеличават осведомеността за възможностите на тези технологии.
Анализаторите също имат доста оптимистични прогнози по отношение на руския пазар. IDC вярва, че руският пазарен дял ще се увеличи през следващите 5 години, за разлика от немския и японския пазар.
До 2020 г. обемът на Big Data в Русия ще нарасне от сегашните 1,8% до 2,2% от глобалния обем данни. Количеството информация ще нарасне, според EMC, от сегашните 155 екзабайта до 980 екзабайта през 2020 г.
В момента Русия продължава да натрупва обем информация до ниво Big Data.
Според проучване на CNews Analytics 44% от анкетираните компании работят с данни от не повече от 100 терабайта* и само 13% работят с обеми над 500 терабайта.

Въпреки това руският пазар, следвайки световните тенденции, ще се увеличава. Към 2014 г. IDC оценява размера на пазара на 340 милиона долара.
Растежът на пазара през предходните години беше 50% годишно; ако остане на същото ниво, тогава през 2018 г. обемът на пазара ще достигне 1,7 милиарда долара. Делът на руския пазар в световния ще бъде около 3%, увеличавайки се от сегашните 1,2%.

Най-възприемчивите индустрии към използването на големи данни в Русия включват:

• Търговците на дребно и банките, за тях преди всичко са важни анализът на клиентската база и оценката на ефекта от маркетинговите кампании;
• Телеком – сегментиране на клиентската база и монетизация на трафика;
• Публичен сектор – отчетност, анализ на заявления от обществеността и др.;
• Петролни компании – наблюдение на работата и планиране на производство и продажби;
• Енергийни компании – създаване на интелигентни електроенергийни системи, оперативен мониторинг и прогнозиране.

В развитите страни Big Data са широко разпространени в областта на здравеопазването, застраховането, металургията, интернет компаниите и производствените предприятия; най-вероятно в близко бъдеще руските компании от тези области също ще оценят ефекта от въвеждането на Big Data и ще се адаптират тези технологии в своите индустрии.
В Русия, както и в света, в близко бъдеще ще има тенденция към визуализация на данни, анализ на медийни файлове и развитие на интернет на нещата.
Въпреки общата стагнация на икономиката, през следващите години анализаторите прогнозират по-нататъшен растеж на пазара на големи данни, главно поради факта, че използването на технологиите за големи данни дава на своите потребители конкурентно предимство по отношение на повишаване на оперативната ефективност на бизнес, привличане на допълнителен поток от клиенти, минимизиране на рисковете и внедряване на технологии за прогнозиране на данни.
По този начин можем да заключим, че сегментът на Big Data в Русия е в етап на формиране, но търсенето на тези технологии нараства всяка година.

Основни резултати от анализа на пазара

Световен пазар

В края на 2014 г. пазарът на Big Data се характеризира със следните параметри:

• пазарният обем възлиза на 28,5 милиарда щатски долара, което е увеличение от 45% в сравнение с предходната година;
• по-голямата част от приходите на пазара на големи данни идват от услуги, техният дял е равен на 40% от общите приходи;
• 36% от приходите идват от приложения и анализи на големи данни, 17% от компютърно оборудване и 15% от технологии за съхранение на данни;
• Най-популярните за решаване на проблеми с големи данни са платформите в паметта на компании като SAP, HANA и Oracle.
• броят на компаниите с реализирани проекти в областта на управлението на големи данни нараства със 125%;

Пазарната прогноза за следващите години е следната:

• през 2015 г. обемът на пазара ще достигне 38,4 млрд. щатски долара, през 2020 г. – 68,7 млрд. щатски долара;
• средният темп на растеж ще бъде 16% годишно;
• средните фирмени разходи за технологии за големи данни ще бъдат 13,8 милиона долара за големи компании и 1,6 милиона долара за малки и средни предприятия;
• технологиите ще бъдат най-разпространени в областите на обслужване на клиенти и целеви маркетинг;
• През 2017 г. структурата на глобалния пазар ще се промени към преобладаване на потребителски компании от развиващите се страни.

руски пазар

Руският пазар на големи данни е в етап на формиране, резултатите от 2014 г. са както следва:

• обемът на пазара достигна 340 милиона щатски долара;
• средният темп на растеж на пазара през предходните години беше 50% годишно;
• общият обем на натрупаната информация е 155 екзабайта;
• 10% от руските компании започнаха да използват технологиите за големи данни;
• Технологиите за големи данни бяха по-популярни в банковия сектор, телекомите, интернет компаниите и търговията на дребно.

Прогнозата за руския пазар за следващите години е следната:

• обемът на руския пазар през 2015 г. ще достигне 500 млн. щатски долара, а през 2018 г. – 1,7 млрд. щатски долара;
• делът на руския пазар в световния пазар ще бъде около 3% през 2018 г.;
• обемът на натрупаните данни през 2020 г. ще бъде 980 екзабайта;
• обемът на данните ще нарасне до 2,2% от глобалния обем на данните през 2020 г.;
• Най-популярни ще станат технологиите за визуализация на данни, анализ на медийни файлове и Интернет на нещата.

Въз основа на резултатите от анализа можем да заключим, че пазарът на големи данни все още е в ранен етап на развитие и в близко бъдеще ще видим неговия растеж и разширяване на възможностите на тези технологии.

Благодарим ви, че отделихте време да прочетете тази обемна работа, абонирайте се за нашия блог - обещаваме много нови интересни публикации!