16.07.18. Mail.ru lanserte Big Data as a Service

Mail.ru-skyplattformen har blitt fylt opp med en tjeneste for stordataanalyse, Cloud Big Data, som er basert på Apache Hadoop- og Spark-rammeverket. Tjenesten vil være nyttig for forhandlere og finansorganisasjoner som trenger å analysere store data, men som ikke ønsker å bruke mye penger på sine egne servere. Mail.ru tar kun penger for den faktiske driftstiden til utstyret. Dermed vil en Hadoop-klynge med 10 noder koste klienten 39 rubler. for en times arbeid. La oss huske at MTS i fjor lanserte den samme BigData-tjenesten Cloud MTS. Kostnaden for å bruke tjenesten var fra 5 tusen rubler. per måned. Også tjenester for behandling av store data leveres av.

2017. MTS lanserte en skyplattform for behandling av Big Data

MTS-operatøren har lansert en tjeneste for skybehandling av big data for bedrifter som en del av sin skyplattform #CloudMTS. Bedrifter vil kunne jobbe med data i Hadoop og Spark programvaremiljøer. For eksempel vil denne skytjenesten hjelpe bedrifter med å målrette annonsering, samle inn og behandle åpne data og gjennomføre økonomiske og forretningsmessige analyser. Nettbutikker vil kunne analysere kundeadferd og deretter tilby ferdige målrettede tilbud til ulike arrangementer og høytider. Tjenesten fungerer ved hjelp av forhåndsinstallerte beregningsverktøy, men det er mulig å lage dine egne databehandlingsalgoritmer. Kostnaden for å bruke tjenesten starter fra 5 tusen rubler per måned, prisen varierer avhengig av plassen som er okkupert i skyen. La oss minne deg på at #CloudMTS-plattformen ble opprettet i 2016. Først ga det bare skylagringstjenester, og senere la det også til skydatatjenester.

2016. Big Data-prognose for Rio-OL

Snart vil Big Data-tjenester fortelle deg hvilke beslutninger du bør ta for å vokse og sikre sikkerheten til virksomheten din. Foreløpig trener de hovedsakelig på idrettsarrangementer. Husk, nylig intellektuell Microsoft-plattform spådde resultatene av fotball-EM? Så hun gjettet ingenting riktig. Denne gangen har det amerikanske selskapet Gracenote, som spesialiserer seg på stordatabehandling, beregnet det mest sannsynlige alternativet for medaljeplasseringen i Rio-OL. Bildet viser en prognose som ble satt sammen en måned før OL. Den oppdateres kontinuerlig. Gjeldende versjon - .

2016. Microsofts intelligente plattform spådde resultatene av fotball-EM

Microsoft (som enhver IT-gigant med respekt for seg selv) har allerede en analytisk plattform basert på Big Data-behandling og kunstig intelligens – Microsoft Cortana Intelligence Suite. Basert på ulike data fra forretningssystemene dine, kan den forutsi kundefragang, utstyrsfeil, inntektsendringer osv. Og nå gir Microsoft oss muligheten til å sjekke hvor nøyaktig denne plattformen fungerer. Etter å ha analysert fotballhistorie, statistisk informasjon om lag, spillerprestasjoner, skader, samt kommentarer fra fans på sosiale nettverk, presenterte hun sin prognose for fotball-EM, som starter i dag. Så ifølge prognosen: Tyskland vil beseire Spania i finalen med en sannsynlighet på 66%. Og i åpningskampen vinner Frankrike mot Romania med en sannsynlighet på 71 %.

2016. SAP og Yandex lager Big Data-tjeneste for kundeoppbevaring

For 2 år siden lanserte Yandex en tjeneste som tilbyr store databehandlingstjenester for bedrifter. Denne tjenesten har allerede hjulpet selskaper som Beeline og Wargaming (Word of Tanks) med å unngå kundefragang. Den forutsier churn-perioder basert på historiske data og gir virksomheten muligheten til å forberede seg og tilby noen nye kampanjer i tide. Nå, tilsynelatende, har denne Yandex-teknologien tiltrukket seg interessen til verdens største aktør på IT-markedet for bedrifter - SAP. Selskapene har gått sammen om å utvikle en tjeneste for å forutsi kundeadferd. Tjenesten skal ifølge SAP og YDF brukes innen detaljhandel, e-handel, banker og telekommunikasjon. De sier at tjenesten vil være designet for mellomstore bedrifter, inkludert prisen.

2016. PROMT Analyzer - morfologisk Big Data analysator

PROMT-selskapet har sluppet PROMT Analyzer – en løsning innen kunstig intelligens for arbeid med big data i informasjons- og analysesystemer. Verktøyet er designet for å søke, trekke ut, oppsummere og strukturere informasjon fra nesten hvilken som helst tekstinnhold på forskjellige språk som i bedriftssystemer, og i eksterne kilder. Den analyserer alle tekster eller dokumenter, identifiserer enheter i dem (personer, organisasjoner, geografiske navn, geopolitiske enheter, etc.), og bestemmer også handlingene knyttet til disse enhetene, dato og sted for handlingen, og danner et helhetlig bilde av dokumentet. PROMT Analyzer lar deg løse det meste ulike oppgaver: analyse av selskapets interne ressurser (dokumentflytsystemer), analyse av eksterne ressurser (media, bloggosfære, etc.), analyse av data hentet fra lukkede kilder for å vurdere kritiske situasjoner, analyse av aktiviteten til et objekt med henvisning til geografi, samt optimalisering av søkemotorer og tjenesterstøtte.

2016. Mail.Ru vil hjelpe bedrifter med å analysere dataene deres

Mail.Ru streber etter å holde tritt med sin hovedkonkurrent, Yandex. For et år siden Yandex stordataanalysetjeneste for bedrifter. Og nå har Mail.ru åpnet en Big Data-retning for bedriftskunder. Først og fremst vil den omhandle prosjekter som tar sikte på å effektivisere markedsførings- og salgsprosesser, produksjonsoptimalisering, logistikk, risikostyring, planlegging, personalledelse og andre arbeidsprosesser i ulike virksomheter. For eksempel vil Mail.ru kunne lage en modell for å forutsi kundestrøm, respons på tilbud og forutsi reaksjonen på en anke gjennom en spesifikk kommunikasjonskanal. Dette vil gjøre interaksjonen med en potensiell klient mer personlig. Mail.ru opplyser at selskapet har analysert data praktisk talt siden grunnleggelsen og har sine egne maskinlæringsteknologier.

2015. IBM vil bli den ledende leverandøren av værmeldinger for bedrifter

Er været viktig for virksomheten? Selvfølgelig, spesielt hvis bedriften din er et landbruksbedrift, reisebyrå, kafé eller klesbutikk. Været påvirker stabiliteten i forsyninger, sortimentsutvalg og salgsaktivitet. I dette tilfellet bør ethvert business intelligence-system med respekt for seg selv ta hensyn til værmeldingen. Det var det IBM tenkte og kjøpte verdens største værtjeneste, The Weather Company. IBM planlegger å mate data fra tre milliarder prognosereferansepunkter til sin superdatamaskin Watson og revolusjonere værvarsling. De planlegger også å lage en plattform som vil tillate tredjeparts forretningsapplikasjoner å bruke værinformasjon mot en avgift.

2015. Video: Hvordan bruke Big Data for å tiltrekke seg dyktige medarbeidere

Tviler du fortsatt på at Big Data er nyttig for bedrifter? Se så denne videoen om hvordan Beeline tiltrekker seg nye talentfulle medarbeidere ved å bruke Big Data. I begynnelsen av september kjørte en Big Data Taxi i form av en Tesla-bil rundt i Moskva. Ifølge en Beeline-representant, i tillegg til å hjelpe til med å tiltrekke nye talenter, lar Big Data-teknologier selskapet løse en rekke problemer. Starter fra så enkle og trivielle som "finn alle de som bruker et SIM-kort kjøpt med en annens pass" og slutter med "bestem abonnentens alder basert på et sett med indikatorer."

2015. Microsoft introduserte en snakkende Big Data-plattform

Big Data-teknologier lover bedrifter magisk optimalisering av forretningsprosesser, for eksempel: du vil alltid ha riktig mengde varer på rett sted, i riktig tid. Men de selskapene som allerede har prøvd Big Data sier: i praksis fungerer det ikke. Eksisterende Big Data-systemer er designet for analytikere, og til en vanlig ansatt som må ta en avgjørelse her og nå, de hjelper ikke. Derfor bestemte Microsoft seg for å gi ut en Big Data-plattform med et menneskelig ansikt (mer presist, en stemme) - Cortana Analytics Suite. Den er basert på Azure-skyplattformen og bruker stemme Cortana-assistent som et grensesnitt. Det antas at enhver avdelingsleder ved hjelp av en visuell designer vil kunne lage miniapplikasjoner som behandler store mengder data, og enhver ansatt vil kunne spørre Cortana og motta riktig informasjon til rett tid, i rett sted.

2015. Video: Hva er Big Data og hvem trenger det?

Den russiske oppstarten CleverData er posisjonert som en Big Data-integrator. De implementerer prosjekter for å løse spesifikke forretningsproblemer ved å bruke Big Data-plattformer og -teknologier. I videoen snakker administrerende direktør i CleverData, Denis Afanasyev, interessant om hva Big Data er og hvor disse store dataene kom fra. Det viser seg at teknologier for prosessering av store data har eksistert i flere tiår, men årsaken til fremveksten av markedsføringsbegrepet Big Data er at (takket være cloud computing) kostnadene deres har gått ned og de har blitt tilgjengelige for små og mellomstore bedrifter. I følge Denis brukes Big Data oftest til markedsføring (kundebasesegmentering, nettannonsering), IT-sikkerhet (oppdagelse av svindel, forutsigelse av sammenbrudd) og risikostyring (vurdering av kunders kredittverdighet).

2015. SAP introduserte Next Big Thing - S/4HANA ERP-systemet

Det første SAP ERP-systemet ble kalt R/2 og kjørte på stormaskiner. Så var det R/3. I 2004 dukket SAP Business Suite opp. Forleden presenterte SAP (som de sier) det viktigste produktet i sin historie - ny verson S4/HANA. Da de opprettet den, tenkte ikke utviklerne på hvordan de skulle overgå den evige konkurrenten Oracle, men på hvordan de skulle unngå å bli overgått av de aggressive SaaS-leverandørene Salesforce og Workday. Derfor vil S4 kunne jobbe både lokalt og i skyen. Hovedfunksjonen til systemet er hastighet. Som navnet tilsier, er S4 basert på den ledende Big-Data-plattformen SAP HANA, som lar deg behandle svært store data på sekunder. Den andre hovedfunksjonen er grensesnittet. Glem komplekse tabeller og menyer som du ikke kan finne ut uten en flaske. SAP ønsker at det nye kraftige systemet skal styres ved hjelp av en smarttelefon. Du kan bruke minst 25 enkle SAP Fiori-applikasjoner for å jobbe med SAP. Her er videopresentasjonen deres:

2014. Yandex har åpnet en Big Data-tjeneste for bedrifter

Yandex har lansert Yandex Data Factory-prosjektet, som vil tilby store databehandlingstjenester for bedrifter. For å gjøre dette bruker den Matrixnet maskinlæringsteknologi, som Yandex utviklet for å rangere nettsteder i søkemotoren. Det opplyses at Yandex planlegger å bli en konkurrent til selskaper som SAP AG og Microsoft. For øyeblikket har Yandex Data Factory-spesialister implementert flere pilotprosjekter med europeiske selskaper. Spesielt ble Yandex kunstig intelligens brukt av et selskap som betjener kraftlinjer for å forutsi sammenbrudd, av en bank for å målrette mot låntakere, og av et motorveibyrå for å forutsi trafikkork. I tillegg viser det seg at Yandex behandler data hentet fra den berømte hadronkollideren ved CERN.

2014. Microsoft vil hjelpe Real Madrid å vinne med Big Data

De søker ikke det gode fra det gode. Real Madrid har spilt ganske bra i det siste og oppnådd gode resultater. Men laurbærene til det tyske landslaget, som vant VM med hjelp, hjemsøker presidenten i Madrid-klubben, Florentino Perez (helt til venstre på bildet). Derfor signerte han en kontrakt med Microsoft på 30 millioner dollar, innenfor rammen av hvilken en moderne IT-infrastruktur for klubben skal opprettes. Real Madrids trenerteam og spillere vil motta Surface Pro 3-nettbrett med forhåndsinstallerte Office 365-applikasjoner for tettere samarbeid mellom ansatte. Og ved å bruke analyseverktøyene til Power BI for Office 365, vil lagtrenere kunne studere ytelsen til fotballspillere, identifisere langsiktige trender og til og med forutsi skader.

2014. 1C-Bitrix lanserte Big Data-tjenesten

Big Data - teknologier for å behandle svært store datamengder for å oppnå enkle og nyttige resultater for virksomheten - er en av de viktigste nye trendene i IT-markedet. Og 1C-Bitrix BigData-tjenesten er kanskje den første innenlandstjenesten basert på denne teknologien. Den første anvendelsen av denne kunstige intelligensen vil være optimalisering (personalisering) av nettbutikker ved å bruke Bitrix-motoren for hver nye besøkende. Basert på analysen av en stor mengde data om alle tidligere besøkende, vil tjenesten være i stand til å forutsi oppførselen til en ny besøkende på nettstedet, fremheve kunder som ligner ham, og gi ham personlige tilbud basert på kjøpshistorikken til andre kunder. Sannsynligvis kan vi snart forvente Big Data-funksjoner i forretningsstyringssystemet Bitrix24.

2014. SAP: Det tyske laget vant verdenscuppen takket være Big Data

Nylig, i fjor, vant Oracle-yachten America's Cup, og da sa Oracle at denne seieren i stor grad skyldtes Big Data-analysesystemet i Oracle-skyen. Nå er tiden inne for Oracles evige konkurrent, det tyske selskapet SAP, til å svare på dette PR-grepet. Det viste seg at det tyske laget vant verdenscuppen også takket være Big Data. SAP har utviklet et Match Insights-system som leser en fotballkamp inn i en 3-dimensjonal digital modell og analyserer handlingene til hver spiller og laget som helhet. Ikke bare kampene til vårt eget lag ble analysert (for å rette feil og forbedre effektiviteten), men også konkurrentenes kamper. Kunstig intelligens funnet svake punkter motstandere og hjalp laget med å forberede seg til kampen. Moralen i historien er: Tenk deg hva Big Data kan gjøre for virksomheten din.

2014. CROC lanserte en skybasert Business Intelligence-løsning

Systemintegrator Croc har lansert en business intelligence-tjeneste med det selvforklarende navnet "Business Intelligence as a Service" eller BIaaS. Løsningen er utviklet for store organisasjoner som er interessert i å redusere kapitalkostnader og akselerere bruken ledelsesbeslutninger. Systemet er bygget på EMC Greenplum-produktet og er en løsning på Big Data-nivå. Ved å bruke dette verktøyet kan du analysere og sammenligne store mengder informasjon, bygge nøkkelindikatorer og ta forretningsbeslutninger, omgå stadiet med kapitalutgifter for kjøp av programvare, lisenser og mulig modernisering av infrastrukturen. Løsningen lar deg implementere tre mulige scenarier for å jobbe med data - analyse for detaljhandel, analyse av kontaktsenterytelsesindikatorer og evaluering ledelsesaktiviteter organisasjon for overholdelse av KPIer.

2013. SAP gjør store bedrifter effektive med Big Data. Konkurrentene gråter

SAP har de siste årene vist seg å være det minst innovative IT-selskapet (sammenlignet med konkurrentene Oracle, Microsoft, IBM). Alle SAPs egne innovative prosjekter mislyktes stort sett (husk), og det eneste SAP lyktes med var å kjøpe andre selskaper (SuccessFactors, SyBase, Ariba). Men denne gangen ser det ut til at SAP har bestemt seg for å overgå konkurrentene. Og han vil gjøre dette ved å bruke den nye fasjonable teknologien Big Data. Hva det er?

Bare de late snakker ikke om Big data, men de forstår knapt hva det er og hvordan det fungerer. La oss starte med det enkleste - terminologi. Snakker på russisk, Big data er ulike verktøy, tilnærminger og metoder for å behandle både strukturerte og ustrukturerte data for å bruke dem til spesifikke oppgaver og mål.

Ustrukturerte data er informasjon som ikke har en forhåndsbestemt struktur eller som ikke er organisert i en bestemt rekkefølge.

Begrepet "big data" ble introdusert av Nature magazine-redaktør Clifford Lynch tilbake i 2008 i en spesialutgave dedikert til den eksplosive veksten av verdens informasjonsvolumer. Selv om big data selvfølgelig eksisterte før. Ifølge eksperter inkluderer Big data-kategorien de fleste dataflyter over 100 GB per dag.

Les også:

I dag skjuler dette enkle begrepet bare to ord - datalagring og prosessering.

Big data - med enkle ord

I den moderne verden er Big data et sosioøkonomisk fenomen som er forbundet med det faktum at nye teknologiske muligheter har dukket opp for å analysere en enorm mengde data.

Les også:

For å gjøre det lettere å forstå, se for deg et supermarked der alle varene ikke er i den rekkefølgen du er vant til. Brød ved siden av frukten, tomatpuré ved siden av frossenpizzaen, tennvæske foran tampongstativet, som inneholder blant annet avokado, tofu eller shiitake-sopp. Big data setter alt på plass og hjelper deg med å finne nøttemelk, finne ut pris og utløpsdato, og også hvem, foruten deg, kjøper denne melken og hvorfor den er bedre enn kumelk.

Kenneth Cukier: Big data er bedre data

Big data-teknologi

Store mengder data behandles slik at en person kan oppnå spesifikke og nødvendige resultater for videre effektiv bruk.

Les også:

Faktisk er Big data en løsning på problemer og et alternativ til tradisjonelle datahåndteringssystemer.

Teknikker og analysemetoder som gjelder Big data i henhold til McKinsey:

• Crowdsourcing;

  Datablanding og integrasjon;

  Maskinlæring;

  Kunstige nevrale nettverk;

  Mønstergjenkjenning;

  Prediktiv analyse;

  Simulering modellering;

  Romlig analyse;

  Statistisk analyse;

• Visualisering av analytiske data.

Horisontal skalerbarhet som muliggjør databehandling er det grunnleggende prinsippet for stordatabehandling. Data distribueres på tvers av databehandlingsnoder, og prosessering skjer uten ytelsesforringelse. McKinsey inkluderte også relasjonsstyringssystemer og Business Intelligence i sammenheng med anvendelighet.

Teknologier:

• NoSQL;
• Kart reduksjon;
• Hadoop;
• Maskinvareløsninger.

Les også:

For big data er det tradisjonelle definerende egenskaper utviklet av Meta Group tilbake i 2001, som kalles " Tre V»:

1. Volum- mengden fysisk volum.
2. Hastighet- veksthastighet og behov for rask databehandling for å oppnå resultater.
3. Variasjon- evnen til å behandle ulike typer data samtidig.

Big data: applikasjoner og muligheter

Det er umulig å behandle volumene av heterogen og raskt innkommende digital informasjon med tradisjonelle verktøy. Dataanalyse i seg selv lar deg se visse og umerkelige mønstre som en person ikke kan se. Dette gjør at vi kan optimalisere alle områder av livet vårt – fra offentlig administrasjon til produksjon og telekommunikasjon.

For eksempel beskyttet noen selskaper for noen år siden kundene sine mot svindel, og å ta vare på kundens penger betyr å ta vare på dine egne penger.

Susan Etliger: Hva med big data?

Løsninger basert på Big data: Sberbank, Beeline og andre selskaper

Beeline har en enorm mengde data om abonnenter, som de bruker ikke bare til å jobbe med dem, men også for å lage analytiske produkter, for eksempel ekstern rådgivning eller IPTV-analyse. Beeline segmenterte databasen og beskyttet klienter mot økonomisk svindel og virus, ved å bruke HDFS og Apache Spark for lagring, og Rapidminer og Python for databehandling.

Les også:

Eller la oss huske Sberbank med deres gamle sak kalt AS SAFI. Dette er et system som analyserer bilder for å identifisere bankkunder og forhindre svindel. Systemet ble introdusert tilbake i 2014, systemet er basert på å sammenligne bilder fra databasen, som kommer dit fra webkameraer på stativ takket være datasyn. Grunnlaget for systemet er en biometrisk plattform. Takket være dette har svindeltilfellene gått ned med 10 ganger.

Big data i verden

Innen 2020, ifølge prognoser, vil menneskeheten generere 40-44 zettabyte med informasjon. Og innen 2025 vil den vokse 10 ganger, ifølge rapporten The Data Age 2025, som er utarbeidet av analytikere fra IDC. Rapporten bemerker at det meste av dataene vil bli generert av bedrifter selv, i stedet for vanlige forbrukere.

Forskningsanalytikere tror at data vil bli en viktig ressurs, og sikkerhet et kritisk fundament i livet. Forfatterne av verket er også sikre på at teknologien vil endre det økonomiske landskapet, og vanlig bruker vil kommunisere med tilkoblede enheter omtrent 4800 ganger om dagen.

Big data-markedet i Russland

Big data kommer vanligvis fra tre kilder:

• Internett (sosiale nettverk, fora, blogger, media og andre nettsteder);
• Bedriftsdokumentarkiv;
• Avlesninger fra sensorer, instrumenter og andre enheter.

Big data i banker

I tillegg til systemet beskrevet ovenfor, inkluderer Sberbanks strategi for 2014-2018: snakker om viktigheten av å analysere superdata for kundeservice av høy kvalitet, risikostyring og kostnadsoptimalisering. Nå bruker banken Big data til å håndtere risiko, bekjempe svindel, segmentere og vurdere kunders kredittverdighet, personalledelse, prognosere køer i filialer, kalkulere bonuser til ansatte og andre oppgaver.

VTB24 bruker big data for å segmentere og administrere kundeutganger, generere finansiell rapportering og analysere anmeldelser på sosiale nettverk og fora. For å gjøre dette bruker han løsninger fra Teradata, SAS Visual Analytics og SAS Marketing Optimizer.

Det ble spådd at det totale globale volumet av data som ble opprettet og replikert i 2011 kunne være omtrent 1,8 zettabyte (1,8 billioner gigabyte) - omtrent 9 ganger mer enn det som ble opprettet i 2006.

Mer kompleks definisjon

Imidlertid` stor Data` involvere mer enn bare å analysere enorme mengder informasjon. Problemet er ikke at organisasjoner lager enorme mengder data, men at det meste er i et format som ikke passer godt med det tradisjonelle strukturerte databaseformatet – nettlogger, videoer, tekstdokumenter, maskinkode eller for eksempel geospatiale data . Alt dette er lagret i mange forskjellige depoter, noen ganger også utenfor organisasjonen. Som et resultat kan selskaper ha tilgang til en enorm mengde av dataene deres og mangle de nødvendige verktøyene for å etablere relasjoner mellom disse dataene og trekke meningsfulle konklusjoner fra dem. Legg til dette at data nå oppdateres stadig oftere, og du får en situasjon der tradisjonelle metoder for informasjonsanalyse ikke kan holde tritt med de enorme volumene av stadig oppdaterte data, noe som til syvende og sist åpner veien for teknologi. stor Data.

Beste definisjon

I hovedsak konseptet stor Data innebærer å arbeide med informasjon av et stort volum og mangfoldig sammensetning, svært ofte oppdatert og plassert i ulike kilder for å øke driftseffektiviteten, skape nye produkter og øke konkurranseevnen. Konsulentselskapet Forrester gir en kort formulering: ` Stor Data samler teknikker og teknologier som trekker ut mening fra data på de ytterste grensene for praktisk.

Hvor stor er forskjellen mellom forretningsanalyse og big data?

Craig Bathy, administrerende direktør for markedsføring og teknologisjef i Fujitsu Australia, påpekte at forretningsanalyse er en beskrivende prosess for å analysere resultatene oppnådd av en bedrift i en viss tidsperiode, mens behandlingshastigheten stor Data lar deg gjøre analysen prediktiv, i stand til å tilby forretningsanbefalinger for fremtiden. Big data-teknologier lar deg også analysere flere typer data enn business intelligence-verktøy, noe som gjør det mulig å fokusere på mer enn bare strukturerte depoter.

Matt Slocum fra O'Reilly Radar mener at selv om stor Data og forretningsanalyse har samme mål (å finne svar på et spørsmål), de skiller seg fra hverandre på tre aspekter.

• Big data er designet for å håndtere større mengder informasjon enn forretningsanalyse, og dette passer absolutt til den tradisjonelle definisjonen av big data.
• Big data er designet for å håndtere raskere informasjon som endrer seg raskere, noe som betyr dyp utforskning og interaktivitet. I noen tilfeller genereres resultater raskere enn nettsiden lastes inn.
• Big data er designet for å behandle ustrukturerte data som vi først begynner å utforske hvordan vi kan bruke når vi har vært i stand til å samle inn og lagre dem, og vi trenger algoritmer og samtaleevner for å gjøre det lettere å finne trender i disse datasettene.

I følge hvitboken «Oracle Information Architecture: An Architect's Guide to Big Data» publisert av Oracle, når vi arbeider med big data, tilnærmer vi oss informasjon annerledes enn når vi utfører forretningsanalyse.

Å jobbe med big data er ikke som den vanlige business intelligence-prosessen, der bare å legge sammen kjente verdier gir et resultat: for eksempel å legge sammen betalte fakturaer blir salg for året. Når du arbeider med big data, oppnås resultatet i prosessen med å rense dem gjennom sekvensiell modellering: først fremsettes en hypotese, en statistisk, visuell eller semantisk modell, på grunnlag av den kontrolleres riktigheten av den fremsatte hypotesen, og deretter legges den neste frem. Denne prosessen krever at forskeren enten tolker visuelle betydninger eller konstruerer interaktive spørringer basert på kunnskap, eller utvikler adaptive «maskinlæring»-algoritmer som kan gi det ønskede resultatet. Dessuten kan levetiden til en slik algoritme være ganske kort.

Teknikker for analyse av store data

Det finnes mange ulike metoder for å analysere datasett, som er basert på verktøy lånt fra statistikk og informatikk (for eksempel maskinlæring). Listen later ikke til å være fullstendig, men den gjenspeiler de mest populære tilnærmingene i ulike bransjer. Det skal forstås at forskere fortsetter å jobbe med å skape nye teknikker og forbedre eksisterende. I tillegg er noen av teknikkene som er oppført ikke nødvendigvis gjeldende utelukkende for big data og kan med hell brukes til mindre arrays (for eksempel A/B-testing, regresjonsanalyse). Selvfølgelig, jo mer omfangsrikt og diversifisert arrayet er analysert, jo mer nøyaktige og relevante data kan oppnås som et resultat.

A/B-testing. En teknikk der en kontrollprøve vekselvis sammenlignes med andre. Dermed er det mulig å identifisere den optimale kombinasjonen av indikatorer for å oppnå for eksempel best forbrukerrespons på et markedsføringstilbud. Stor Data lar deg utføre et stort antall iterasjoner og dermed få et statistisk pålitelig resultat.

Foreningsregellæring. Et sett med teknikker for å identifisere relasjoner, dvs. assosiasjonsregler mellom variabler i store datasett. Brukt i Datautvinning.

Klassifisering. Et sett med teknikker som lar deg forutsi forbrukeratferd i et bestemt markedssegment (kjøpsbeslutninger, kundesalg, forbruksvolum, etc.). Brukt i Datautvinning.

Klyngeanalyse. En statistisk metode for å klassifisere objekter i grupper ved å identifisere fellestrekk som ikke er kjent på forhånd. Brukt i Datautvinning.

Crowdsourcing. Metodikk for innsamling av data fra et stort antall kilder.

Datafusjon og dataintegrasjon. Et sett med teknikker som lar deg analysere kommentarer fra brukere av sosiale nettverk og sammenligne dem med salgsresultater i sanntid.

Datautvinning. Et sett med teknikker som lar deg bestemme kategoriene av forbrukere som er mest mottakelige for det promoterte produktet eller tjenesten, identifisere egenskapene til de mest suksessrike ansatte og forutsi forbrukernes atferdsmodell.

Ensemblelæring. Denne metoden bruker mange prediktive modeller, og forbedrer dermed kvaliteten på prognosene som er gjort.

Genetiske algoritmer. I denne teknikken er mulige løsninger representert i form av `kromosomer', som kan kombineres og muteres. Som i prosessen med naturlig evolusjon, overlever den sterkeste personen.

Maskinlæring. En retning innen informatikk (historisk har den fått navnet «kunstig intelligens»), som forfølger målet om å lage selvlærende algoritmer basert på analyse av empiriske data.

Naturlig språkbehandling (NLP). Et sett med gjenkjennelsesteknikker lånt fra informatikk og lingvistikk naturlig språk person.

Nettverksanalyse. Et sett med teknikker for å analysere forbindelser mellom noder i nettverk. I forhold til sosiale nettverk lar den deg analysere relasjonene mellom individuelle brukere, selskaper, fellesskap, etc.

Optimalisering. Et sett med numeriske metoder for å redesigne komplekse systemer og prosesser for å forbedre en eller flere beregninger. Hjelper med å ta strategiske beslutninger, for eksempel sammensetningen av produktlinjen som skal lanseres på markedet, gjennomføre investeringsanalyser, etc.

Mønstergjenkjenning. Et sett med teknikker med selvlærende elementer for å forutsi atferdsmodellen til forbrukere.

Prediktiv modellering. Et sett med teknikker som lar deg lage matematisk modell et forhåndsbestemt sannsynlig scenario for utvikling av hendelser. For eksempel analyse av CRM-systemdatabasen for mulige forhold som vil få abonnenter til å bytte leverandør.

Regresjon. Et sett med statistiske metoder for å identifisere et mønster mellom endringer i en avhengig variabel og en eller flere uavhengige variabler. Brukes ofte til prognoser og spådommer. Brukes i data mining.

Sentimentanalyse. Teknikker for å vurdere forbrukernes følelser er basert på teknologier for naturlig språkgjenkjenning. De lar deg isolere meldinger knyttet til emnet av interesse (for eksempel et forbrukerprodukt) fra den generelle informasjonsflyten. Vurder deretter polariteten til dommen (positiv eller negativ), graden av emosjonalitet, etc.

Signal Prosessering. Et sett med teknikker lånt fra radioteknikk som tar sikte på å gjenkjenne et signal mot en bakgrunn av støy og dets videre analyse.

Romlig analyse. Et sett med metoder for å analysere romlige data, delvis lånt fra statistikk - terrengtopologi, geografiske koordinater, geometri av objekter. Kilde stor Data i dette tilfellet dukker de ofte opp geografiske informasjonssystemer(GIS).

Statistikk. Vitenskapen om å samle inn, organisere og tolke data, inkludert utvikling av spørreskjemaer og gjennomføring av eksperimenter. Statistiske metoder brukes ofte for å foreta verdivurderinger om sammenhengene mellom visse hendelser.

Veiledet læring. Et sett med teknikker basert på maskinlæringsteknologier som lar deg identifisere funksjonelle forhold i analyserte datasett.

Simulering. Modellering av atferden til komplekse systemer brukes ofte til å forutsi, forutse og arbeide gjennom ulike scenarier i planleggingen.

Tidsserieanalyse. Et sett lånt fra statistikk og digital behandling signalmetoder for å analysere datasekvenser som gjentas over tid. Noen åpenbare applikasjoner er å spore aksjemarkedet eller pasientsykdommer.

Uovervåket læring. Et sett med teknikker basert på maskinlæringsteknologier som lar deg identifisere skjulte funksjonelle relasjoner i de analyserte datasettene. Har fellestrekk med Klyngeanalyse.

Visualisering. Metoder grafisk representasjon resultater av big data-analyse i form av diagrammer eller animerte bilder for å forenkle tolkning og gjøre resultatene lettere å forstå.

Visuell representasjon av resultatene av big data-analyse er av grunnleggende betydning for deres tolkning. Det er ingen hemmelighet at menneskelig oppfatning er begrenset, og forskere fortsetter å forske på forbedringsfeltet moderne metoder Presentere data i form av bilder, diagrammer eller animasjoner.

Analytiske verktøy

Fra og med 2011 gjør noen av tilnærmingene oppført i forrige underavsnitt eller en viss kombinasjon av dem det mulig å implementere analytiske motorer for å jobbe med big data i praksis. Blant de gratis eller relativt rimelige åpne Big Data-analysesystemene kan vi anbefale:

• Revolution Analytics (basert på R-språket for matematisk statistikk).

Av spesiell interesse på denne listen er Apache Hadoop, en åpen kildekode-programvare som har blitt bevist som en dataanalysator av de fleste aksjesporere de siste fem årene. Så snart Yahoo åpnet Hadoop-koden for åpen kildekode-fellesskapet, dukket det umiddelbart opp en hel bevegelse med å lage produkter basert på Hadoop i IT-bransjen. Nesten alle moderne analyseverktøy stor Data gi Hadoop-integrasjonsverktøy. Utviklerne deres er både startups og kjente globale selskaper.

Markeder for Big Data Management Solutions

Big Data Platforms (BDP, Big Data Platform) som et middel for å bekjempe digital hording

Evne til å analysere stor Data, i daglig tale kalt Big Data, oppfattes som en fordel, og entydig. Men er det virkelig slik? Hva kan uhemmet akkumulering av data føre til? Mest sannsynlig til det innenlandske psykologer, i forhold til mennesker, kaller patologisk hamstring, syllogomani eller billedlig "Plyushkin-syndrom." På engelsk kalles den ondskapsfulle lidenskapen for å samle alt hording (fra den engelske hamstringen - "lager"). I følge klassifiseringen av psykiske lidelser er hording klassifisert som psykiske lidelser. I den digitale æra er digital hamstring lagt til den tradisjonelle materialhordingen; det kan påvirke både enkeltpersoner og hele bedrifter og organisasjoner ().

Verdens og russiske markedet

Big data Landskap - Hovedleverandører

Interesse for innsamling, bearbeiding, styring og analyseverktøy stor Data Nesten alle ledende IT-selskaper viste dette, noe som er ganske naturlig. For det første møter de dette fenomenet direkte i egen virksomhet, For det andre, stor Dataåpne opp for gode muligheter for å utvikle nye markedsnisjer og tiltrekke seg nye kunder.

Mange startups har dukket opp på markedet som driver virksomhet ved å behandle enorme mengder data. Noen av dem bruker ferdiglaget skyinfrastruktur levert av store aktører som Amazon.

Teori og praksis for Big Data i bransjer

Utviklingshistorie

2017

TmaxSoft-prognose: den neste "bølgen" av Big Data vil kreve modernisering av DBMS

Bedrifter vet at de enorme datamengdene de akkumulerer inneholder viktig informasjon om deres virksomhet og kunder. Hvis et selskap kan bruke denne informasjonen med hell, vil det ha en betydelig fordel i forhold til sine konkurrenter og vil kunne tilby bedre produkter og tjenester enn deres. Imidlertid mislykkes mange organisasjoner i å effektivt bruke stor Data på grunn av det faktum at deres eldre IT-infrastruktur ikke er i stand til å gi nødvendig lagringskapasitet, datautvekslingsprosesser, verktøy og applikasjoner som kreves for å behandle og analysere store mengder ustrukturerte data for å trekke ut verdifull informasjon fra dem, indikerte TmaxSoft.

I tillegg kan den økte prosessorkraften som trengs for å analysere stadig økende datamengder kreve betydelige investeringer i en organisasjons eldre IT-infrastruktur, samt ytterligere vedlikeholdsressurser som kan brukes til å utvikle nye applikasjoner og tjenester.

Den 5. februar 2015 ga Det hvite hus ut en rapport som diskuterte hvordan selskaper bruker " stor Data» å kreve forskjellige priser til forskjellige kunder, en praksis kjent som "prisdiskriminering" eller "personlig prissetting". Rapporten beskriver fordelene med big data for både selgere og kjøpere, og forfatterne konkluderer med at mange av problemene som reises av big data og forskjellsprising kan løses gjennom eksisterende antidiskrimineringslover og -forskrifter.

Rapporten bemerker at på dette tidspunktet er det bare anekdotiske bevis på hvordan selskaper bruker big data i sammenheng med personlig markedsføring og differensiert prissetting. Denne informasjonen viser at selgere bruker prissettingsmetoder som kan deles inn i tre kategorier:

• studie av etterspørselskurven;
• Styring og differensiert prissetting basert på demografiske data; Og
• målrettet atferdsmarkedsføring (behavioural targeting) og individualisert prising.

Studerer etterspørselskurven: For å bestemme etterspørselen og studere forbrukeratferd, utfører markedsførere ofte eksperimenter på dette området der kundene tilfeldig blir tildelt en av to mulige priskategorier. "Teknisk sett er disse eksperimentene en form for forskjellsprising fordi de resulterer i forskjellige priser for kundene, selv om de er "ikke-diskriminerende" i den forstand at alle kunder har samme sannsynlighet for å bli "sendt" til en høyere pris."

Styring: Det er praksis å presentere produkter til forbrukere basert på deres medlemskap i en bestemt demografisk gruppe. Ja, nettside dataselskap kan tilby den samme bærbare datamaskinen til forskjellige typer kjøpere til forskjellige priser basert på informasjonen de gir om seg selv (for eksempel avhengig av om brukeren er en representant for offentlige etater, vitenskapelige eller kommersielle institusjoner eller en enkeltperson) eller deres geografiske plassering (for eksempel bestemt av datamaskinens IP-adresse).

Målrettet atferdsmarkedsføring og tilpasset prissetting: I disse tilfellene brukes kundenes personopplysninger til å målrette annonsering og tilpasse priser for visse produkter. Nettannonsører bruker for eksempel data samlet inn av annonsenettverk og gjennom tredjeparts informasjonskapsler om nettbasert brukeraktivitet for å målrette annonsene sine. Denne tilnærmingen lar på den ene siden forbrukere motta reklame for varer og tjenester av interesse for dem. Det kan imidlertid skape bekymring for de forbrukerne som ikke ønsker visse typer personopplysninger (som informasjon om besøk på nettsider) knyttet til medisinske og økonomiske forhold) ble samlet inn uten deres samtykke.

Selv om målrettet atferdsmarkedsføring er utbredt, er det relativt lite bevis på personaliserte priser i nettmiljøet. Rapporten spekulerer i at dette kan være fordi metodene fortsatt er under utvikling, eller fordi selskaper er nølende med å bruke tilpassede priser (eller foretrekker å tie om det) – kanskje i frykt for tilbakeslag fra forbrukere.

Rapportens forfattere antyder at "for den enkelte forbruker presenterer bruken av big data klart både potensielle belønninger og risikoer." Selv om rapporten erkjenner at big data reiser åpenhet og diskrimineringsproblemer, argumenterer rapporten for at eksisterende antidiskriminerings- og forbrukerbeskyttelseslover er tilstrekkelige til å løse dem. Rapporten fremhever imidlertid også behovet for «løpende tilsyn» når selskaper bruker sensitiv informasjon på måter som ikke er transparente eller på måter som ikke dekkes av eksisterende regelverk.

Denne rapporten fortsetter Det hvite hus sin innsats for å undersøke bruken av store data og diskriminerende priser på Internett og de resulterende konsekvensene for amerikanske forbrukere. Det ble tidligere rapportert at White House Big Data Working Group publiserte sin rapport om dette problemet i mai 2014. Federal Trade Commission (FTC) tok også opp disse problemene under sin workshop i september 2014 om big data-diskriminering.

2014

Gartner avliver myter om Big Data

Et forskningsnotat fra Gartner fra høsten 2014 lister opp en rekke vanlige Big Data-myter blant IT-ledere og gir tilbakevisninger til dem.

• Alle implementerer Big Data-behandlingssystemer raskere enn oss

Interessen for Big Data-teknologier er på det høyeste: 73 % av organisasjonene som ble spurt av Gartner-analytikere i år, investerer allerede i eller planlegger å gjøre det. Men de fleste av disse initiativene er fortsatt i de tidlige stadiene, og bare 13 % av respondentene har allerede implementert slike løsninger. Det vanskeligste er å bestemme hvordan man skal hente ut inntekter fra Big Data, for å bestemme hvor man skal begynne. Mange organisasjoner blir sittende fast i pilotfasen fordi de ikke kan knytte den nye teknologien til spesifikke forretningsprosesser.

• Vi har så mye data at det ikke er nødvendig å bekymre seg for små feil i den

Noen IT-ledere mener at små datafeil ikke påvirker de samlede resultatene av å analysere store volumer. Når det er mye data, har hver enkelt feil faktisk mindre innvirkning på resultatet, konstaterer analytikere, men selve feilene blir også flere. I tillegg er det meste av de analyserte dataene eksterne, av ukjent struktur eller opprinnelse, så sannsynligheten for feil øker. Så i Big Data-verdenen er kvalitet faktisk mye viktigere.

• Big Data-teknologier vil eliminere behovet for dataintegrasjon

Big Data lover muligheten til å behandle data i sitt originale format, med automatisk skjemagenerering etter hvert som de leses. Det antas at dette vil tillate informasjon fra de samme kildene å bli analysert ved hjelp av flere datamodeller. Mange tror at dette også vil gjøre det mulig for sluttbrukere å tolke ethvert datasett som de selv finner passende. I realiteten ønsker de fleste brukere ofte den tradisjonelle måten med et ferdig skjema, hvor dataene er riktig formatert og det er avtaler om integritetsnivået til informasjonen og hvordan den skal forholde seg til brukssaken.

• Det er ingen vits i å bruke datavarehus for komplekse analyser

Mange systemadministratorer for informasjonsstyring mener at det ikke er noen vits i å bruke tid på å lage et datavarehus, gitt at komplekse analytiske systemer er avhengige av nye typer data. Faktisk bruker mange komplekse analysesystemer informasjon fra et datavarehus. I andre tilfeller må nye typer data i tillegg klargjøres for analyse i Big Data-behandlingssystemer; beslutninger må tas om egnetheten til dataene, prinsippene for aggregering og det nødvendige kvalitetsnivået - slik forberedelse kan skje utenfor lageret.

• Datavarehus vil bli erstattet av datainnsjøer

I virkeligheten villeder leverandører kunder ved å posisjonere datainnsjøer som en erstatning for lagring eller som kritiske elementer i den analytiske infrastrukturen. Underliggende datainnsjø-teknologier mangler modenhet og bredde av funksjonalitet som finnes i varehus. Derfor bør ledere med ansvar for datahåndtering vente til innsjøer når samme utviklingsnivå, ifølge Gartner.

Accenture: 92 % av de som implementerte big data-systemer er fornøyde med resultatene

Blant de viktigste fordelene med big data, nevnte respondentene:

• "søke etter nye inntektskilder" (56%),
• "forbedre kundeopplevelsen" (51 %),
• "nye produkter og tjenester" (50%) og
• "en tilstrømning av nye kunder og opprettholde lojaliteten til de gamle" (47 %).

Ved introduksjon av ny teknologi står mange bedrifter overfor tradisjonelle problemer. For 51 % var snublesteinen sikkerhet, for 47 % - budsjettet, for 41 % - mangel på nødvendig personell, og for 35% - vanskeligheter med å integrere med eksisterende system. Nesten alle de spurte selskapene (omtrent 91%) planlegger å snart løse problemet med mangel på ansatte og ansette spesialister på stordata.

Bedrifter er optimistiske med tanke på fremtiden for big data-teknologier. 89 % tror de vil endre virksomhet like mye som Internett. 79 % av de spurte bemerket at selskaper som ikke driver med big data vil miste konkurransefortrinnet.

Respondentene var imidlertid uenige om hva som egentlig skulle anses som big data. 65 % av respondentene mener at dette er «store datafiler», 60 % mener at dette er «avansert analyse og analyse», og 50 % mener at dette er «datavisualiseringsverktøy».

Madrid bruker €14,7 millioner på big data management

I juli 2014 ble det kjent at Madrid ville bruke stordatateknologier for å administrere byinfrastruktur. Kostnaden for prosjektet er 14,7 millioner euro, grunnlaget for de implementerte løsningene vil være teknologier for å analysere og administrere big data. Med deres hjelp vil byadministrasjonen administrere arbeidet med hver tjenesteleverandør og betale deretter avhengig av tjenestenivået.

Vi snakker om administrasjonsentreprenører som overvåker tilstanden til gater, belysning, vanning, grønne områder, rydder opp i territoriet og fjerner, samt resirkulering av avfall. I løpet av prosjektet ble 300 nøkkelindikatorer for bytjenester utviklet for spesialutpekte inspektører, på grunnlag av hvilke 1,5 tusen forskjellige kontroller og målinger vil bli utført daglig. I tillegg vil byen begynne å bruke en innovativ teknologiplattform kalt Madrid iNTeligente (MiNT) – Smarter Madrid.

2013

Eksperter: Big Data er på moten

Uten unntak utvikler alle leverandører i dataadministrasjonsmarkedet for tiden teknologier for Big Data-administrasjon. Denne nye teknologiske trenden diskuteres også aktivt av fagmiljøet, både utviklere og bransjeanalytikere og potensielle forbrukere av slike løsninger.

Som Datashift fant ut, var det fra januar 2013 en bølge av diskusjoner rundt " stor Data"overskredet alle tenkelige dimensjoner. Etter å ha analysert antall omtaler av Big Data på sosiale nettverk, beregnet Datashift at i 2012 ble begrepet brukt omtrent 2 milliarder ganger i innlegg laget av omtrent 1 million forskjellige forfattere rundt om i verden. Dette tilsvarer 260 innlegg i timen, med en topp på 3070 omtaler i timen.

Gartner: Annenhver CIO er klar til å bruke penger på Big data

Etter flere år med eksperimentering med Big data-teknologier og de første implementeringene i 2013, vil tilpasningen av slike løsninger øke betydelig, spår Gartner. Forskere undersøkte IT-ledere over hele verden og fant at 42 % av respondentene allerede har investert i Big data-teknologier eller planlegger å foreta slike investeringer i løpet av neste år (data fra mars 2013).

Bedrifter er tvunget til å bruke penger på prosesseringsteknologi stor Data, siden informasjonslandskapet er i rask endring, noe som krever nye tilnærminger til informasjonsbehandling. Mange bedrifter har allerede innsett at store mengder data er kritiske, og å jobbe med dem gjør at de kan oppnå fordeler som ikke er tilgjengelige ved bruk av tradisjonelle informasjonskilder og metoder for å behandle den. I tillegg gir den konstante diskusjonen om temaet «big data» i media interesse for relevante teknologier.

Frank Buytendijk, en visepresident i Gartner, oppfordret til og med selskaper til å tone ned innsatsen sin fordi noen bekymrer seg for at de faller bak konkurrenter i deres bruk av Big Data.

"Det er ingen grunn til bekymring; mulighetene for å implementere ideer basert på big data-teknologier er praktisk talt uendelige," sa han.

Gartner spår at innen 2015 vil 20 % av Global 1000-selskapene ha et strategisk fokus på «informasjonsinfrastruktur».

I påvente av de nye mulighetene som prosesseringsteknologier for store data vil gi, organiserer mange organisasjoner allerede prosessen med å samle inn og lagre ulike typer informasjon.

For utdanning, myndigheter og industriorganisasjoner ligger det største potensialet for forretningstransformasjon i kombinasjonen av akkumulert data med såkalt mørke data (bokstavelig talt "mørke data"), sistnevnte inkluderer e-postmeldinger, multimedia og annet lignende innhold. Ifølge Gartner vil vinnerne i datakappløpet være de som lærer å håndtere en rekke informasjonskilder.

Cisco-undersøkelse: Big Data vil bidra til å øke IT-budsjettene

Våren 2013 Cisco Connected World Technology Report, utført i 18 land av det uavhengige analysefirmaet InsightExpress, undersøkte 1800 studenter og et like stort antall unge fagfolk mellom 18 og 30 år. Undersøkelsen ble gjennomført for å finne ut hvor beredskap IT-avdelingene har til å gjennomføre prosjekter Stor Data og få innsikt i utfordringer, teknologiske mangler og strategisk verdi ved slike prosjekter.

De fleste selskaper samler inn, registrerer og analyserer data. Imidlertid sier rapporten at mange selskaper står overfor en rekke komplekse forretnings- og imed Big Data. For eksempel innrømmer 60 prosent av de spurte at Big Data-løsninger kan forbedre beslutningsprosesser og øke konkurranseevnen, men bare 28 prosent sa at de allerede mottar reelle strategiske fordeler av den akkumulerte informasjonen.

Over halvparten av de spurte IT-lederne mener at Big Data-prosjekter vil bidra til å øke IT-budsjettene i deres organisasjoner, da det vil bli økte krav til teknologi, personell og faglig kompetanse. Samtidig forventer over halvparten av de spurte at slike prosjekter vil øke IT-budsjettene i bedriftene deres allerede i 2012. 57 prosent er sikre på at Big Data vil øke budsjettene sine i løpet av de neste tre årene.

81 prosent av de spurte sa at alle (eller i det minste noen) Big Data-prosjekter vil kreve bruk av cloud computing. Dermed spredningen skyteknologier kan påvirke bruksraten for Big Data-løsninger og forretningsverdien til disse løsningene.

Bedrifter samler inn og bruker mange forskjellige typer data, både strukturert og ustrukturert. Her er kildene som undersøkelsesdeltakerne mottar dataene sine fra (Cisco Connected World Technology Report):

Nesten halvparten (48 prosent) av IT-ledere spår at belastningen på nettverkene deres vil dobles i løpet av de neste to årene. (Dette gjelder spesielt i Kina, hvor 68 prosent av de spurte deler dette synet, og i Tyskland – 60 prosent). 23 prosent av de spurte forventer at nettverksbelastningen vil tredobles i løpet av de neste to årene. Samtidig erklærte bare 40 prosent av de spurte seg klare for eksplosiv vekst i nettrafikkvolumer.

27 prosent av de spurte innrømmet at de trenger bedre IT-policyer og informasjonssikkerhetstiltak.

21 prosent trenger mer båndbredde.

Big Data åpner for nye muligheter for IT-avdelinger til å tilføre verdi og bygge sterke relasjoner med forretningsenheter, slik at de kan øke inntektene og styrke selskapets finansielle posisjon. Big Data-prosjekter gjør IT-avdelinger til en strategisk partner for forretningsavdelinger.

Ifølge 73 prosent av de spurte vil IT-avdelingen bli hoveddriveren for implementeringen av Big Data-strategien. Samtidig tror respondentene at også andre avdelinger vil bli involvert i implementeringen av denne strategien. For det første gjelder dette avdelingene for finans (navngitt av 24 prosent av respondentene), forskning og utvikling (20 prosent), drift (20 prosent), ingeniørfag (19 prosent), samt markedsføring (15 prosent) og salg ( 14 prosent).

Gartner: Millioner av nye jobber trengs for å administrere big data

Globale IT-utgifter vil nå 3,7 milliarder dollar innen 2013, noe som er 3,8 % mer enn utgifter til informasjonsteknologi i 2012 (prognosen ved årsskiftet er 3,6 milliarder dollar). Segmentet stor Data(big data) vil utvikle seg i et mye raskere tempo, heter det i en Gartner-rapport.

Innen 2015 vil det være skapt 4,4 millioner jobber innen informasjonsteknologi for å betjene big data, hvorav 1,9 millioner jobber i . Dessuten vil hver slik jobb innebære opprettelse av ytterligere tre arbeidsplasser utenfor IT-sektoren, slik at bare i USA vil 6 millioner mennesker jobbe for å støtte informasjonsøkonomien de neste fire årene.

Ifølge Gartner-eksperter er hovedproblemet at det ikke er nok talent i bransjen til dette: både det private og det offentlige utdanningssystemet, for eksempel i USA, er ikke i stand til å forsyne industrien med tilstrekkelig antall kvalifisert personell . Så av de nye IT-jobbene som er nevnt, vil kun én av tre være bemannet.

Analytikere mener at rollen som å pleie kvalifisert IT-personell bør tas direkte av bedrifter som trenger dem, siden slike ansatte vil være deres billett til fremtidens nye informasjonsøkonomi.

2012

Den første skepsisen til "Big Data"

Analytikere fra Ovum og Gartner foreslår det for et fasjonabelt tema i 2012 stor Data Tiden kan komme for å frigjøre deg selv fra illusjoner.

Begrepet "Big Data" på dette tidspunktet refererer vanligvis til det stadig økende volumet av informasjon som kommer inn i driftsmodus fra sosiale medier, sensornettverk og andre kilder, samt et økende utvalg av verktøy som brukes til å behandle data og identifisere viktige forretningstrender fra det.

"På grunn av (eller til tross for) hypen rundt ideen om big data, så produsenter i 2012 på denne trenden med stort håp," sa Tony Bayer, analytiker hos Ovum.

Bayer rapporterte at DataSift gjennomførte en retrospektiv analyse av big data-omtaler i

Moscow_Exchange 6. mai 2015 kl. 20.38

Analytisk gjennomgang av Big Data-markedet

• Moscow Exchange-selskapsblogg,
• Stor Data

"Stor Data" er et tema som diskuteres aktivt av teknologiselskaper. Noen av dem har blitt desillusjonert av big data, mens andre tvert imot får mest mulig ut av det for virksomheten... En fersk analytisk gjennomgang av det nasjonale og globale Big Data-markedet, utarbeidet av Moskva-børsen sammen med IPOboard-analytikere , viser hvilke trender som er mest aktuelle i markedet nå . Vi håper informasjonen vil være interessant og nyttig.

HVA ER BIG DATA?

Nøkkelegenskaper

Big Data er i dag en av nøkkeldriverne for utvikling av informasjonsteknologi. Denne retningen, relativt ny for russisk virksomhet, har blitt utbredt i vestlige land. Dette skyldes det faktum at i informasjonsteknologiens tid, spesielt etter boomen av sosiale nettverk, begynte en betydelig mengde informasjon å samle seg for hver Internett-bruker, noe som til slutt ga opphav til utviklingen av Big Data.

Begrepet "Big Data" forårsaker mye kontrovers; mange tror at det bare betyr mengden akkumulert informasjon, men vi bør ikke glemme den tekniske siden; dette området inkluderer lagringsteknologier, databehandling og tjenester.

Det skal bemerkes at dette området omfatter behandling av en stor mengde informasjon, som er vanskelig å behandle med tradisjonelle metoder*.

Nedenfor er en sammenligningstabell mellom tradisjonelle og Big Data-databaser.

Feltet Big Data er preget av følgende funksjoner:
Volum – volum, den akkumulerte databasen representerer en stor mengde informasjon som er arbeidskrevende å behandle og lagre på tradisjonelle måter; de krever en ny tilnærming og forbedrede verktøy.
Hastighet – hastighet, dette attributtet indikerer både den økende hastigheten på dataakkumulering (90 % av informasjonen ble samlet inn i løpet av de siste 2 årene) og hastigheten på databehandlingen; sahar nylig blitt mer etterspurt.
Variasjon – mangfold, dvs. evnen til å behandle strukturert og ustrukturert informasjon av ulike formater samtidig. Hovedforskjellen mellom strukturert informasjon er at den kan klassifiseres. Et eksempel på slik informasjon vil være informasjon om kundetransaksjoner.
Ustrukturert informasjon inkluderer video, lydfiler, fritekst, informasjon som kommer fra sosiale nettverk. I dag er 80 % av informasjonen ustrukturert. Denne informasjonen trenger kompleks analyse for å gjøre den nyttig for videre behandling.
Sannhet – påliteligheten til data, begynte brukere å legge økende vekt på påliteligheten til tilgjengelige data. Dermed har internettselskaper et problem med å skille handlingene utført av en robot og en person på selskapets nettside, noe som til slutt fører til vanskeligheter med dataanalyse.
Verdi – verdien av den akkumulerte informasjonen. Big Data må være nyttig for bedriften og gi den en viss verdi. For eksempel hjelp til å forbedre forretningsprosesser, rapportering eller optimalisering av kostnader.

Hvis de ovennevnte 5 betingelsene er oppfylt, kan de akkumulerte datamengdene klassifiseres som store.

Bruksområder for Big Data

Omfanget av bruken av Big Data-teknologier er omfattende. Dermed kan du ved hjelp av Big Data lære om kundenes preferanser, effektiviteten til markedsføringskampanjer eller gjennomføre risikoanalyser. Nedenfor er resultatene av en undersøkelse utført av IBM Institute om bruksområdene for Big Data i bedrifter.

Som det fremgår av diagrammet bruker de fleste bedrifter Big Data innen kundeservice, det nest mest populære området er operasjonell effektivitet, innen risikostyring er Big Data mindre vanlig for øyeblikket.

Det bør også bemerkes at Big Data er et av de raskest voksende områdene innen informasjonsteknologi; ifølge statistikk dobles den totale mengden data som mottas og lagres hvert 1,2 år.
Mellom 2012 og 2014 økte mengden data som ble overført månedlig av mobilnettverk med 81 %. Ifølge Cisco-estimater var volumet av mobiltrafikk i 2014 2,5 exabyte (en måleenhet for informasjonsmengden lik 10^18 standardbyte) per måned, og i 2019 vil det være lik 24,3 exabyte.
Dermed er Big Data et allerede etablert teknologiområde, selv til tross for sin relativt unge alder, som har blitt utbredt i mange forretningsområder og spiller en viktig rolle i utviklingen av selskaper.

Big Data-teknologier

Teknologier som brukes til å samle inn og behandle Big Data kan deles inn i 3 grupper:

• Programvare;
• Utstyr;
• Tjenester.

De vanligste tilnærmingene til databehandling (DP) inkluderer:
SQL – et strukturert spørrespråk som lar deg jobbe med databaser. Ved å bruke SQL kan du opprette og endre data, og administrasjonen av datamatrisen håndteres av det tilsvarende databasestyringssystemet.
NoSQL – begrepet står for ikke bare SQL (ikke bare SQL). Den inkluderer en rekke tilnærminger som tar sikte på å implementere en database som skiller seg fra modellene som brukes i tradisjonelle relasjonelle DBMS-er. De er praktiske å bruke når datastrukturen er i konstant endring. For eksempel for å samle inn og lagre informasjon på sosiale nettverk.
Kart reduksjon – beregningsfordelingsmodell. Brukes til parallell databehandling over svært store datasett (petabyte* eller mer). I et programgrensesnitt er det ikke dataene som overføres til programmet for behandling, men programmet til dataene. Dermed er forespørselen et eget program. Operasjonsprinsippet er å sekvensielt behandle data ved å bruke to metoder: Kart og Reduser. Kart velger foreløpige data, Reduser samler dem.
Hadoop – brukes til å implementere søke- og kontekstuelle mekanismer for nettsteder med høy belastning – Facebook, eBay, Amazon, etc. Særpreget trekk er at systemet er beskyttet mot feil på noen av klyngenodene, siden hver blokk har minst én kopi av dataene på en annen node.
SAP HANA – Høyytelses NewSQL-plattform for datalagring og -behandling. Gir høy hastighet behandle forespørsler. Et annet særtrekk er at SAP HANA forenkler systemlandskapet, og reduserer kostnadene for å støtte analytiske systemer.

Teknologisk utstyr inkluderer:

• servere;
• infrastruktur utstyr.

Servere inkluderer datalagring.
Infrastrukturutstyr inkluderer plattformakselerasjonsverktøy, avbruddsfri strømforsyning, serverkonsollsett, etc.

Tjenester.
Tjenester inkluderer tjenester for å bygge arkitekturen til et databasesystem, arrangere og optimalisere infrastrukturen og sikre sikkerheten til datalagring.

Programvare, maskinvare og tjenester danner sammen omfattende plattformer for datalagring og analyse. Selskaper som Microsoft, HP, EMC tilbyr tjenester for utvikling, distribusjon og administrasjon av Big Data-løsninger.

Bruksområder i næringer

Big Data har blitt utbredt i mange bransjer. De brukes i helsevesen, telekommunikasjon, handel, logistikk, finansselskaper, samt i offentlig administrasjon.
Nedenfor er noen eksempler på Big Data-applikasjoner i noen av bransjene.

Detaljhandel
Databasene til detaljbutikker kan samle mye informasjon om kunder, lagerstyringssystemer og forsyninger av kommersielle produkter. Denne informasjonen kan være nyttig i alle områder av butikkaktivitet.

Dermed kan du ved hjelp av akkumulert informasjon administrere forsyningen av varer, lagring og salg av dem. Basert på den akkumulerte informasjonen er det mulig å forutsi etterspørsel og tilbud av varer. Et databehandlings- og analysesystem kan også løse andre problemer for en forhandler, for eksempel å optimalisere kostnader eller utarbeide rapportering.

Finansielle tjenester
Big Data gjør det mulig å analysere låntakers kredittverdighet og er også nyttig for kredittscoring* og underwriting**. Innføringen av Big Data-teknologier vil redusere tiden for gjennomgang av lånesøknader. Ved hjelp av Big Data er det mulig å analysere transaksjonene til en spesifikk klient og tilby banktjenester som passer for ham.

Telecom
I telekommunikasjonsbransjen har Big Data blitt utbredt blant mobiloperatører.
Mobiloperatører, sammen med finansinstitusjoner, har noen av de mest omfangsrike databasene, som lar dem utføre den mest dyptgående analysen av akkumulert informasjon.
Hovedformålet med dataanalyse er å beholde eksisterende kunder og tiltrekke seg nye. For å gjøre dette segmenterer selskaper kunder, analyserer trafikken deres og bestemmer abonnentens sosiale tilhørighet.

I tillegg til å bruke Big Data til markedsføringsformål, brukes teknologier for å forhindre uredelige økonomiske transaksjoner.

Gruvedrift og petroleumsindustri
Big Data brukes både i utvinning av mineraler og i deres prosessering og markedsføring. Basert på den mottatte informasjonen, kan bedrifter trekke konklusjoner om effektiviteten av feltutvikling og spore tidsplanen overhaling og utstyrstilstand, prognose etterspørsel etter produkter og priser.

I følge en undersøkelse fra Tech Pro Research er Big Data mest utbredt i telekommunikasjonsindustrien, så vel som i ingeniør-, IT-, finans- og offentlige virksomheter. I følge resultatene fra denne undersøkelsen er Big Data mindre populært innen utdanning og helsevesen. Undersøkelsesresultatene er presentert nedenfor:

Eksempler på bruk av Big Data i bedrifter

I dag implementeres Big Data aktivt i utenlandske selskaper. Selskaper som Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks og Netflix bruker allerede Big Data-ressurser.

Anvendelsene av den behandlede informasjonen er varierte og varierer avhengig av bransje og oppgavene som skal utføres.
Deretter vil eksempler på anvendelse av Big Data-teknologier i praksis presenteres.

HSBC bruker Big Data-teknologier for å bekjempe uredelige transaksjoner med plastkort. Ved hjelp av Big Data økte selskapet effektiviteten til sikkerhetstjenesten med 3 ganger, og gjenkjennelsen av svindelhendelser med 10 ganger. Den økonomiske effekten av introduksjonen av disse teknologiene oversteg 10 millioner dollar.

Anti-svindel* VISUM slipper inn automatisk modus identifisere uredelige transaksjoner, hjelper systemet for tiden med å forhindre $2 milliarder i falske betalinger årlig.

Watson superdatamaskin IBM analyserer i sanntid strømmen av data om pengetransaksjoner. I følge IBM økte Watson antallet falske transaksjoner som ble oppdaget med 15 %, reduserte falske positiver med 50 % og økte beløpet beskyttet mot transaksjoner av denne art med 60 %.

Procter & Gamble bruke Big Data til å designe nye produkter og lage globale markedsføringskampanjer. P&G har opprettet dedikerte Business Spheres-kontorer hvor informasjon kan ses i sanntid.
Dermed hadde selskapets ledelse muligheten til å umiddelbart teste hypoteser og gjennomføre eksperimenter. P&G mener at Big Data hjelper med å forutsi selskapets ytelse.

Forhandler av kontorrekvisita OfficeMax Ved hjelp av Big Data-teknologier analyserer de kundeatferd. Big Data-analyse gjorde det mulig å øke B2B-inntektene med 13 % og redusere kostnadene med $400 000 per år.

I følge larve , går distributørene glipp av $9 til $18 milliarder i fortjeneste hvert år, ganske enkelt fordi de ikke implementerer Big Data-behandlingsteknologier. Big Data vil tillate kunder å administrere flåten sin mer effektivt ved å analysere informasjon som kommer fra sensorer installert på maskinene.

I dag er det allerede mulig å analysere tilstanden til nøkkelkomponenter, deres grad av slitasje og administrere drivstoff- og vedlikeholdskostnader.

Luxottica-gruppen er en produsent av sportsbriller, slike merker som Ray-Ban, Persol og Oakley. Selskapet bruker Big Data-teknologier for å analysere atferd potensielle kunder og «smart» SMS-markedsføring. Som et resultat av Big Data identifiserte Luxottica-gruppen mer enn 100 millioner av sine mest verdifulle kunder og økte effektiviteten til markedsføringskampanjen med 10 %.

MED ved hjelp av Yandex Data Factory spillutviklere World of Tanks analysere oppførselen til spillere. Big Data-teknologier gjorde det mulig å analysere oppførselen til 100 tusen World of Tanks-spillere ved å bruke mer enn 100 parametere (informasjon om kjøp, spill, opplevelse, etc.). Som et resultat av analysen ble det innhentet en prognose for brukeravgang. Denne informasjonen lar deg redusere brukeravgang og jobbe med spilldeltakere på en målrettet måte. Den utviklede modellen viste seg å være 20-30 % mer effektiv enn standard analyseverktøy for spillindustrien.

det tyske arbeidsdepartementet bruker Big Data i arbeid knyttet til analyse av innkommende søknader om dagpenger. Så, etter å ha analysert informasjonen, ble det klart at 20% av ytelsene ble utbetalt ufortjent. Ved hjelp av Big Data reduserte Arbeidsdepartementet kostnadene med 10 milliarder euro.

Toronto barnesykehus implementerte Project Artemis-prosjektet. Dette er et informasjonssystem som samler inn og analyserer data om babyer i sanntid. Systemet overvåker 1260 indikatorer for hvert barns tilstand hvert sekund. Prosjekt Artemis gjør det mulig å forutsi den ustabile tilstanden til et barn og begynne forebygging av sykdommer hos barn.

OVERSIKT OVER VERDENS STORDATAMARKED

Nåværende tilstand på verdensmarkedet

I 2014 ble Big Data, ifølge Data Collective, et av de prioriterte investeringsområdene i ventureindustrien. I følge dataene informasjonsportal Computerra, dette skyldes at utviklingen fra denne retningen har begynt å gi betydelige resultater for sine brukere. I løpet av det siste året har antall selskaper med gjennomførte prosjekter innen big data management økt med 125 %, og markedsvolumet har vokst med 45 % sammenlignet med 2013.

Majoriteten av Big Data-markedsinntektene, ifølge Wikibon, i 2014 besto av tjenester, deres andel var lik 40% av den totale inntekten (se diagrammet nedenfor):

Hvis vi vurderer Big Data for 2014 etter undertype, vil markedet se slik ut:

I følge Wikibon utgjorde applikasjoner og analyser 36 % av Big Data-inntektene i 2014 fra Big Data-applikasjoner og analyser, 17 % fra datautstyr og 15 % fra datalagringsteknologier. Den minste inntekten ble generert av NoSQL-teknologier, infrastrukturutstyr og nettverksforsyning for selskaper (bedriftsnettverk).

De mest populære Big Data-teknologiene er in-memory-plattformene til SAP, HANA, Oracle osv. Resultatene fra T-Systems-undersøkelsen viste at de ble valgt av 30 % av selskapene som ble spurt. De nest mest populære var NoSQL-plattformer (18 % av brukerne), selskaper brukte også analytiske plattformer fra Splunk og Dell, de ble valgt av 15 % av selskapene. I følge undersøkelsesresultatene viste Hadoop/MapReduce-produktene seg å være de minst nyttige for å løse Big Data-problemer.

I følge en Accenture-undersøkelse varierer Big Data-kostnadene fra 21 % til 30 % i mer enn 50 % av selskapene som bruker Big Data-teknologi.
I følge den følgende Accenture-analysen tror 76 % av selskapene at disse kostnadene vil øke i 2015, og 24 % av selskapene vil ikke endre budsjettet for Big Data-teknologier. Dette tyder på at Big Data i disse selskapene har blitt et etablert IT-område, som har blitt en integrert del av selskapets utvikling.

Resultatene fra Economist Intelligence Unit-undersøkelsen bekrefter den positive effekten av å implementere Big Data. 46 % av bedriftene sier at de ved bruk av Big Data-teknologi har forbedret kundeservicen med mer enn 10 %, 33 % av bedriftene har optimert varelageret og forbedret produktiviteten til anleggsmidler, og 32 % av bedriftene har forbedret planleggingsprosesser.

Big Data i forskjellige land i verden

I dag er Big Data-teknologier oftest implementert i amerikanske selskaper, men andre land rundt om i verden har allerede begynt å vise interesse. I 2014 sto land i Europa, Midtøsten, Asia (unntatt Japan) og Afrika ifølge IDC for 45 % av markedet for programvare, tjenester og utstyr innen Big Data.

Også, ifølge CIO-undersøkelsen, tar selskaper fra Asia-Stillehavsregionen raskt i bruk nye løsninger innen Big Data-analyse, sikker lagring og skyteknologier. Latin-Amerika ligger på andreplass når det gjelder antall investeringer i utvikling av Big Data-teknologier, foran europeiske land og USA.
Deretter vil en beskrivelse og prognoser for utviklingen av Big Data-markedet i flere land presenteres.

Kina
Volumet av informasjon i Kina er 909 exabyte, som tilsvarer 10% av det totale volumet av informasjon i verden, innen 2020 vil informasjonsvolumet nå 8060 exabyte, andelen av informasjon i global statistikk vil også øke, i 5 år vil det være lik 18 %. Den potensielle veksten av Kinas Big Data har en av de raskest voksende dynamikkene.

Brasil
På slutten av 2014 akkumulerte Brasil informasjon verdt 212 exabyte, som er 3 % av det globale volumet. Innen 2020 vil informasjonsvolumet vokse til 1600 exabyte, som vil utgjøre 4 % av verdens informasjon.

India
I følge EMC er volumet av akkumulerte data i India ved slutten av 2014 326 exabyte, som er 5 % av det totale volumet av informasjon. Innen 2020 vil informasjonsvolumet vokse til 2800 exabyte, som vil utgjøre 6 % av verdens informasjon.

Japan
Volumet av akkumulerte data i Japan ved slutten av 2014 er 495 exabyte, som er 8 % av det totale volumet av informasjon. Innen 2020 vil informasjonsvolumet vokse til 2200 exabyte, men Japans markedsandel vil avta og utgjøre 5 % av det totale informasjonsvolumet i hele verden.
Dermed vil den japanske markedsstørrelsen reduseres med mer enn 30 %.

Tyskland
I følge EMC er volumet av akkumulerte data i Tyskland ved slutten av 2014 230 exabyte, som er 4 % av det totale volumet av informasjon i verden. Innen 2020 vil informasjonsvolumet vokse til 1100 exabyte og utgjøre 2 %.
I det tyske markedet vil en stor andel av inntektene, ifølge Experton Groups prognoser, genereres av tjenestesegmentet, hvorav andelen i 2015 vil være 54 %, og i 2019 vil øke til 59 %, aksjer programvare og utstyr, tvert imot, vil avta.

Totalt sett vil markedsstørrelsen vokse fra 1,345 milliarder euro i 2015 til 3,198 milliarder euro i 2019, en gjennomsnittlig vekstrate på 24 %.
Derfor, basert på analysene til CIO og EMC, kan vi konkludere med at utviklingslandene i verden i de kommende årene vil bli markeder for aktiv utvikling av Big Data-teknologier.

De viktigste markedstrendene

I følge IDG Enterprise, i 2015, vil selskapers utgifter til Big Data i gjennomsnitt være 7,4 millioner dollar per selskap, store selskaper har til hensikt å bruke omtrent 13,8 millioner dollar, små og mellomstore selskaper - 1,6 millioner dollar.
Mesteparten av investeringen vil være innen områder som dataanalyse, visualisering og datainnsamling.
Basert på dagens trender og markedsetterspørsel, vil investeringer i 2015 bli brukt til å forbedre datakvaliteten, forbedre planlegging og prognoser og øke databehandlingshastigheten.
Selskaper i finanssektoren, ifølge Bain Company's Insights Analysis, vil gjøre betydelige investeringer, så i 2015 planlegger de å bruke 6,4 milliarder dollar på Big Data-teknologier, den gjennomsnittlige vekstraten for investeringer vil være 22 % frem til 2020. Internett-selskaper planlegger å bruke 2,8 milliarder dollar, med en gjennomsnittlig vekst på 26 % for Big Data-utgifter.
Ved gjennomføring av Economist Intelligence Unit-undersøkelsen ble prioriterte områder for Big Data-utvikling i 2014 og i de neste 3 årene identifisert, fordelingen av svar er som følger:

I følge IDC-prognoser er markedsutviklingstrender som følger:

• I løpet av de neste 5 årene vil kostnadene for skyløsninger innen Big Data-teknologi vokse 3 ganger raskere enn kostnadene for lokale løsninger. Hybridplattformer for datalagring vil bli etterspurt.
• Veksten av applikasjoner som bruker sofistikert og prediktiv analyse, inkludert maskinlæring, vil akselerere i 2015, og markedet for slike applikasjoner vokser 65 % raskere enn applikasjoner som ikke bruker prediktiv analyse.
• Medieanalyse vil tredobles i 2015 og vil bli en nøkkeldriver for vekst i Big Data-teknologimarkedet.
• Trenden med å introdusere løsninger for å analysere den konstante informasjonsflyten som gjelder for tingenes internett vil akselerere.
• Innen 2018 vil 50 % av brukerne samhandle med tjenester basert på kognitiv databehandling.

Markedsdrivere og -begrensere

IDC-eksperter identifiserte tre drivere for Big Data-markedet i 2015:

I følge en Accenture-undersøkelse er datasikkerhetsproblemer nå hovedbarrieren for implementering av Big Data-teknologier, med mer enn 51 % av respondentene som bekrefter at de er bekymret for å sikre databeskyttelse og konfidensialitet. 47 % av selskapene rapporterte at det var umulig å implementere Big Data på grunn av begrensede budsjetter, 41 % av selskapene anga mangel på kvalifisert personell som et problem.

Wikibon spår at Big Data-markedet vil vokse til 38,4 milliarder dollar i 2015, en økning på 36 % fra år til år. I de kommende årene vil det være en nedgang i vekstrater til 10 % i 2017. Tatt i betraktning disse prognosene, vil markedsstørrelsen i 2020 være lik 68,7 milliarder amerikanske dollar.

Fordelingen av det globale Big Data-markedet etter bedriftskategori vil se slik ut:

Som det fremgår av diagrammet, vil størstedelen av markedet være okkupert av teknologier innen forbedring av kundeservice. Målrettet markedsføring vil være andre prioritet for bedrifter frem til 2019; i 2020 vil det ifølge Heavy Reading vike plass for løsninger for å forbedre driftseffektiviteten.
Segmentet «forbedring av kundeservice» vil også ha høyest vekstrate, med en økning på 49 % årlig.
Markedsprognosen for Big Data-undertyper vil se slik ut:

Den dominerende markedsandelen, som kan sees av diagrammet, er okkupert av profesjonelle tjenester, den høyeste vekstraten vil være i applikasjoner med analyser, deres andel vil øke fra dagens 12% til 18% i 2020 og volumet av dette segmentet vil være lik 12,3 milliarder amerikanske dollar. Andelen datautstyr vil tvert imot falle fra 20 % til 14 % og utgjøre rundt 9,3 milliarder amerikanske dollar i 2020, markedet for skyteknologier vil gradvis øke og i 2020 vil nå 6,3 milliarder amerikanske dollar, vil markedsandelen til løsninger for datalagring tvert imot reduseres fra 15 % i 2014 til 13 % i 2020 og i pengemessige termer vil være lik 8,9 milliarder amerikanske dollar.
I følge Bain & Companys Insights Analysis-prognose vil fordelingen av Big Data-markedet etter bransje i 2020 være som følger:

• Finansnæringen vil bruke 6,4 milliarder dollar på Big Data med en gjennomsnittlig vekstrate på 22 % per år;
• Internett-selskaper vil bruke 2,8 milliarder dollar og den gjennomsnittlige kostnadsveksten vil være 26 % i løpet av de neste 5 årene;
• Offentlig sektors kostnader vil stå i forhold til kostnadene til internettselskaper, men vekstraten vil være lavere - 22%;
• Telekommunikasjonssektoren vil vokse med en CAGR på 40 % for å nå USD 1,2 milliarder i 2020;

Energiselskaper vil investere et relativt lite beløp i disse teknologiene – 800 millioner dollar, men vekstraten vil være en av de høyeste – 54 % årlig.
Dermed vil den største andelen av Big Data-markedet i 2020 bli tatt av selskaper i finansnæringen, og den raskest voksende sektoren vil være energi.
Etter analytikernes prognoser vil den totale markedsstørrelsen øke i årene som kommer. Markedsvekst vil oppnås gjennom implementering av Big Data-teknologier i utviklingsland i verden, som kan sees av grafen nedenfor.

Den anslåtte markedsstørrelsen vil avhenge av hvordan utviklingsland oppfatter Big Data-teknologier og om de vil være like populære som i utviklede land. I 2014 sto utviklingsland i verden for 40 % av volumet av akkumulert informasjon. I følge EMCs prognose vil dagens markedsstruktur, med en overvekt av utviklede land, endres i 2017. I følge EMC analytics vil andelen utviklingsland i 2020 være mer enn 60 %.
I følge Cisco og EMC vil utviklingsland rundt om i verden jobbe ganske aktivt med Big Data, mye på grunn av tilgjengeligheten av teknologi og akkumulering av tilstrekkelig mengde informasjon til Big Data-nivå. Verdenskartet som presenteres på neste side vil vise prognosen for økningen i volum og vekstrate av Big Data etter region.

ANALYSE AV DET RUSSISKE MARKEDET

Nåværende situasjon russisk marked

I følge resultatene av en studie fra CNews Analytics og Oracle, har modenhetsnivået til det russiske Big Data-markedet økt det siste året. Respondentene, som representerte 108 store bedrifter fra ulike bransjer, viste en høyere grad av bevissthet om disse teknologiene, samt en etablert forståelse av potensialet til slike løsninger for deres virksomhet.
Fra og med 2014, ifølge IDC, har Russland samlet 155 exabyte med informasjon, som bare er 1,8 % av verdens data. Informasjonsvolumet innen 2020 vil nå 980 exabyte og okkupere 2,2 %. Dermed vil den gjennomsnittlige vekstraten for informasjonsvolumet være 36 % per år.
IDC anslår det russiske markedet til $340 millioner, hvorav $100 millioner er SAP-løsninger, omtrent $240 millioner er lignende løsninger fra Oracle, IBM, SAS, Microsoft, etc.
Veksten til det russiske Big Data-markedet er ikke mindre enn 50 % per år.
Det er spådd at positiv dynamikk vil fortsette i denne sektoren av det russiske IT-markedet, selv under forhold med generell økonomisk stagnasjon. Dette skyldes det faktum at virksomheter fortsetter å etterspørre løsninger som forbedrer operasjonell effektivitet, samt optimaliserer kostnader, forbedrer prognosenøyaktigheten og minimerer mulige bedriftsrisikoer.
De viktigste tjenesteleverandørene innen Big Data på det russiske markedet er:

• Oracle
• Microsoft
• Cloudera
• Hortonverk
• Teradata.

Markedsoversikt etter bransje og erfaring med bruk av Big Data i bedrifter

I følge CNews har bare 10% av selskapene i Russland begynt å bruke Big Data-teknologier, mens andelen av slike selskaper i verden er omtrent 30%. Beredskapen for Big Data-prosjekter vokser i mange sektorer av den russiske økonomien, ifølge en rapport fra CNews Analytics og Oracle. Mer enn en tredjedel av de undersøkte selskapene (37 %) har begynt å jobbe med Big Data-teknologier, hvorav 20 % allerede bruker slike løsninger, og 17 % begynner å eksperimentere med dem. Den andre tredjedelen av respondentene i for tiden vurderer denne muligheten.

I Russland er Big Data-teknologier mest populære i bank- og telekomsektorene, men de er også etterspurt i gruveindustrien, energi, detaljhandel, logistikkselskaper og offentlig sektor.
Deretter vil eksempler på bruk av Big Data i russiske virkeligheter bli vurdert.

Telecom
Telekomoperatører har noen av de mest omfangsrike databasene, som lar dem utføre den mest dyptgående analysen av akkumulert informasjon.
Et av bruksområdene for Big Data-teknologi er administrasjon av abonnentlojalitet.
Hovedformålet med dataanalyse er å beholde eksisterende kunder og tiltrekke seg nye. For å gjøre dette segmenterer selskaper kunder, analyserer trafikken deres og bestemmer abonnentens sosiale tilhørighet. I tillegg til å bruke informasjon til markedsføringsformål, brukes telekomteknologier for å forhindre uredelige økonomiske transaksjoner.
En av lyse eksempler av denne bransjen er VimpelCom. Selskapet bruker Big Data for å forbedre kvaliteten på tjenesten på nivået til hver abonnent, kompilere rapporter, analysere data for nettverksutvikling, bekjempe spam og tilpasse tjenester.

Banker
En betydelig andel av Big Data-brukere er spesialister fra finansnæringen. Et av de vellykkede eksperimentene ble utført ved Ural Bank for Reconstruction and Development, hvor informasjonsbasen begynte å bli brukt til å analysere kunder, banken begynte å tilby spesialiserte lånetilbud, innskudd og andre tjenester. I løpet av et år etter bruk av disse teknologiene vokste selskapets låneportefølje til privatkunder med 55 %.
Alfa-Bank analyserer informasjon fra sosiale nettverk, behandler lånesøknader og analyserer oppførselen til brukere av selskapets nettsider.
Sberbank begynte også å behandle en enorm mengde data for å segmentere kunder, forhindre uredelige aktiviteter, krysssalg og håndtere risikoer. I fremtiden er det planlagt å forbedre tjenesten og analysere kundehandlinger i sanntid.
Den all-russiske regionale utviklingsbanken analyserer oppførselen til eiere plastkort. Dette gjør det mulig å identifisere transaksjoner som er atypiske for en bestemt klient, og øker dermed sannsynligheten for å oppdage tyveri av midler fra plastkort.

Detaljhandel
I Russland har Big Data-teknologier blitt implementert av både online og offline handelsselskaper. I dag, ifølge CNews Analytics, brukes Big Data av 20 % av forhandlerne. 75 % av detaljhandelen anser Big Data som nødvendig for utviklingen av en konkurransedyktig strategi for bedriftspromotering. I følge Hadoop-statistikken, etter implementeringen av Big Data-teknologi, øker fortjenesten i handelsorganisasjoner med 7-10%.
M.Video-spesialister snakker om forbedret logistikkplanlegging etter implementeringen av SAP HANA; også, som et resultat av implementeringen, ble utarbeidelsen av årsrapporter redusert fra 10 dager til 3, hastigheten på daglig datainnlasting ble redusert fra 3 timer til 30 minutter.
Wikimart bruker disse teknologiene til å generere anbefalinger for besøkende på nettstedet.
En av de første offline butikkene som introduserte Big Data-analyse i Russland var Lenta. Ved hjelp av Big Data begynte detaljhandelen å studere informasjon om kunder fra kassekvitteringer. Forhandleren samler inn informasjon for å lage atferdsmodeller, som gjør det mulig å ta mer informerte beslutninger på operasjonelt og kommersielt nivå.

Olje- og gassindustrien
I denne bransjen er omfanget av Big Data ganske bredt. Big Data-teknologier kan brukes i utvinning av mineraler fra undergrunnen. Med deres hjelp kan du analysere selve utvinningsprosessen og det meste effektive måter utvinning, overvåking av boreprosessen, analyse av kvaliteten på råvarer, samt prosessering og markedsføring av sluttprodukter. I Russland har Transneft og Rosneft allerede begynt å bruke disse teknologiene.

Offentlige organer
I land som Tyskland, Australia, Spania, Japan, Brasil og Pakistan brukes Big Data-teknologier for å løse nasjonale problemer. Disse teknologiene hjelper offentlige myndigheter mer effektivt å yte tjenester til befolkningen og gi målrettet sosial støtte.
I Russland begynte disse teknologiene å bli mestret av slike offentlige organer som pensjonsfondet, den føderale skattetjenesten og det obligatoriske medisinske forsikringsfondet. Potensialet for å implementere prosjekter ved hjelp av Big Data er stort; disse teknologiene kan bidra til å forbedre kvaliteten på tjenestene, og som et resultat av befolkningens levestandard.

Logistikk og transport
Big Data kan også brukes av transportselskaper. Ved å bruke Big Data-teknologier kan du spore bilparken din, ta hensyn til drivstoffkostnader og overvåke kundeforespørsler.
Russian Railways implementerte Big Data-teknologier sammen med SAP. Disse teknologiene bidro til å redusere forberedelsestiden for rapportering med 43,5 ganger (fra 14,5 timer til 20 minutter), og øke nøyaktigheten av kostnadsfordelingen med 40 ganger. Big Data ble også introdusert i planleggings- og tariffreguleringsprosesser. Totalt bruker selskapene mer enn 300 systemer basert på SAP-løsninger, 4 datasentre er involvert, og antall brukere er 220.000.

Hoveddrivere og begrensere i markedet

Driverne for utviklingen av Big Data-teknologier i det russiske markedet er:

• Økt interesse fra brukernes side for mulighetene til Big Data som en måte å øke konkurranseevnen til et selskap på;
• Utvikling av metoder for behandling av mediefiler på globalt nivå;
• Overføring av servere som behandler personlig informasjon til Russlands territorium, i samsvar med vedtatt lov om lagring og behandling av personopplysninger;
• Implementering av bransjeplan for importsubstitusjon av programvare. Denne planen inkluderer statlig støtte til innenlandske programvareprodusenter, samt tildeling av preferanser for innenlandske IT-produkter ved kjøp på offentlig regning.
• I den nye økonomiske situasjonen, når dollarkursen nesten har doblet seg, vil det være en trend mot en økende bruk av tjenestene til russiske skytjenesteleverandører fremfor utenlandske.
• Opprettelse av teknologiparker som bidrar til utviklingen av informasjonsteknologimarkedet, inkludert Big Data-markedet;
• Statlig program for implementering av nettsystemer basert på Big Data-teknologier.

De viktigste hindringene for utviklingen av Big Data i det russiske markedet er:

• Sikre datasikkerhet og konfidensialitet;
• Mangel på kvalifisert personell;
• Utilstrekkelig akkumulert informasjonsressurser til Big Data-nivået i de fleste russiske selskaper;
• Vanskeligheter med å introdusere ny teknologi i etablerte informasjonssystemer til selskaper;
• De høye kostnadene ved Big Data-teknologier, som fører til et begrenset antall bedrifter som har muligheten til å implementere disse teknologiene;
• Politisk og økonomisk usikkerhet, som førte til utstrømning av kapital og frysing av investeringsprosjekter i Russland;
• Stigende priser på importerte produkter og en økning i inflasjonen, ifølge IDC, bremser utviklingen av hele IT-markedet.

Russisk markedsprognose

Per i dag er det russiske Big Data-markedet ikke så populært som i utviklede land. De fleste russiske selskaper viser interesse for det, men tør ikke å utnytte mulighetene deres.
Eksempler på store selskaper som allerede har dratt nytte av bruken av Big Data-teknologier er økende bevissthet om mulighetene til disse teknologiene.
Analytikere har også ganske optimistiske prognoser for det russiske markedet. IDC tror at den russiske markedsandelen vil øke i løpet av de neste 5 årene, i motsetning til det tyske og japanske markedet.
Innen 2020 vil volumet av Big Data i Russland vokse fra dagens 1,8 % til 2,2 % av det globale datavolumet. Mengden informasjon vil vokse, ifølge EMC, fra dagens 155 exabyte til 980 exabyte i 2020.
For øyeblikket fortsetter Russland å akkumulere informasjonsvolumet til nivået av Big Data.
I følge en CNews Analytics-undersøkelse jobber 44 % av de undersøkte selskapene med data på ikke mer enn 100 terabyte* og bare 13 % jobber med volumer over 500 terabyte.

Likevel vil det russiske markedet, etter globale trender, øke. Fra og med 2014 anslår IDC markedsstørrelsen til 340 millioner dollar.
Markedsveksten i tidligere år var 50 % per år; hvis den forblir på samme nivå, vil markedsvolumet i 2018 nå 1,7 milliarder dollar. Andelen av det russiske markedet i verdensmarkedet vil være ca. 3%, økende fra dagens 1,2%.

De mest mottakelige bransjene for bruk av Big Data i Russland inkluderer:

• Detaljhandel og banker, for dem er analyse av kundemassen og vurdering av effekten av markedsføringskampanjer først og fremst viktig;
• Telekom – segmentering av kundebase og inntektsgenerering for trafikk;
• Offentlig sektor – rapportering, analyse av søknader fra publikum, etc.;
• Oljeselskaper – overvåking av arbeid og planlegging av produksjon og salg;
• Energiselskaper – etablering av intelligente elektriske kraftsystemer, driftsovervåking og prognoser.

I utviklede land har Big Data blitt utbredt innen helsevesen, forsikring, metallurgi, internettselskaper og produksjonsbedrifter; mest sannsynlig vil russiske selskaper fra disse områdene i nær fremtid også sette pris på effekten av å introdusere Big Data og tilpasse seg. disse teknologiene i sine bransjer.
I Russland, så vel som i verden, vil det i nær fremtid være en trend mot datavisualisering, analyse av mediefiler og utviklingen av tingenes internett.
Til tross for den generelle stagnasjonen i økonomien, i de kommende årene spår analytikere ytterligere vekst i Big Data-markedet, først og fremst på grunn av det faktum at bruken av Big Data-teknologier gir brukerne et konkurransefortrinn når det gjelder å øke den operasjonelle effektiviteten til virksomhet, tiltrekke seg ytterligere strøm av kunder, minimere risikoer og implementering av dataprognoseteknologier.
Dermed kan vi konkludere med at Big Data-segmentet i Russland er på dannelsesstadiet, men etterspørselen etter disse teknologiene øker hvert år.

Hovedresultater av markedsanalysen

Verdensmarkedet

På slutten av 2014 er Big Data-markedet preget av følgende parametere:

• markedsvolumet utgjorde 28,5 milliarder amerikanske dollar, en økning på 45 % sammenlignet med året før;
• Størstedelen av Big Data-markedsinntektene kom fra tjenester, deres andel var lik 40 % av den totale inntekten;
• 36 % av inntektene kom fra Big Data-applikasjoner og analyser, 17 % fra datautstyr og 15 % fra datalagringsteknologier;
• De mest populære for å løse Big Data-problemer er in-memory-plattformer fra selskaper som SAP, HANA og Oracle.
• antall selskaper med gjennomførte prosjekter innen Big Data-administrasjon økte med 125 %;

Markedsprognosen for de neste årene er som følger:

• i 2015 vil markedsvolumet nå 38,4 milliarder amerikanske dollar, i 2020 – 68,7 milliarder amerikanske dollar;
• den gjennomsnittlige vekstraten vil være 16 % årlig;
• gjennomsnittlige bedriftskostnader for Big Data-teknologier vil være $13,8 millioner for store selskaper og $1,6 millioner for små og mellomstore bedrifter;
• teknologier vil være mest utbredt innen områdene kundeservice og målrettet markedsføring;
• I 2017 vil den globale markedsstrukturen endres mot overvekt av brukerbedrifter fra utviklingsland.

russisk marked

Det russiske Big Data-markedet er på dannelsesstadiet, resultatene for 2014 er som følger:

• markedsvolumet nådde USD 340 millioner;
• gjennomsnittlig markedsvekst i tidligere år var 50 % årlig;
• det totale volumet av akkumulert informasjon var 155 exabyte;
• 10 % av russiske selskaper begynte å bruke Big Data-teknologier;
• Big Data-teknologier var mer populære i banksektoren, telekom, internettselskaper og detaljhandel.

Den russiske markedsprognosen for de kommende årene er som følger:

• volumet av det russiske markedet i 2015 vil nå 500 millioner amerikanske dollar, og i 2018 - 1,7 milliarder amerikanske dollar;
• andelen av det russiske markedet i det globale markedet vil være omtrent 3% i 2018;
• mengden akkumulerte data i 2020 vil være 980 exabyte;
• datavolumet vil vokse til 2,2 % av det globale datavolumet i 2020;
• Teknologier for datavisualisering, mediefilanalyse og tingenes internett vil bli mest populære.

Basert på resultatene av analysen kan vi konkludere med at Big Data-markedet fortsatt er i de tidlige stadiene av utviklingen, og i nær fremtid vil vi se dets vekst og utvidelse av evnene til disse teknologiene.

Takk for at du tok deg tid til å lese dette omfangsrike arbeidet, abonner på bloggen vår - vi lover mange nye interessante publikasjoner!

Hva har skjedd Stor Data(bokstavelig - stor Data)? La oss først se på Oxford Dictionary:

Data- mengder, tegn eller symboler som en datamaskin betjener og som kan lagres og overføres i form av elektriske signaler, registrert på magnetiske, optiske eller mekaniske medier.

Begrep Stor Data brukes til å beskrive et stort datasett som vokser eksponentielt over tid. For å behandle en slik mengde data kan du ikke klare deg uten.

Fordelene som Big Data gir:

1. Innsamling av data fra ulike kilder.
2. Forbedre forretningsprosesser gjennom sanntidsanalyse.
3. Lagre enorme mengder data.
4. Innsikt. Big Data er mer innsiktsfullt skjult informasjon ved hjelp av strukturerte og semistrukturerte data.
5. Big data hjelper deg med å redusere risiko og ta smarte beslutninger med riktig risikoanalyse

Eksempler på Big Data

New York-børsen genererer daglig 1 terabyte handelsdata for siste økt.

Sosiale medier: statistikk viser at databasen Facebook-data lastet opp daglig 500 terabyte nye data genereres hovedsakelig på grunn av opplasting av bilder og videoer til sosiale nettverksservere, meldinger, kommentarer under innlegg, og så videre.

Jetmotor genererer 10 terabyte data hvert 30. minutt under flyturen. Siden tusenvis av flyreiser foretas hver dag, når datavolumet petabyte.

Big Data klassifisering

Big data-skjemaer:

• Strukturert
• Ustrukturert
• Halvstrukturert

Strukturert form

Data som kan lagres, få tilgang til og behandles i et skjema med et fast format kalles strukturert. Bak lang tid Informatikk har gjort store fremskritt i å forbedre teknikker for å jobbe med denne typen data (hvor formatet er kjent på forhånd) og har lært å dra nytte av det. Imidlertid er det allerede i dag problemer knyttet til veksten av volumer til størrelser målt i området flere zettabyte.

1 zettabyte tilsvarer en milliard terabyte

Når man ser på disse tallene, er det lett å se sannheten til begrepet Big Data og vanskelighetene forbundet med å behandle og lagre slike data.

Data som er lagret i en relasjonsdatabase er strukturert og ser ut som for eksempel tabeller over bedriftsansatte

Ustrukturert form

Data med ukjent struktur er klassifisert som ustrukturert. I tillegg til sin store størrelse, er denne formen preget av en rekke vanskeligheter med å behandle og trekke ut nyttig informasjon. Et typisk eksempel på ustrukturerte data er en heterogen kilde som inneholder en kombinasjon av enkle tekstfiler, bilder og videoer. I dag har organisasjoner tilgang til store mengder rå eller ustrukturert data, men vet ikke hvordan de skal hente ut verdi fra det.

Halvstrukturert form

Denne kategorien inneholder begge de som er beskrevet ovenfor, så semistrukturerte data har en eller annen form, men er faktisk ikke definert ved hjelp av tabeller i relasjonsdatabaser. Et eksempel på denne kategorien er personopplysninger gitt i XML-fil.

Prashant RaoMann35 Seema R.Hunn41 Satish ManeMann29 Subrato RoyMann26 Jeremiah J.Mann35

Kjennetegn på Big Data

Big Data-vekst over tid:

Blå farge representerer strukturerte data (Enterprise data), som er lagret i relasjonsdatabaser. Andre farger indikerer ustrukturerte data fra ulike kilder (IP-telefoni, enheter og sensorer, sosiale nettverk og nettapplikasjoner).

I følge Gartner varierer store data i volum, generasjonshastighet, variasjon og variasjon. La oss se nærmere på disse egenskapene.

1. Volum. Selve begrepet Big Data er assosiert med stor størrelse. Datastørrelse er en kritisk beregning for å bestemme den potensielle verdien som skal trekkes ut. Hver dag bruker 6 millioner mennesker digitale medier, og genererer anslagsvis 2,5 kvintillioner byte med data. Derfor er volum den første egenskapen å vurdere.
2. Mangfold- neste aspekt. Det refererer til heterogene kilder og arten av data, som enten kan være strukturert eller ustrukturert. Tidligere var regneark og databaser de eneste informasjonskildene som ble vurdert i de fleste applikasjoner. I dag er data i form av e-poster, bilder, videoer, PDF-filer, er lyd også vurdert i analytiske applikasjoner. Denne variasjonen av ustrukturerte data fører til problemer innen lagring, gruvedrift og analyse: 27 % av selskapene er ikke sikre på at de jobber med riktig data.
3. Generasjonshastighet. Hvor raskt data akkumuleres og behandles for å møte kravene avgjør potensialet. Hastighet bestemmer hastigheten på informasjonsflyten fra kilder - forretningsprosesser, applikasjonslogger, sosiale nettverk og mediesider, sensorer, mobile enheter. Dataflyten er enorm og kontinuerlig over tid.
4. Variabilitet beskriver variasjonen av data på enkelte tidspunkter, noe som kompliserer behandling og administrasjon. For eksempel er de fleste data ustrukturert i naturen.

Big Data-analyse: hva er fordelene med big data

Markedsføring av varer og tjenester: Tilgang til data fra søkemotorer og nettsteder som Facebook og Twitter lar bedrifter utvikle markedsføringsstrategier mer nøyaktig.

Forbedre service til kunder: tradisjonelle systemer tilbakemelding med kunder erstattes med nye, der Big Data og naturlig språkbehandling brukes til å lese og evaluere tilbakemeldinger fra kunder.

Risikoberegning knyttet til utgivelsen av et nytt produkt eller en tjeneste.

Operasjonell effektivitet: Big data er strukturert for raskt å trekke ut nødvendig informasjon og raskt produsere nøyaktige resultater. Denne kombinasjonen av Big Data og lagringsteknologier hjelper organisasjoner med å optimalisere arbeidet med sjelden brukt informasjon.