Slovak Telekom – Infrastruktura pro big data

Moderní datová infrastruktura pro Slovak Telekom a přístupná nová, zajímavá data pro další analýzy

Problém

Mobilní operátoři nemohou ignorovat potenciál a možnosti big data technologií. S příchodem nových technologií viděl i Slovak Telekom příležitost kombinovat a zpracovat datové zdroje, které byly na tradičních technologiích příliš nákladné. Rychlost dodání výsledků navíc neodpovídala potřebám byznysu. Plány byly veliké a zájem využít informace z dat projevilo více oddělení, chyběly však lidské zdroje a zkušenosti s nasazením technologií pro velká data.

Řešení

Společnost Slovak Telekom s námi navázala spolupráci, aby snížila riziko spojené s exekucí nové strategie pro big data.

Po návrhu a schválení data governance modelu bylo nutné navrhnout architekturu, která by byla flexibilní a dobře škálovatelná pro obchodní potřeby Slovak Telekomu. Zároveň jsme pracovali s omezenými lidskými zdroji, proto bylo potřeba, aby řešení od počátku zvládla obsluhovat hrstka osob.

Vhodná datová architektura

Vybrali jsme datovou architekturu, u níž se zpracovávají data v různých formátech jak dávkově, tak v reálném čase, přičemž běžný provoz nevyžaduje velký tým. V rámci této architektury jsme využili technologie Cloudera Hadoop, Apache Kafka a Apache Spark. Nástroje, jako jsou Apache Flume a Apache Sqoop, se ze začátku využívaly pro sběr dat bez potřeby programování. Nyní týmy pracují s Apache Spark 2, který má mnohem lepší výkon. 

Řešení má několik logických clusterů, které se mohou nezávisle škálovat. O prvotní sběr a zpracování se starají systémy využívající Apache Kafka jako klíčovou open source technologii. Ta působí především jako ochranná vrstva, která se umí lépe vyrovnat s neočištěnými daty při zpracování v cílových uložištích. Tyto integrační vrstvy běží na vlastním privátním cloudu mobilního operátora, umožňují mnohem rychleji přidávat potřebné zdroje a pohodlně řešit nečekané výkyvy v datových tocích. 

Analytika i strojové učení

Nad samotným data lake se řeší další zpracování a analytika včetně strojového učení. Tento cluster běží pro větší výkon přímo na fyzických serverech. Management prostředků jsme nastavili na míru potřebám těch týmů, kteří systém společně využívají, tedy IT a datoví vědci. Python notebooks a SQL prostředí umožňují koncovým uživatelům pohodlně přistupovat k datům. 

Námi poskytnuté řešení dnes zpracovává některé kritické analytické úlohy, přičemž se využívají data z více než 10 interních a externích zdrojů. Výsledky slouží jako podklady pro byznysová rozhodnutí v oblasti marketingu a vlastního provozu.

Související produkty a služby

Datová integrace
Datová integrace

Integrace dat často využívá kombinaci strojových a kontextuálních dat, přičemž každá z nich jsou jinak strukturovaná. My vám pomůžeme správně prop...

Více informací o Datová integrace
Infrastruktura pro big data
Infrastruktura pro big data

Poskytujeme zabezpečené a vysoce škálovatelné datové prostředí rychleji než tradiční dodavatelé datové infrastruktury. Zkušenosti s budováním dato...

Více informací o Infrastruktura pro big data

Vybudujeme datovou infrastrukturu

Pojďme se pobavit o vaší budoucí datové infrastruktuře

Johnson Darkwah
Johnson Darkwah CEO

Další případové studie

Raiffeisen Bank – Smart Lead Generation
Raiffeisen Bank – Smart Lead Generation

Zjistěte včas potřeby zákazníků a oslovte je dřív než konkurence

Více informací o Raiffeisen Bank – Smart Lead Generation