Slovak Telekom – Infrastruktura pro big data

Moderní datová infrastruktura pro Slovak Telekom a přístupná nová, zajímavá data pro další analýzy

Problém

Mobilní operátoři nemohou ignorovat potenciál a možnosti big data technologií. S příchodem nových technologií viděl i Slovak Telekom příležitost kombinovat a zpracovat datové zdroje, které byly na tradičních technologiích příliš nákladné. Rychlost dodání výsledků navíc neodpovídala potřebám byznysu. Plány byly veliké a zájem využít informace z dat projevilo více oddělení, chyběly však lidské zdroje a zkušenosti s nasazením technologií pro velká data.

Řešení

Společnost Slovak Telekom s námi navázala spolupráci, aby snížila riziko spojené s exekucí nové strategie pro big data.

Po návrhu a schválení data governance modelu bylo nutné navrhnout architekturu, která by byla flexibilní a dobře škálovatelná pro obchodní potřeby Slovak Telekomu. Zároveň jsme pracovali s omezenými lidskými zdroji, proto bylo potřeba, aby řešení od počátku zvládla obsluhovat hrstka osob.

Vhodná datová architektura

Vybrali jsme datovou architekturu, u níž se zpracovávají data v různých formátech jak dávkově, tak v reálném čase, přičemž běžný provoz nevyžaduje velký tým. V rámci této architektury jsme využili technologie Cloudera Hadoop, Apache Kafka a Apache Spark. Nástroje, jako jsou Apache Flume a Apache Sqoop, se ze začátku využívaly pro sběr dat bez potřeby programování. Nyní týmy pracují s Apache Spark 2, který má mnohem lepší výkon. 

Řešení má několik logických clusterů, které se mohou nezávisle škálovat. O prvotní sběr a zpracování se starají systémy využívající Apache Kafka jako klíčovou open source technologii. Ta působí především jako ochranná vrstva, která se umí lépe vyrovnat s neočištěnými daty při zpracování v cílových uložištích. Tyto integrační vrstvy běží na vlastním privátním cloudu mobilního operátora, umožňují mnohem rychleji přidávat potřebné zdroje a pohodlně řešit nečekané výkyvy v datových tocích. 

Analytika i strojové učení

Nad samotným data lake se řeší další zpracování a analytika včetně strojového učení. Tento cluster běží pro větší výkon přímo na fyzických serverech. Management prostředků jsme nastavili na míru potřebám těch týmů, kteří systém společně využívají, tedy IT a datoví vědci. Python notebooks a SQL prostředí umožňují koncovým uživatelům pohodlně přistupovat k datům. 

Námi poskytnuté řešení dnes zpracovává některé kritické analytické úlohy, přičemž se využívají data z více než 10 interních a externích zdrojů. Výsledky slouží jako podklady pro byznysová rozhodnutí v oblasti marketingu a vlastního provozu.

Související produkty a služby

Datová integrace
Datová integrace

Integrace dat často využívá kombinaci strojových a kontextuálních dat, přičemž každá z nich jsou jinak strukturovaná. My vám pomůžeme správně prop...

Více informací o Datová integrace
Infrastruktura pro big data
Infrastruktura pro big data

Poskytujeme zabezpečené a vysoce škálovatelné datové prostředí rychleji než tradiční dodavatelé datové infrastruktury. Zkušenosti s budováním dato...

Více informací o Infrastruktura pro big data
Nasazení technologie
Nasazení technologie

A to rychle. Nečekejte měsíce, nasazujeme během pár týdnů. Máme potřebné znalosti i technické dovednosti.

Více informací o Nasazení technologie
Cloudera Data Platform
Cloudera Data Platform

Cloudera je technologická společnost poskytujicí ekosystém softwarových řešení pro zpracování a využití velkých dat. Zastřešuje a rozvíjí vybrané ...

Více informací o Cloudera Data Platform

Vybudujeme datovou infrastrukturu

Pojďme se pobavit o vaší budoucí datové infrastruktuře

Johnson Darkwah
Johnson Darkwah CEO

Další případové studie

Nasazení AI pro JERY
Nasazení AI pro JERY

Náš recommendation engine doporučuje uchazečům nejlepší nabídky práce.

Více informací o Nasazení AI pro JERY
AI model pro aplikaci mySASY
AI model pro aplikaci mySASY

Pro tréninkovou aplikaci mySASY jsme pomocí metod pokročilé umělé inteligence zkrátili měření z 15 na 4 minuty.

Více informací o AI model pro aplikaci mySASY
Workshop ke Cloudeře pro Vodafone
Workshop ke Cloudeře pro Vodafone

Pro Vodafone jsme připravili třídenní praktické školení k práci s velkými daty na platformě Cloudera.

Více informací o Workshop ke Cloudeře pro Vodafone
Reporting pro Tatra banku z několika hodin na pár vteřin
Reporting pro Tatra banku z několika hodin na pár vteřin

Pro Tatra banku jsme zrychlili generování reportů a proškolili zhruba 30 osob.

Více informací o Reporting pro Tatra banku z několika hodin na pár vteřin