2013/9 | Fachbeitrag | Big Data
Das Datenzeitalter – die Informationsflut als Chance
Inhaltsübersicht:
- Daten als Ströme
- Big Data und seine fast grenzenlosen Möglichkeiten
- Moderne Software-Architekturen aufbauen
Auf dem Weg zum „Internet der Dinge“, in dem alle Gegenstände zu sensorisch reichhaltig ausgestatteten intelligenten Objekten werden, werden Daten in Größenordnungen generiert, die jedes aus der Vergangenheit bekannte Maß sprengen und die bestehenden Infrastrukturen überschwemmen. In naher Zukunft wird ein Wettbewerbsvorteil dadurch aufrecht erhalten, dass man neue Wege findet, um die wachsende Datenflut aus einer Fülle von Quellen zu verarbeiten, durch fortschrittliche Analytikfunktionen relevante Zusammenhänge und Muster nahezu in Echtzeit herauszufiltern und betriebswirtschaftliche Maßnahmen zu ergreifen, die basierend auf diesen Erkenntnissen eine Wertschöpfung erzielen.
Daten als Ströme
Ein Kennzeichen des „Datenzeitalters“ ist es, dass Daten digital entstehen und ständig fließen. Es ist eine neue veränderte Sichtweise, dass man sich Daten als Ströme vorstellt, die durch „Pipelines“ fließen, statt wie bisher als eine zentrale, monolithische Anlage, die in einer statischen Umgebung eingeschlossen ist und nur in sorgfältig festgelegten Zeitabständen mit festgelegten Prozessen aktualisiert wird. Wahrscheinlich sehen wir bald einen Bruch mit traditionellen, reibungsbehafteten und spröden ETL- und statischen BI-Architekturen und einen Übergang zu „organischeren“, strömungsbasierten Strukturen, die sich an eine sich ständig verändernde Big Data-Landschaft anpassen können. Schwindelerregende Durchbrüche bei Datenbanktechnologien – NoSQL, Analytic, Graph, usw.; Big Data-Plattformen wie Hadoop; Cloud-basierte Integration und fortschrittliche prädiktive Analytik dürften alle einen Beitrag zu diesem Wandel leisten.
Software-Architekten und -Entwickler müssen vorangehen und sich mit den Stakeholdern in der Branche abstimmen, um diesen radikalen Wandel zu verstehen und Innovationen mit neuen Software-Plattformen schaffen, die sich über extrem leistungsfähige Streaming- und Persistenz-Ebenen erstrecken und eine neue Klasse von hochgradig iterativen Datenfunktionen und rechenintensiven Analytikaufgaben ermöglichen.
Big Data und seine fast grenzenlosen Möglichkeiten
Die Möglichkeit der Wertschöpfung aus Big Data mit der nahezu grenzenlosen und wirtschaftlichen Verarbeitungsleistung moderner Commodity-Hardware weckt die Begehrlichkeit von Technologen ebenso wie von Unternehmern – vorausgesetzt, die Software-Teile des Puzzles sind leistungsfähig genug. Die schlechte Nachricht ist, dass viele (auch sehr berühmte) Software-Stacks auf jahrzehntealten Strukturen basieren und einfach nicht für eine wirtschaftliche Skalierbarkeit im Datenzeitalter vorbereitet sind. Die gute Nachricht ist, dass einige der etablierten Stacks zwar unter dem Gewicht von Big Data ins Stolpern geraten, dass wir jedoch mittlerweile eine „Wildwest-Phase“ erreicht haben, in der eine Fülle neuer, für das Datenzeitalter bestimmter Softwaretechnologien hinzukommen. Nicht jede der neuen Technologien wird sich langfristig als überlebensfähig erweisen, und nicht alle etablierten Player werden untergehen, aber jetzt ist es an der Zeit zu experimentieren und diese zukunftsträchtigen Lösungen willkommen zu heißen.
Das Potenzial für die wirtschaftliche Nutzung ist atemberaubend, kann aber nur durch Innovatoren genutzt werden, die erkennen, dass es sich nicht mehr um die gleiche Datenlandschaft wie zu Zeiten unserer Vorfahren handelt und dass wir am Anfang einer komplett neuen Generation von superskalierender Software stehen, die uns helfen kann, im Datenzeitalter zu überleben und erfolgreich zu sein. Jetzt geht es darum, diese Berge von Rohdaten möglichst schnell in sinnvolle Business-Aktionen umzusetzen – d.h. bessere Vorhersagen zu machen als die Konkurrenz. Wir bewegen uns unwiderruflich weg von der auf menschlichen Fähigkeiten beruhenden „Kunst“ der Entscheidungsfindung und hin zu der auf Daten basierenden „Wissenschaft“ der Entscheidungsfindung, angetrieben von der Aussicht auf fortschrittliche Analytik, die uns hilft, schnellere und exaktere Entscheidungen zu treffen.
Moderne Software-Architekturen aufbauen
Wenn Sie bei einer neuen Organisation arbeiten, die ihre Dateninfrastruktur gerade erst aufbaut, haben Sie den Luxus, von Anfang an moderne Software-Architekturen einzuführen. In einer etablierten Organisation gibt es zahlreiche Möglichkeiten, die vorhandene Infrastruktur zu nutzen und sie allmählich zu einer besser skalierbaren und wirtschaftlicheren Software-Infrastruktur auszubauen.
Wo sollte man anfangen? Wenn Sie dies noch nicht getan haben, sollten Sie sich einen Bereich Ihres Geschäfts aussuchen, in dem ein Projekt besonders von verbesserten, datengestützten Maßnahmen oder vielleicht sogar vollständig automatisierten Maßnahmen profitieren könnte. Mit einer agilen Architektur zur Erfassung, Analyse und Verwertung von Daten können Sie die Daten in Ihrer vorhandenen Infrastruktur (oder aus externen Quellen) nutzen, um bessere Entscheidungen zu treffen. Hier ein paar Tipps, wo Sie ansetzen können:
- Suchen Sie sich einen Bereich Ihres Geschäftes aus, der von einer „Entscheidungswissenschaft“ profitieren kann und in dem Sie große Mengen von aus dem Internet oder maschinell generierten Daten auswerten können, um mit fortschrittlichen Analytiktechniken prädiktive Modelle zur Verbesserung der Entscheidungsfindung zu erstellen.
- Finden Sie eine Software, die unabhängig von einer bestimmten Hardware ist und die Ihnen einen einfachen Zugang zu der latenten Power erlaubt, die bisher weitgehend ungenutzt in handelsüblichen Multicore-Servern oder Clustern zur Verfügung steht.
- Nutzen Sie die Leistungsfähigkeit der Parallelverarbeitung. Denken Sie an Kombinationen von Technologien für ein vollständiges und flexibles „Scale Up and Scale Out“ (SUSO), die eine Parallelverarbeitung sowohl auf der detaillierten Thread-Ebene als auch auf der groben Prozessebene ermöglichen, um die Zukunftssicherheit Ihrer Lösung für die zunehmende Menge und Verschiedenartigkeit Ihrer Daten zu gewährleisten.
- Berücksichtigen Sie die Aspekte der Entwicklungszeit sowie der Agilität bei der Ausführung. Suchen Sie nach Technologie, die einen nativen Betrieb für die neuesten Anforderungen ermöglicht, aber auch eine ausgereifte Management-Ebene und ein Ökosystem bietet, das schnelle Codierung und einfache Aktualisierungen erlaubt, um mit der weiteren rasanten technischen Entwicklung Schritt halten zu können.
- Streben Sie Architekturen an, die Ihnen ein überragendes Preis-Leistungs-Verhältnis bieten. Vermeiden Sie traditionelle Architekturen, die sich nur mit hohem Kostenaufwand skalieren lassen, da sie in großem Umfang teuere Hardware und Software erfordern.
Das Datenzeitalter erfordert moderne Software-Architekturen, die Unternehmen dabei unterstützen, Big Data in wirtschaftlichen Nutzen umzusetzen. Dies ist eine sehr interessante Zeit für einen kreativen Technologen, der bestrebt ist, für das Unternehmen eine beispiellose Wertschöpfung zu realisieren.