Behalten Sie den Überblick über Ihre Daten!

Der Begriff Big Data bezieht sich auf sehr große Datenmengen (Volume), welche mit einer hohen Geschwindigkeit erzeugt oder verändert werden (Velocity). Format und Quellen variieren (Variety) und die Qualität beziehungsweise die Glaubwürdigkeit (Validity) sind sehr uneinheitlich.

Die Menge an weltweit generierten Daten steigt exponentiell. Alleine in den letzten zwei Jahren wurden mehr Daten generiert als in der gesamten menschlichen Geschichte zuvor. Jede Minute werden bis zu 300 Stunden Videomaterial auf YouTube hochgeladen und jede Sekunde 40.000 Google-Suchen gestartet.

Durch Technologien des Internet of Things (IoT) wird das exponentielle Datenwachstum stetig verstärkt. In Geräte verbaute Sensoren werden ökonomisch immer attraktiver, ermöglichen die umfassende Vernetzung und erzeugen eben stetig mehr und mehr Daten.

Datenbanken

Um diese unstrukturierten Daten verwertbar zu machen, sie zu analysieren, reichen herkömmliche zeilenbasierte Datenbanken oft nicht mehr aus. Je nach Situation müssen Daten aufwändig in Data Warehouses integriert oder durch spezielle NoSQL Datenbanken wie MongoDB verwaltet werden. Dabei muss entschieden werden, ob sich je nach Anwendungsfall z. B. dokumentorientierte Datenbanken, Graphdatenbanken, Key-Value-Datenbanken oder spaltenorientierte Datenbanken anbieten. Dadurch ist es möglich, Konsistenz und Performance des Systems individuell zu gewährleisten.

Auswertung und Anwendung

Um die vorhandenen Daten auszuwerten, greifen wir auf moderne Technologien und Frameworks zum Data Handling zurück. Dabei ist die Skalierbarkeit eine der entscheidenden Eigenschaft von Software, um Big Data zu nutzen. Je nach Bedarf kann Rechen- und Speicherleistung ergänzt werden, was zu einer Erhöhung der Performanz führt. Ein Beispiel für ein mächtiges Framework ist Java Flink, welches darauf spezialisiert ist skalierbar auf großen Datenmengen zu arbeiten.

Blogeintrag – Java Flink – Eine Open Source Plattform für die Verarbeitung großer Datenmengen

Hier klicken

Die Anwendungsszenarien für Big Data sind vielfältig. Predictive Maintenance, Customer Satisfaction Analysis, Social Media Sentiment Analysis und Price Forecasting sind einige prominente Beispiele. Wir beraten Sie gerne und analysieren gemeinsam mit Ihnen, welches Potential in Ihren Daten steckt.