Big Data


Backend-Entwicklung

Behalten Sie den Überblick über Ihre Daten

Der Begriff Big Data bezieht sich auf Datenmengen, die sehr groß sind (volume), mit einer großen Geschwindigkeit erzeugt oder verändert werden (velocity), deren Format und Quelle variieren (variety) und die zum Teil auch unterschiedliche Qualität/Glaubwürdigkeit (validity) besitzen. Die Menge von generierten Daten steigt exponentiell. Alleine in den letzten zwei Jahren wurden mehr Daten generiert als in der gesamten menschlichen Geschichte zuvor. Jede Minute werden bis zu 300 Stunden Videomaterial auf YouTube hochgeladen und jede Sekunde 40.000 Google-Suchen gestartet. Durch den Internet of Things (IoT) Trend werden immer mehr Sensoren in Gegenstände verbaut, was auch in Zukunft zu exponentiellen Datenwachstum führen wird.

Um die großen und unstrukturierten Datenformate verwertbar zu machen, reichen Standard zeilenbasierte Datenbanken oft nicht mehr aus. Je nach Situation müssen Daten aufwändig in Data Warehouses integriert werden oder durch spezielle NoSQL Datenbank wie MongoDB verwaltet werden. Dabei muss entschieden werden, ob sich je nach Anwendungsfall z.B. dokumentorientierte Datenbanken, Graphdatenbanken, Key-Value-Datenbanken oder spaltenorientierte Datenbanken anbieten. Dadurch ist es individuell möglich, Konsistenz und Performance des Systems zu gewährleisten.

Um die vorhandenen Daten auszuwerten greifen wir auf moderne Frameworks zum Data Handling zurück. Eine wichtige Eigenschaft von Software, die Big Data nutzen möchte, ist die Skalierbarkeit. D.h. je nach Bedarf kann Rechen- und Speicherleistung ergänzt werden und führt zu einer Erhöhung der Performanz. Ein Beispiel für ein mächtiges Framework ist Java Flink, was darauf spezialisiert ist skalierbar auf großen Datenmengen zu arbeiten.

Die Anwendungsszenarien für Big Data sind breit: Predictive Maintenance, Customer Satisfaction Analysis, Social Media Sentiment Analysis und Price Forecasting sind nur einige wenige Beispiele. Wir beraten Sie gerne und analysieren gemeinsam mit Ihnen, welche Potentiale in Ihren Daten steckt.


Ihr Ansprechpartner

Felix Hammann

Geschäftsführender Gesellschafter