Big Data
Big-Data ist das gesamte Auswertungsthema, Opendata ist der Aspekt, dass Daten offen zugreifbar sind.
- Dr. S :"Big Data - Die Welt als Forschungslabor"
-
Daten ist der Rohstoff des 21.Jh
Kritik/Risiken: Korrelationen entstehen, deren Auswahl folgen hat: z.B. Musikgeschmack - Kreditausfallrisiko → höherer Zins für Kreditnehmer
- Heise: "Big Data: Rohstoff der Informationsgesellschaft"
-
- dt. Wikipedia,engl. Wikipedia
-
- W.P.: "Big Data- Wie uns die Datenflut vorhersagbar macht"
-
- Verweis auf Viktor Mayer Schönberger Internet Institut Oxford
- Keine Stichproben mehr, vollständige Daten. Fehler werden in kauf genommen.
- Korrelationen ist der Witz bei Big Data, die Ursache-Wirkung ist nebensächlich. (Bemerkung: Ist das nicht immer so bei Statistik ? Die kausalität kann doch erst durch eine Theorie und durch praktisches Ausproieren beglegt werden)
- Heise: Kanada gründet Institut für Big Data Analyse 20.7.2013
-
- Israel und Big Data
- Spiegel
- 2,5 Milliarden Euro sollen EU-Wirtschaft bei Big Data voranbringen 13.10.2014
- Cloud und künstliche Intelligenz: Die Zukunft muss offen bleiben 2017
-
In Clouds werden Massen von Big Data gespeichert und daraus können mittels AI-Methoden Wissen abgeleitet werden.
Deep Learning: dieser Lernvorgang
Anwendungen
Wirtschaft
Marketing
- Werbung/Marketing: Zielgenaue Werbung an den Einzelnen
- [ Dr.S]
- Vorhersage der Börse aufgrund von Suchanfragen bei Google
- Twitter schliesst Werbedeal ab- Verknüpfung Fernsehwerbung mit Twitteranalyse
- Web-Wirtschaft: Die Spione aus dem Wohnzimmer" 22.4.1013 beschreibt wirtschaftliche Anwendungen
- T.K. graust es vor der Werbung, die basierend auf big data kommt 14.10.2013
Betriebswirtschaft
Wissen in Betrieben kann gesammelt werden [Behördenspiegel 11/2014 S.43]
Volkswirtschaft
Könnte die volkswirtschaftliche Lage durchschaubar machen und damit realistischere Politik machbar
Daten sollten mit Open Data freigegeben werden (wenn rechtlich möglich)
[H.Westerfeld in Behördenspiegel 11/2014 S.43]
Medizin
- Gewinnung von Frühindikatoren für Krankheiten/Vorbeugung [Dr. S ]
- Big Data in der Medizin: Sprechstunde beimSuperrechner
-
Es gibt erhebliche Zweifel, ob die klassische Statistik für die Medizin allgemeingütige Aussagen belegen kann: Beispielsweise könnte die Wirkung von Medikamenten von den Genen abhängen.
Big Data wertet die Gesamtheit der erfassten Daten aus.
Demoskopie in der Politik
- Politik: Zielgenaues überzeugen von Wechselwählern in den USA [Dr. S ]
Technik
- Energiesparen [Dr. S ]
- Fernwartung: Reduzierung der Ausfallzeiten von Systemen um 35-45%:
- Aufgrund eines Musters bei der Leistungsaufnahme und in korrelation mit Vermessungen anderer Parameter kann auf den Verschleis gewisser Komponenten eines Systems geschlossen werden, und dar Ausfall genau vorherberechnet werden. Dann kann zum optimalen Zeitpunkt eine schadhafte Komponente ausgetauscht werden [Spiegel 29/2014]
z.B. stumpfes Messer einer Wurstschneidemaschiene verursacht höheren Leistungsaufnahme und größere toleranz bei Wurstscheibendicken
→ die aufwändige Analyse erfolgt nicht mehr vom Kundendienst, man braucht einen Monteur, der nur noch Teile wechseln muss → Enge zusammenarbeit mit Herstelleren, unabhängige Händler werden es schwer haben
- Vereiste Rotorblätter : Unwucht und Temperatur um 0 Grad Celsius
Markt: Entwicklung Analysewerkzeuge
Verkehrsanalysen
Die Behörden sollen bessere Planungszenarien erhalten. Auswirkungen von neuen Bahnhöfen, Flughäfen, Straßen, Baugebieten können schon voerher untersucht werden
[H.Westerfeld in Behördenspiegel 11/2014 S.43]
öffentliche Sicherheit/Überwachung
Predictive Policing
- Daten aus früheren Straftaten werden verknüpft und mittels statistischer Methoden zu kriminalologichen Kriterien die wahrscheinlichkeit zukümftiger Straftaten (Einbrüche) errechnet: bis zu 80% Treffer in der Stadt [Behördenspiegel 11/2014 S.56], 30% Rückgang der Kriminalität und 15 % Gewaltkriminalitätsrückgang wurde erreicht.
- Ziel ist ein lagegerechter, punktgenauer Personaleinsatz
- Offen sei predicative policing inländlichen Räumen [Behördenspiegel 11/2014 S.56]
- Interessenkollision mit Datenschutz und individuellen Freiheitsrechten [Behördenspiegel 11/2014 S.56]
- Daten aus unterschiedlichen Quellen, darunter soziale Netzwerke üssen zusammengeführt werden [Behördenspiegel 11/2014 S.56]
- Prognosedaten aus
- Anonymisierten Falldaten der Polizei
- sozioökonomische Daten der Gfk
- Wettervorhersage
- geplante Großereignisse wie Sport, Desmonstrationen
- Feriendaten
- Kartenmaterial. Bilder aus Streetview, Weg-Zeit-Simulationen
- Geldwäsche/Steuerhinterziehung: Analyse der Finanzströme nach auffälligen Mustern
- Rheinischer Minority Report: Polizei NRW will mit Predictive Policing Einbrüche aufklären 1.7.2014
Predicative Response für Feuerwehr, Krankenwagen und Unfallvermeidung
- Minimierung der Wege zur Hilfeleistung
- Bisher gehen in die Berechnung nur Miitelwerte ein, nicht aber die reellen Werte z.B. erhöhtem Verkehrsaufkommen
- Wenn die Unfallwahrscheinlichkeit hoch ist, können schon Hilfsfahrzeuge in die Gegend verlegt werden.
[Behördenspiegel 11/2014 S.57]
öffentliche Verwaltung/Regierung
Die Wirkung von Gesetzen und Förderungen könnte mit Big Data-Techniken untersucht werden [H. Westerfeld Behördenspiegel 11/2014 S.43]
Noch zum Auswerten:
Landwirtschaft
- Big Data in der Landwirtschaft
Politische Wirkungen
- Smartphone Studie: Das Märchen vom anonymen Bewegungsprofil
- S.L.: Der Mensch muss sein Datensouverrän sein 1.4.2014
- Kunde oder Terrorist?
Wie Big Data den Menschen kategorisiert 4.7.2014
-
- Angst vor Szenario, dass man als Terrorist eingestuft wird und von einer Drone erschossen wird - macht Selbstzensur und bringt Unsicherheit und gefärde unsere Freiheit/Demokratie
- Big Data werde gebraucht um dem Wechsel von kollettiven zu individulisierten Verhalten kontrollieren zu können:
- Produkt werbung: Vorsortierung der Bedürfnisse aber auch bevormundung: "Der Konsumkapitalismus kann nur funktionieren, wenn seine Marktteilnehmer willens sind, immer länger und härter zu arbeiten, um sich immer neue und immer unnützere schöne Dinge leisten zu können."
- asymetrischer Krieg gegen Terror: Staaten setzen sich gegen Einzeltäter zur Wehr und diese sind Kriegsziele
- Staat darf nicht alle Verknüpfungen erlauben [H.Westerfeld in Behördenspiegel 11/2014 S.43]
-
- Studie: 10 Regeln zum wissenschaftlichen Umgang mit Big Data 3.4.2017
Akzeptanz
- Deutsche sehen "Big Data" zunehmend kritisch FAZ 26.8.2013
-
viele Leute in Deutschland lehnen BigData ab
Tools
- Apache Hadoop
- Framework für die verteilte Verarbeitung von grossen Datenmengen auf Computer-Clustern
Realtime SQL mit Hadoop beschreibt Trends bei der Big Data auswertung
- Eclipse BIRT Business Reporting Tools arbeiten auch auf "Big Data"
- Visualizing Big Date with Hadoop and BIRT
- Apache mahout
- ist ein verteites maschinelles Lernsystem zur Analyse von Big Data.
Anwendung bei ROBUST
- Apache giraph
- ist ein verteiltes System zur Bearbeitung von Graphen das mit big data zurecht kommt.
- Apache Drill wird Top-Level-Projekt der Apache Software Foundation
- Metasafe Repository
- Implementiert ein Entity-Relationship-Modell über mehrere Datenbanken hinweg und bietet ein gesamtes Datenmodell einer Organisation
Weitere Links:
- Apache Spark kann Event-Analyse machen ?
Begriffe und Techniken
semantische Netzwerke [H.Westerfeld in Behördenspiegel 11/2014 S.43]
Semantik- und Textmining ist Verbesserung der Volltextsuche. Über Ontologien beschreibenes Hintergrundwissen unterstützt die Suchr und die Filterung vorn eEreignissen. Themensuchen ermöglichen die Suche nach einer Spur.
Suchraster können Informationslagen länger beobachten. [Behördenspiegel 11/2014 S.56]
Map - Reduce
- Google hat sich schon verabschiedet
Weitere
Informatik- und Netzwerkverein Ravensburg e.V Rudolf Weber