Zuhause Vorausdenken Big Data: Eine herausfordernde „Billionen-Dollar-Chance“

Big Data: Eine herausfordernde „Billionen-Dollar-Chance“

Video: Teamplayer 4.0 - KI, Roboter, Big Data und die Arbeitswelt von morgen - ARD-alpha (November 2024)

Video: Teamplayer 4.0 - KI, Roboter, Big Data und die Arbeitswelt von morgen - ARD-alpha (November 2024)
Anonim

Beim gestrigen Bloomberg Enterprise Technology Summit hat mich beeindruckt, wie wichtig es ist, mit Daten auf neue Weise umzugehen - mit anderen Worten, mit dem, was oft als "Big Data" bezeichnet wird.

In einigen Gesprächen ging es um den Wert von Big Data und darum, ob es sich tatsächlich um eine "Billionen-Dollar-Chance" handelte, während sich andere mit den spezifischen Herausforderungen befassten, denen sich einzelne Unternehmen und die Branche bei der umfassenderen Einführung dieser neuen Techniken gegenübersehen.

Gerard Francis, globaler Leiter von Bloomberg Enterprise Solutions, Bloomberg LP, begann den Tag damit, dass das Wichtigste, was Unternehmen tun können, darin besteht, "den Wert von Daten durch ihre Verwendung zu nutzen" und sich auf den Zugang, die Qualität und den Fluss von Daten zu konzentrieren Daten innerhalb einer Organisation. In den folgenden Panels wurde viel über neue Tools gesprochen, die sich mit Daten befassen, sowie über spezifische Probleme beim Speichern, Verwalten und Finden der Personen, die sich mit den Daten befassen.

Dwight Merriman, Vorsitzender und Mitbegründer von MongoDB, sagte in einem allgemeinen Panel über Unternehmenstrends, dass die Datenschicht des Application-Tracks "die größte Störung und Veränderung aufweist, die wir seit 25 Jahren gesehen haben." Er sagte, dass Unternehmen seit 25 Jahren oder länger relationale Datenbanken verwenden, was diese Technologie zur ältesten Technologie im Stapel macht. Jetzt gibt es jedoch Probleme mit dateibasiertem Speicher wie Hadoop und neuen Datenbanktechnologien, die häufig als "NoSQL" bezeichnet werden. Er wies darauf hin, dass es bei Big Data nicht um "Big" geht, sondern vielmehr um die Form der Daten, die Datentypen und den Trend zum Umgang mit Echtzeitdaten.

Benjamin Fried, Chief Information Officer von Google, stimmte zu, dass die meisten Unternehmen keine Probleme mit "Big Data" haben. Viele der Datensätze - mit Dingen wie HR-Daten und Finanzdaten - seien nicht so groß, sagte er. Wichtig ist die Flexibilität, die Sie für den richtigen Umgang mit den Daten benötigen.

Was ist eigentlich Big Data?

Gary Bloom von MarkLogic, Mark Bregman von Neustar, Mark Palmer von Streambase und Vipul Nagrath von Bloomberg

Dieses Konzept - diese Flexibilität ist genauso wichtig wie die Größe der Daten - wurde später am Tag in einem anderen Panel wiederholt. Dort waren sich die Teilnehmer einig, dass sich Unternehmen schon lange mit datenintensiven Anwendungen befassen, aber der Maßstab hat sich kürzlich geändert. Mark F. Bregman, Senior Vice President und Chief Technology Officer von Neustar, stellte beispielsweise fest, dass einige Unternehmen nun "alles" in der Hoffnung speichern, dass es sich als wertvoll erweisen wird.

"Big ist besser definiert als Komplexität", so Gary Bloom, CEO und President von MarkLogic. Er merkte an, dass viele sogenannte "Big Data" -Anwendungen viele verschiedene Arten von Daten beinhalten, aber nicht die Art von Volumen, von der Sie normalerweise in "Big Data" -Anwendungen hören.

Er führte ein Beispiel für den Flugverkehr an, das Wetterdaten, Flughafendaten, Geodaten, Flugdaten, Flugreservierungsdaten und soziale Daten kombiniert. Er merkte an, dass der Umgang mit heterogenen Daten mit traditionellen relationalen Datenbanken sehr schwierig war, und wiederholte frühere Kommentare von Merriman von MongoDB, dass dies der "erste Generationswechsel in der Datenbank seit 25 Jahren" war, seit wir vom Mainframe in die Ära der relationalen Datenbanken gewechselt sind.

Er merkte an, dass viele Leute über Social-Media-Daten sprechen, diese aber wirklich mit anderen Daten kombiniert werden müssen, um wirklich etwas zu haben, von dem Sie Kapital schlagen können. Das Kombinieren dieser Daten ist "der wahre Wert".

Natürlich beinhalten einige Anwendungen viele Informationen, wobei Bregman sagt, dass Heterogenität nur ein Faktor ist. Er zitierte DNS-Daten, die leicht 8 TB an Informationen pro Tag generieren können, und die Notwendigkeit, solche Dinge in Hadoop zu speichern. Bregman und die anderen stellten fest, dass der wahre Wert bei der "Datenkapitalisierung" nicht in den Rohdaten liegt, sondern in der Analyse, wenn sie zu etwas werden, das Sie verwenden können. Die anderen im Panel waren sich einig.

Mark Palmer, CEO von Streambase, sagte, dass das Kämmen großer Datenmengen mit Streaming-Analysen in vielen Anwendungen wichtig sei. und sprachen über den Mehrwert, der durch die Kombination von traditioneller Analyse und Echtzeitanalyse erzielt werden könnte.

Er stimmte jedoch zu, dass die Komplexität von Daten ein Problem darstellt. Er zitierte, wie Vivek Ranadivé, der Tibco (der jetzt Streambase besitzt) leitet, ein Basketballteam kaufte, um herauszufinden, wie die Technologie die Erfahrung des Fans verbessern kann. Er sprach erneut davon, "verschiedene Arten von Daten zu mischen", ausgehend von einem Twitter-Stream, aber auch andere Arten von Daten zu nutzen.

Bloom merkte an, dass alles von der Anwendung abhänge und sagte, dass "die Latenz im Auge des Betrachters liegt". Einige Anwendungen müssen die Daten auf der Leitung analysieren, bevor sie überhaupt in die Datenbank gelangen, andere nicht.

Bregman brachte das Problem auf den Punkt, dass es jetzt viel schwieriger wird, die Daten zu verschieben, anstatt dass es schwierig ist, Rechenressourcen zu verschieben. Er merkte an, dass für viele Anwendungen das "Lock-In" der Ort der Daten ist. Sobald Sie Ihre Daten in einer öffentlichen Cloud gespeichert haben, ist es sehr schwierig, sie zu verschieben. Infolgedessen möchten viele Unternehmen große Datenmengen an ihren eigenen Standorten speichern und dann für die Rechenfunktionen zu verschiedenen Anbietern wechseln. In Anlehnung an einen Begriff von MarkLogics Bloom sprach er darüber, wie Unternehmen ein "Rechenzentrum" benötigen könnten, in dem Sie riesige Datenmengen aufbewahren.

Ist Big Data eine Billionen-Dollar-Chance?

Porter Bibb von MediaTech Capital Partners, Doug Cutting von Cloudera, Gaurav Dhillon von Snaplogic und Jason Kelly von Bloomberg Link

Ein weiteres Panel diskutierte die Chancen und Herausforderungen von Big Data und spiegelte einen Kommentar von Porter Bibb, Managing Partner bei MediaTech Capital Partners, wider. Bibb sagte, dass es tatsächlich mehr als eine Billion Dollar an Vorteilen für Unternehmen gibt, die die neuen Techniken anwenden. Bisher hätten wir "noch nicht einmal begonnen, das Potenzial dieser Technologie auszuschöpfen".

Bibb sprach darüber, wie wichtig es für Unternehmen ist, ihre Datenstrategie auf die Geschäftsstrategie abzustimmen, und war besorgt, dass die meisten Unternehmens- und Regierungssysteme falsch ausgerichtet sind.

In dieser ersten Sitzung sagte Scott Weiss von Andreessen Horowitz, dass "Hadoop wie ein kryogener Speicher ist", und Moderator Jason Kelly von Bloomberg Link fragte den Chefarchitekten von Cloudera, Doug Cutting, der in erster Linie einer der Erfinder von Hadoop war, wie er dies betrachtete Das.

Das heißt, Hadoop ermöglicht es den Menschen, mit mehr Daten zu arbeiten. Er sagte, dass Unternehmen Daten vom Band ziehen, anstatt sie online und nutzbar zu machen. Kunden arbeiten nicht mehr mit Daten für 90 Tage, sondern mit Daten für fünf oder zehn Jahre in einem "aktiven Archiv".

In diesem Panel wurde eine Reihe spezifischer Fragen zum Umgang mit all diesen Daten erneut angesprochen. Gaurav Dhillon, CEO von Snaplogic, sprach über die "Schwerkraft der Daten" und sagte, es sei nicht sinnvoll, Daten, die sich in Hadoop vor Ort befinden, in die Cloud zu verschieben. Wenn sich jedoch Daten in der Cloud befinden, z. B. eine Click-Stream-Analyse, ist es nicht sinnvoll, diese Daten lokal zu verschieben. Infolgedessen sehe er nur sehr wenige "grenzüberschreitende Möglichkeiten", die Daten zu verschieben.

Cutting sagte, er glaube nicht, dass es wirklich einen Mangel an Datenwissenschaftlern gibt. Stattdessen, sagte er, gibt es viele Leute, die Mathe und Business verstehen, aber sie haben einfach nicht die Werkzeuge. Sie können die Grundlagen der Tools und deren Funktionsweise in ein paar Wochen erlernen, sagte er, aber es dauert Jahre, bis Sie Ihr Unternehmen verstanden haben. Dennoch gibt es viele Leute, die das verstehen.

Dhillon äußerte auch Bedenken hinsichtlich der Gesetzgebung, welche Informationen wo gespeichert werden können. Er sagte, dass einige vertikale Märkte verlangen, dass Informationen vor Ort gespeichert werden, war aber besorgt über Dinge wie die Verpflichtung, Daten nicht aus ihrem Ursprungsland zu verschieben. Vieles davon ist eine Überreaktion auf Dinge wie die Snowden-Enthüllungen und Datenschutzverstöße.

Auf die Frage, ob er besorgt sei, dass die Snowden- und Target-Verstöße die Kunden vor Daten fürchten, sagte Cutting, er sei besorgt, dass so viele Menschen besorgt seien. Viele Menschen fürchten sich vor der Technologie, sagte er, und es sei ein Misserfolg der Branche, den Kunden den Eindruck zu vermitteln, dass ihre Daten nicht verwendet würden. "Du musst nicht gruselig sein", sagte er.

Am Ende gab es viele Diskussionen über Bewertungen, und Bibb schlug vor, dass die jüngste Intel-Investition in Cloudera eine "große Sache" sei, da sie bestätigt, was das Unternehmen tut. Er sagte, dass andere große Unternehmen wie Oracle, IBM, Microsoft und Amazon um Predictive Analytics-Unternehmen schwebten. "Der Goldrausch fängt gerade erst an."

Dhillon sagte, dass die Bewertungen widerspiegeln, was Klempnerunternehmen auf den Big-Data-Markt bringen. Er sagte, er sei froh zu sehen, dass solche "Pick-and-Shovel" -Kerle gute Bewertungen erhalten, sagte aber, er habe ein bisschen Angst, dass die Bewertungen dem Markt voraus sind.

Bibb sagte, dass er dachte, dass Big Data in den Medien überbelichtet sein könnte, aber in der "C-Suite" unterbelichtet ist (das heißt, CEOs, CFOs und andere Top-Führungskräfte). Er sagte, dass es ein "enormes wirtschaftliches Potenzial" gibt, das noch entdeckt werden muss."

Big Data: Eine herausfordernde „Billionen-Dollar-Chance“