Weltgrößtes „Green Data Warehouse“ für strukturierte und unstrukturierte Daten basiert auf Sybase IQ

Düsseldorf, (PresseBox) - .
- Unabhängiger Benchmark im Rahmen der Sun-Referenzarchitektur
- Data Warehouse mit 1 Petabyte Transaktions-Rohdaten getestet
- Datenkompression von 85 Prozent
- Deutliche Entlastung der Umwelt: Energieverbrauch und CO2-Emissionen um 90 Prozent reduziert

Der analytische Server Sybase IQ organisiert die Datenspeicherung des größten Data Warehouses, das bisher weltweit implementiert wurde. Es ist Teil der neuen Data-Warehouse-Referenzarchitektur von Sun Microsystems für strukturierte und unstrukturierte Daten. Bei einem unabhängigen Benchmark wurde für 1 Petabyte an Rohdaten - darunter auch unstrukturierte Daten wie E-Mails, Dokumente und Multimedia-Dateien - lediglich ein Speicherplatz von 260 Terabytes benötigt; das entspricht einer Kompressionsrate von 85 Prozent. Damit wurden nicht nur Speicherkosten gesenkt, sondern auch erhebliche ökologische Verbesserungen erzielt: Durch die hohe Kompression wurde der Energieverbrauch auf ein Zehntel reduziert und dadurch die CO2-Emmission um 90 Prozent gesenkt. Gleichzeitig müssen 26 Tonnen weniger Speichergeräte am Ende ihrer Betriebszeit entsorgt werden. Der Benchmark wurde von dem unabhängigen Auditing-Unternehmen Info Sizing mit Sitz in Colorado Springs (USA) durchgeführt.

Die Data-Warehouse-Referenzarchitektur von Sun besteht aus einem Sun SPARC® Enterprise M9000 Server, der mit drei Sun StorageTek™ 6540 Arrays verbunden ist, mit dem Betriebssystem Solaris 10, dem analytischen Server Sybase IQ und BMMsoft DataFusion. Bei dem Benchmark hat Info Sizing folgende Ergebnisse gemessen:

- 1 Petabyte an Transaktions-Rohdaten (6 Billionen Börsen-Datensätze) wurden in ein vollständig indiziertes Star-Schema geladen. Damit wurde ein neuer, verifizierter Datenbestand für das größte Data Warehouse der Welt erzeugt.
- Beim Laden der Datenbank wurde eine Geschwindigkeit von 285 Milliarden Zeilen erreicht (das entspricht 3 Millionen Reihen pro Sekunde), die über drei Wochen aufrecht erhalten wurde.
- Es wurde eine Datenkompressions-Rate von 85 Prozent erzielt, indem 1 Petabyte an Rohdaten tatsächlich weniger als 260 Terabytes an Plattenplatz belegten.
- Daten, die neu in das Data Warehouse geladen wurden, waren nach weniger als 2 Sekunden verfügbar.
- Die Hälfte der Transaktionsdaten („T-Daten“) wurde durch 72 Terabytes an „EDM-Daten“ (E-Mails, Dokumente, Multimedia) ersetzt. Damit wurde ein Data Warehouse mit 572 Terabytes an „EDMT-Daten“ geschaffen.
- Beim Laden unstrukturierter Dokumente (E-Mails, Anhänge und andere) wurde eine Ladegeschwindigkeit von 26 Terabytes pro Tag gemessen. Auf diese Weise wurde die Datenbank mit 185 Millionen Dokumenten bestückt.
- Pro Stunde wurden zwei Millionen E-Mails und 6 Millionen Dokumente geladen. Während dieses Ladevorgangs wurden lediglich 7 Prozent der verfügbaren CPU-Leistung verbraucht. Damit standen die restlichen 93 Prozent der CPU Sybase IQ für Reports und Analysen zur Verfügung.
- Die Zahl der benötigten Plattenlaufwerke wurde substanziell reduziert. Damit wurden die CO2-Emmissionen während der Betriebsdauer der Data-Warehouse-Referenzarchitektur mindestens um 90 Prozent verringert.

Bei den ökologischen Verbesserungen legte Info Sizing folgende Berechnungen zugrunde:

Konventionelle Data-Warehouse-Lösungen benötigen in der Regel sogar mehr Speicherplatz als die Rohdaten (durch Indexe etc.) Dank der hohen Kompression benötigt die Sun-Referenzarchitektur mit Sybase IQ hingegen lediglich 10 Prozent des Energieverbrauchs einer konventionellen Lösung; auch müssen weniger Geräte gekühlt werden. Zudem werden Standfläche, Größe und Gewicht der Speichergeräte mindestens um 90 Prozent reduziert.
Der Energieverbrauch der getesteten Konfiguration betrug 90 KW; hochgerechnet auf ein volles Betriebsjahr sind das 780 MWh. Konventionelle Lösungen mit gleicher Datenkapazität und Performance würden das Zehnfache an Speichergeräten benötigen und mehr als 7.800 MWh pro Jahr verbrauchen. Legt man nun den generell akzeptierten „Verschmutzungsfaktor“ von 1,34 Pfund an CO2 pro Kilowattstunde zugrunde, würde die beschriebene Konfiguration während einer dreijährigen Betriebsdauer die CO2-Emission um 14.000 Tonnen verringern. Darüber hinaus wird erwartet, dass sich die Menge der Speichergeräte, die am Ende ihrer Betriebsdauer entsorgt werden müssen, um 26 Tonnen verringert.

Der Präsident von Info Sizing, Francois Raab, betonte, Sybase IQ habe in dem Benchmark bewiesen, dass es zuverlässig das Volumen von Multimedia-Dokumenten abwickeln kann, das bei der elektronischen Kommunikation von einer halben Million Händlern anfällt.

Der vollständige Report über den Benchmark, „Sun Data Warehouse Reference Architecture for Structured and Unstructured Data” (August 2007) ist verfügbar unter:
http://www.sybase.com/detail?id=1054011

Diese Pressemitteilungen könnten Sie auch interessieren

Weitere Informationen zum Thema "Hardware":

FIS-ASP baut sich OpenStack-Infrastruktur mit SAP, Suse und Thomas-Krenn AG

Ei­ne Cloud-ba­sier­te Da­ta­cen­ter-In­fra­struk­tur für den SAP-Mit­tel­stand hat die FIS-ASP ge­mein­sam mit Su­se und dem Ser­ver-Sto­ra­ge-Spe­zia­lis­ten Tho­mas-Krenn AG ge­schaf­fen. Sie ba­siert auf Open­Stack und ist auf kur­ze Be­reit­stel­lungs­zei­ten hin opti­miert.

Weiterlesen

News abonnieren

Mit dem Aboservice der PresseBox, erhalten Sie tagesaktuell und zu einer gewünschten Zeit, relevante Presseinformationen aus Themengebieten, die für Sie interessant sind. Für die Zusendung der gewünschten Pressemeldungen, geben Sie bitte Ihre E-Mail-Adresse ein.

Es ist ein Fehler aufgetreten!

Vielen Dank! Sie erhalten in Kürze eine Bestätigungsemail.


Ich möchte die kostenlose Pressemail abonnieren und habe die Bedingungen hierzu gelesen und akzeptiert.