Netezza

Veel traditionele data warehouse databases hebben te kampen met een slechte performance en hoge kosten voor beheer en onderhoud. De Netezza Performance Server (NPS) is een kant en klaar database platform (een data warehouse appliance) met een ongekende performance en een zeer lage beheersinspanning. De NPS wordt toegepast voor data warehouse omgevingen, maar bijvoorbeeld ook voor database marketing toepassingen. Selecties en analyses op grote hoeveelheden gegevens worden gemiddeld 10 tot 100 keer sneller uitgevoerd dan bij traditionele oplossingen. De kosten van de NPS liggen daarbij ver onder de kosten van een traditionele oplossing van vergelijkbaar kaliber.

De NPS is interessant voor data warehouses vanaf ongeveer 50 miljoen rijen of bij kleinere data warehouses die veel gelijktijdige gebruikers of complexe analyses moeten ondersteunen. Daarnaast hebben marketing omgevingen veel profijt van deze oplossing, omdat met het maken en verifiëren van selecties veel tijd kan worden bespaard.

Inergy is System Integrator and Reseller partner van de producten van Netezza.

Als u interesse heeft voor de Netezza Performance Server, kan Inergy een Proof of Performance voor u uitvoeren, op basis van uw eigen data (warehouse). Zien is geloven!

Klik hier voor een grotere versie.

De Netezza Performance Server (NPS) bestaat uit hardware en software. Het besturingssysteem is Linux, het database management systeem (RDBMS) is gebaseerd op de open source database PostgreSQL. De hardware bestaat uit de host, waarop het RDBMS draait en een (groot) aantal Snippet Processing Units (SPU). Deze SPU's zijn componenten met een hard disk, geheugen een CPU en een FPGA (Coprocessor). Ze zorgen voor redundante opslag van een deel van de data en daarnaast voor het uitvoeren van queries op de eigen data. Bij het verwerken van data is de SPU zeer efficiënt. Iedere SPU heeft namelijk de beschikking over een FPGA, die zorgt voor het hardwarematig selecteren en filteren van rijen en kolommen met een snelheid die 200 keer hoger ligt dan bij een gewone CPU.

De fenomenale query performance van Netezza is dus te verklaren doordat enerzijds alleen de benodigde data van schijf wordt gehaald en dat anderzijds queries volledig parallel worden uitgevoerd op de SPU’s (Netezza noemt dit Assymetrical Massive Parallel Processing). Bovendien versterken beide voordelen elkaar: wat moet gebeuren vindt efficiënt plaats, en wat efficiënt plaatsvindt, wordt ook nog eens sterk verdeeld uitgevoerd.

Bovendien biedt de NPS nog andere functionaliteiten om de performance verder te verhogen:

Zonemaps. Dit is een technologie die automatisch de natuurlijke volgorde van data detecteert en daardoor weet waar de gegevens op de schijf staan. Bijvoorbeeld zullen orders die dagelijks worden bijgeladen in het data warehouse op volgorde van orderdatum te vinden zijn op schijf.
De SPU's kunnen onderling gegevens uitwisselen. Bijvoorbeeld een kleine jointabel wordt dynamisch in zijn geheel over het interne gigabit ethernet netwerk naar alle SPU's verstuurd.
De prioriteiten van queries kunnen worden bepaald op basis van verschillende criteria. Een query van een seconde kan op basis van het criterium doorlooptijd voorrang krijgen op een query die 5 seconden duurt. Ook kan voor bepaalde groepen gebruikers een hogere prioriteit worden ingesteld.

Beheer en beschikbaarheid
Een NPS is een systeem met minimale beheerslast. Bij een traditioneel RDBMS gaat veel tijd zitten in het tunen van de database. Die tijd gaat zitten in aspecten als partitionering van gegevens, het indelen van tablespaces, query analyse ten behoeve van het aanmaken indexen en het toepassen van aggregaten en/of materialized views. Al deze zaken hoeven op een NPS niet plaats te vinden. Sterker nog, Netezza kent geen indexen, tablespaces en dergelijke. Een beheerder hoeft er dus geen tijd aan te besteden.
De beschikbaarheid van een NPS is zeer hoog. Dat komt omdat alle onderdelen (voedingen, netwerk interfaces, disks etc.) redundant zijn uitgevoerd.

Performance cijfers
De NPS is vanuit technologisch oogpunt buitengewoon interessant, maar de belangrijkste vraag is vanzelfsprekend: hoe snel is de Netezza Performance Server? Om dit te bepalen hebben we een performancetest uitgevoerd op een NPS met 26 SPU's. De testcase zag er als volgt uit:

Een sterschema met een feitentabel met 400 miljoen rijen en 10 dimensietabellen waarvan de grootste dimensietabel 1,4 miljoen rijen bevat
Zes verschillende queries (traditionele data warehouse queries: select..from..where..group by)
Per query zijn gemiddeld 6 dimensietabellen gekoppeld aan de feitentabel
Er is geen specifieke tuning uitgevoerd, de database en tabellen zijn aangemaakt en gevuld. Er zijn dus geen indexen aangemaakt (dit is überhaupt niet mogelijk).

Het resultaat: Alle queries leverden binnen 1,2 tot 2,5 seconden het resultaat op. Dit maakt duidelijk dat de performance van NPS fenomenaal is. Indien deze performance niet volstaat kan NPS uitgebreid worden door het aantal SPU’s te vergroten. De performance van NPS is lineair schaalbaar, een verdubbeling van het aantal SPU’s leidt tot een halvering van de doorlooptijd van een query.
De laadsnelheid van gegevens naar de database is ook hoog. Ter indicatie, op het de NPS met 26 SPU’s is een laadtest uitgevoerd waarbij een tabel van 2 miljoen records allereerst is gekoppeld aan een tabel van 20 miljoen records en vervolgens 20 miljoen records (ruim 2 Gigabyte aan data) zijn geladen naar de database. Dit proces duurde 100 seconden.

Op dit moment zijn er meerdere modellen van Netezza beschikbaar. Het kleinste model (5200) beschikt over 28 SPU's en is verrijdbaar. Het eerstvolgende model is een half gevuld rack model met 56 SPU's. De modellen range loopt op tot een model met 896 SPU's en een capaciteit van 100 Terabyte.