Hier an der Uni, der Radio-Regenbogen-Campus-Report.
Einen neuen Weltrekord im Ordnen von Daten haben jetzt die
Informatiker am Karlsruher Institut für Technologie aufgestellt.
100 Terabyte in 2000 Sekunden.
Erreicht wurde dieser Rekord mit einem Rechenverbund aus 195 einzelnen
Multicore -Computern mit jeweils vier Festplatten und einem weltweit
einzigartigen Sortierverfahren, bei dem jedes Byte nur zweimal in den
Arbeitsspeicher gelesen und zweimal auf die Festplatte geschrieben
werden muss.
Die neue Königsklasse ist die Aufgabe, 100 Terabyte Daten zu
sortieren.
Der Wettbewerb ist das erste Mal passiert.
Es gab mehrere Konkurrenten.
Am nächsten dran war die Firma Yahoo.
Die haben das sogar etwas schneller hinbekommen, allerdings mit 17 Mal
so viel Hardware wie wir.
Professor Peter Sanders leitet das Institut für Theoretische
Informatik am KIT.
100 Terabyte, das entspricht der riesigen Datenmenge von 100.000
Gigabyte, die da in einer knappen Dreiviertelstunde in eine sinnvolle
Ordnung gebracht werden müssen.
Bei minimalem Hardwareaufwand wurde das nur möglich durch ein ganz
neues Sortierverfahren.
Wir haben so viele Datenmengen, dass sie nicht in den Hauptspeicher
dieses Rechners passen.
Selbst wenn ich all die 195 Rechner zusammennehme, von denen jeder 16
Gigabyte Hauptspeicher hat, wir laden den Hauptspeicher aller Rechner
gemeinsam mit so viel Daten wie möglich voll, sortieren diese Daten,
schreiben sie wieder auf die Platte heraus.
Und in einer zweiten Phase werden dann diese sortierten Teilfolgen zu
einer global sortierten Folge zusammengemischt.
Und damit werden alle Daten zweimal von der Platte gelesen, zweimal
auf die Platte geschrieben und es lässt sich auch theoretisch zeigen,
dass es besser nicht geht.
Die bisherigen Sortierverfahren sind meist durch einfaches
Ausprobieren entstanden, was unter ungünstigen Umständen zu Fehlern
führen kann.
Mit dem Karushua-Algorithmus wurden Theorie und Praxis nun erstmals
auch auf diesem Feld der Informatik in Einklang gebracht.
Das heißt, wir haben jetzt ein Verfahren, das für die einfachen
Eingaben, bei denen die Praktikerverfahren gut sind, auch nicht mehr
Arbeit braucht als die Praktikerverfahren.
Aber bei den schlechtes denkbaren Eingaben nur sehr wenig mehr Aufwand
treiben müssen.
Angesichts der gigantischen Datenmengen, mit denen wir es in Zukunft
zu tun haben, eine sehr beruhigende Botschaft.
Stefan Vox, Karushua-Institut für Technologie.