Article complet: Bench Sun sur Talend : 1 million de ligne par seconde pour trier 7,4 GB de données (60 millions de ligne)

Sun vient de publier un bench sur nos nouveaux composants permettant de faire de la parallélisation. Ils ont testé sur 2 machines : des bi-cpu quad core.
Les fichiers de données sont générés à l'aide du DBGEN v2.8.0 (le générateur de données utilisés dans de nombreux benchs comme le TPC-H ) et varient de 6 Million de ligne (740 MB ) à 3,3 milliards de ligne (415 GB ).

Différentes opérations ont été effectué (calculer un count, calculer une moyenne, trier les données).

Par exemple, trier 60 millions de lignes (7,4 GB ) prend 1 minute de temps (1 million de ligne par seconde).

Tous les détails et tous les résultats sont disponibles à :
http://blogs.sun.com/aja/entry/talend_s_new_data_processing
Merci Amir pour ton travail!