30
avril
2009
Bench Sun sur Talend : 1 million de ligne par seconde pour trier 7,4 GB de données (60 millions de ligne)
avril
2009
Un article de co2
Sun vient de publier un bench sur nos nouveaux composants permettant de faire de la parallélisation. Ils ont testé sur 2 machines : des bi-cpu quad core.
Les fichiers de données sont générés à l’aide du DBGEN v2.8.0 (le générateur de données utilisés dans de nombreux benchs comme le TPC-H ) et varient de 6 Million de ligne (740 MB ) à 3,3 milliards de ligne (415 GB ).
Différentes opérations ont été effectué (calculer un count, calculer une moyenne, trier les données).
Par exemple, trier 60 millions de lignes (7,4 GB ) prend 1 minute de temps (1 million de ligne par seconde).
Tous les détails et tous les résultats sont disponibles à :
http://blogs.sun.com/aja/entry/talend_s_new_data_processing
Merci Amir pour ton travail!
Commentaires récents
- dans Navigation multidimentionnelle avec JPivot/Mondrian
- dans Alimenter un cube Palo avec Talend Open Studio
- dans Participez aux Talend Awards et gagnez un iPodTouch
- dans Conférence gratuite SpagiBI 2.0 à Paris le mardi 27 janvier 2009
- dans Conférence gratuite SpagiBI 2.0 à Paris le mardi 27 janvier 2009
Archives
- décembre 2009
- août 2009
- juillet 2009
- juin 2009
- avril 2009
- mars 2009
- février 2009
- janvier 2009
- décembre 2008
- octobre 2008
- septembre 2008
- juin 2008
- mai 2008
- avril 2008
- mars 2008
- février 2008
- janvier 2008
- décembre 2007
- novembre 2007
- octobre 2007
- septembre 2007
- juin 2007
- mai 2007
- avril 2007
- mars 2007
- février 2007