juin
2008
Avant Talend Open Studio 2.4, le tMap mettait en mémoire (dans un hash) les différents lookup afin de faire la jointure entre la donnée lue (en entrée main) et les hash de façon rapide. Cela a cependant une limite : lorsque les lookup ont des données importantes (beaucoup de colonnes, des dizaines de millions de ligne) et que la mémoire disponible du serveur est petite cela ne peut pas marcher!
En 2.4, un bouton (Enable/Disable store on disk) à coté de chacun des lookup dans le tMap a été rajouté accompagné de 2 uniques paramétrages (emplacement du buffer et nombre de ligne du buffer). Il permet d’indiquer que ce lookup ne sera pas chargé complètement en mémoire mais utilisera le disque dur. Un tri des clés du lookup est effectué et un buffer sur le disque dur est utilisé afin de ne plus être limité par la mémoire serveur.
Ce petit bouton à demandé beaucoup de travail, vous pouvez par exemple voir plus de détails cette spécification sur le wiki de talendforge.org : http://talendforge.org/wiki/doku.php?id=specifications:hash_file
Download de TOS 2.4 à http://www.talend.com/download.php?src=CCA
Cédric
Commentaires récents
- Navigation multidimentionnelle avec JPivot/Mondrian dans
- Alimenter un cube Palo avec Talend Open Studio dans
- Participez aux Talend Awards et gagnez un iPodTouch dans
- Conférence gratuite SpagiBI 2.0 à Paris le mardi 27 janvier 2009 dans
- Conférence gratuite SpagiBI 2.0 à Paris le mardi 27 janvier 2009 dans
Archives
- décembre 2009
- août 2009
- juillet 2009
- juin 2009
- avril 2009
- mars 2009
- février 2009
- janvier 2009
- décembre 2008
- octobre 2008
- septembre 2008
- juin 2008
- mai 2008
- avril 2008
- mars 2008
- février 2008
- janvier 2008
- décembre 2007
- novembre 2007
- octobre 2007
- septembre 2007
- juin 2007
- mai 2007
- avril 2007
- mars 2007
- février 2007