Catégorie: feature TOS

Avant Talend Open Studio 2.4, le tMap mettait en mémoire (dans un hash) les différents lookup afin de faire la jointure entre la donnée lue (en entrée main) et les hash de façon rapide. Cela a cependant une limite : lorsque les lookup ont des données importantes (beaucoup de colonnes, des dizaines de millions de ligne) et que la mémoire disponible du serveur est petite cela ne peut pas marcher!

En 2.4, un bouton (Enable/Disable store on disk) à coté de chacun des lookup dans le tMap a été rajouté accompagné de 2 uniques paramétrages (emplacement du buffer et nombre de ligne du buffer). Il permet d'indiquer que ce lookup ne sera pas chargé complètement en mémoire mais utilisera le disque dur. Un tri des clés du lookup est effectué et un buffer sur le disque dur est utilisé afin de ne plus être limité par la mémoire serveur.

» Lire la suite!