Traitement JMS par lots avec Talend ESB

La gestion des messages dans des files JMS est caractérisée par un élément important, 1 contenu pour 1 message dans 1 file. Cela permet aux consommateurs de choisir avec finesse les contenus manipulés. Cela offre aussi des solutions de routage, de transformation, et de rejeux simples pour chaque message. Ceci de façon maîtrisée et transactionnelle. En résumé, dans les architectures orientées messages, l’adhérence faible entre consommateur et producteur de contenu est un point fort indéniable.

L’inconvénient est que les traitements unitaires sont coûteux en ressources. Lors de fortes quantités de messages, il est toutefois préférable de lotir ces traitements. Cette technique est d’ailleurs empruntée aux ETL.

Une de mes dernières réalisations a été de réaliser, sur la plateforme Talend ESB, des envois par lots à elasticsearch. Les clients JMS classiques étaient bien trop lents et très consommateurs de CPU. Plusieurs serveurs étaient nécessaires à ces envois. Ce client JMS par lots a définitivement supprimé cette forte contention et réduit nos charges CPU.

Lire la suite

Paramétrage de Talend SAP RFC

Le module SAP RFC de Talend est un broker intermédiaire entre SAP vers Talend ESB ou Talend ETL. Il récupère les messages IDoc produits par SAP S/4HANA, puis les dispose dans une instance ActiveMQ. Dans sa version actuelle, v7.2, il ne permet donc que les flux sortants de SAP.

Ce module est peu connu et assez mal documenté. Après quelques sueurs froides et de longues heures à chercher à le stabiliser et le optimiser, je vous partage mes réglages au sein d’un paramétrage robuste.

Lire la suite

Architecture Talend Data Enterprise Integration v5

Talend Unified Platform

L’éditeur français Talend sort régulièrement des nouveautés de son offre logicielle. Suite à une mission réalisée pour un client, je fais un petit point sur les fonctionnalités et particularités portées par l’architecture de la suite Talend. Des raccourcis peuvent être lourds de conséquence. Je vous propose donc de vous partager ma vision, et d’en discuter !

 

Talend Data Enterprise Integration est la version commerciale et d’entreprise du célèbre Talend Open Studio. L’éditeur met ici à disposition un outils de développement complet pour produire des programmes de traitements de données communément appelés Jobs. Ce produit fait partie de la famille des ETL (Extract, Transform and Load) comme DataStage d’IBM. Au sein de la suite Talend,il couvre donc la partie orientée données.

Les principales qualités de ce produit sont:

  1. la qualité de son IDE (basé sur eclipse)
  2. la facilité de déploiement des exécutables.

La version Entreprise en v5 ajoute les fonctionnalités nécessaires à :

  • la collaboration du travail en équipe
  • la gestion des déploiements
  • la supervision des traitements

Dans cet article je vais aborder l’architecture de Talend Data Enterprise Integration afin de vous donner les clés pour un bon départ … ou les raisons d’une réorganisation si vous êtes mal parti.

Lire la suite