Caches Infinispan sur Talend ESB

Il n’existe que peu de références pour mettre en place un cache Infinispan avec un ESB camel comme Talend ESB ou RedHat Fuse.

Après quelques travaux sur cette mise en oeuvre, je vous propose mon mode d’emploi. Ceci vous permettra de répartir des caches de données entre ces runtimes ESB.

Architecture de caches dans Talend ESB

Ce partage de collections peut être utilisé pour répondre à plusieurs besoins:

  1. Manipuler efficacement de grandes collections en mémoire en les chargeant que partiellement,
  2. Partager en temps-réel des données entre plusieurs processus,
  3. Distribuer des ressources mémoires en fonction de consommateurs multiples,
  4. Offrir une solution de Haute Disponibilité à moindre coût,
  5. Permettre des accès multiples à des ressources communes sans dé-duplication.

C’est ce dernier besoin qui m’a intéressé avec le besoin de permettre des consommateurs multiples de fichiers sFTP sans duplication.

Lire la suite “Caches Infinispan sur Talend ESB”

De QuarkusIO à Kubernetes en 10 secondes

Le framework Quarkus regroupe, uniformise et simplifie le développement Java. A mes yeux, il représente l’avenir de la plateforme Java.

Cet article démontre comment Quarkus simplifie la gestion des applications dites de “nouvelles générations” en mettant à profit Docker, un packaging universel et standard, et Kubernetes, l’orchestrateur de ces applications.

Je vous montrerai comment, en quelques commandes, une application Java Quarkus peut être mise à disposition dans un cluster Kubernetes. Pour cet exemple, je construirai une des applications quickstart de Quarkus pour la déploier vers mon cluster local microk8s sous Ubuntu.

Mon Objectif est de 10 secondes pour passer du code Java à l’exécutable géré par Kubernetes !

Lire la suite “De QuarkusIO à Kubernetes en 10 secondes”

Traitement JMS par lots avec Talend ESB

La gestion des messages dans des files JMS est caractérisée par un élément important, 1 contenu pour 1 message dans 1 file. Cela permet aux consommateurs de choisir avec finesse les contenus manipulés. Cela offre aussi des solutions de routage, de transformation, et de rejeux simples pour chaque message. Ceci de façon maîtrisée et transactionnelle. En résumé, dans les architectures orientées messages, l’adhérence faible entre consommateur et producteur de contenu est un point fort indéniable.

L’inconvénient est que les traitements unitaires sont coûteux en ressources. Lors de fortes quantités de messages, il est toutefois préférable de lotir ces traitements. Cette technique est d’ailleurs empruntée aux ETL.

Une de mes dernières réalisations a été de réaliser, sur la plateforme Talend ESB, des envois par lots à elasticsearch. Les clients JMS classiques étaient bien trop lents et très consommateurs de CPU. Plusieurs serveurs étaient nécessaires à ces envois. Ce client JMS par lots a définitivement supprimé cette forte contention et réduit nos charges CPU.

Lire la suite “Traitement JMS par lots avec Talend ESB”