Java framework / outil pour un problème informatique distribué simple


Nous générons des fichiers pdf avec des données concernant le solde financier mensuel de dizaines de milliers de clients. À son apogée (100.000 fichiers en fin d'année), le processus peut prendre jusqu'à 5 jours pour se terminer en répartissant la charge entre 5 serveurs. La répartition de la charge de travail est un processus manuel (par exemple. le serveur 1 génère des PDF pour les clients 1 à 20.000, le serveur 2 de 20.001 à 40.000, etc.).

Nous utilisons Java, nous aimerions donc utiliser un outil ou un framework Java d'une manière similaire à BOINC (BOINC n'est pas codé en Java), ce qui nous permettrait d'avoir:

  • un serveur distribuant automatiquement des données et du code aux travailleurs, et les gérant
  • les travailleurs (ordinateurs de bureau simples à double cœur utilisant des cycles cpu libres (ou non)) reçoivent du code envoyé par le serveur et l'exécutent en utilisant les données comme entrée, en donnant un retour d'état, et enfin en faisant quelque chose avec la sortie, par exemple. envoi de fichiers pdf générés vers le stockage réseau.

Pour l'instant, nous ne voulons pas essayer des boîtes à outils lourdes tout-puissantes telles que Globus Toolkit.

¿Connaissez-vous un framework/outils java adapté à nos besoins? L'open source serait bien, mais nous ne rejetons pas les solutions commerciales.

Author: Crowie, 2009-08-27

5 answers

Découvrez Hazelcast distribué exécuteur service. Il utilise l'API standard ExecutorService de Java.

 2
Author: Talip Ozturk, 2015-02-25 15:51:00

Un autre que vous pouvez regarder est Terracotta.

 0
Author: Eugene Ryzhikov, 2009-08-27 02:46:56

Google dit qu'il y a un port Java de BOINC ici: http://boincoid.sf.net

Il cible principalement Android :-/ mais apparemment tout sauf l'interface graphique peut fonctionner sur une machine virtuelle régulière.

 0
Author: ykaganovich, 2009-09-10 17:29:39