Quelle langue utiliser pour les programmes Hadoop Map / Reduce? Java ou PHP?
J'ai récemment écrit quelques programmes map/reduce en java. Mais je sais aussi que le langage de script comme php peut également être utilisé. Cependant, la plupart du temps, tout le monde recommande java ou python. Je travaille actuellement en php. Je me demandais donc quelle langue était la mieux adaptée au développement de programmes map/reduce?
Un inconvénient majeur de php pour l'implémentation map/reduce est qu'il n'est pas multi-thread. De plus, hadoop dispose d'un cadre étendu de classes, d'interfaces et de méthodes spécialement conçues en java, quels programmes php ne peuvent pas bénéficier. Et aussi cela, php n'est pas conçu pour gérer une tâche de traitement de données lourde.
Alors quelqu'un peut-il me dire en gros points lequel choisir comme arme de choix pour la mise en œuvre de map/reduce?
1 answers
Shanthanu, votre première question est
Q) quel langage de script est bon pour hadoop?
A) La plupart des langages de script comme php, python, perl, ruby bash sont bons. Toute langue capable de lire à partir de stdin, d'écrire dans sdtout et d'analyser tab et de nouveaux caractères de ligne fonctionnera: Hadoop Streaming envoie simplement les représentations de chaînes de paires clé-valeur concaténées avec un onglet à un programme arbitraire qui doit être exécutable sur chaque nœud de suivi des tâches.
Sur la plupart des linux distributions utilisées pour configurer les clusters hadoop, python, bash, ruby, perl... sont déjà installés mais rien n'empêchera de déployer votre propre environnement d'exécution pour votre langage de programmation préféré ou compilé.
Q) PHP n'est pas multithread?
A) oui, mais, il existe des moyens par lesquels nous pouvons rendre PHP multi-thread. Par exemple, utilisez: pnctl_fork () (mais cela ne fonctionne pas sous Windows)
La question que vous devez toujours garder à l'esprit avant d'aller pour le les langages de script avec hadoop ne sont pas " quel langage de script?"parce que tout est ok.
Mais, la différence entre java et le langage de script, c'est "Le rythme cardiaque des nœuds enfants ne sera pas envoyé aux nœuds parents lorsque nous utilisons des langages de script".