Comment commencer à apprendre hadoop [fermé]

Je suis développeur Web. J'ai de l'expérience dans les technologies Web comme JavaScript , Jquery , Php , HTML . Je connais les concepts de base de C. Récemment, je m'étais intéressé à en savoir plus sur mapreduce et hadoop. Je me suis donc inscrit au cours parallel data processing dans mapreduce de mon université. Puisque je n'ai aucune connaissance préalable de la programmation dans des langages orientés objet comme Java ou C++ , comment dois-je apprendre map reduce et hadoop. J'ai j'ai commencé à lire Yahoo hadoop tutorials et aussi Hadoop D'OReilly Le Guide définitif 2nd.Édition .

J'aimerais que vous me suggériez des moyens d'apprendre mapreduce et hadoop.

Author: FrostRogue, 2011-09-06
Source

8 answers

Vous pouvez accéder à Hadoop depuis de nombreuses langues différentes et un certain nombre de ressources configurées Hadoop pour vous. Vous pouvez essayer Elastic MapReduce (EMR) d'Amazon, par exemple, sans avoir à vous soucier de la configuration des serveurs, des travailleurs, etc. C'est un bon moyen de vous familiariser avec le traitement MapReduce tout en retardant un peu les problèmes d'apprentissage de la bonne utilisation de HDFS, de la gestion de votre planificateur, etc.

Il n'est pas difficile de rechercher votre langue préférée et de trouver Hadoop API pour cela ou au moins quelques tutoriels sur la liaison avec Hadoop. Par exemple, voici une procédure pas à pas sur une application PHP exécutée sur Hadoop: http://www.lunchpauze.com/2007/10/writing-hadoop-mapreduce-program-in-php.html

 5
Author: Iterator, 2011-09-06 01:21:24
 12
Author: Praveen Sripati, 2011-09-06 01:19:10

Réponse 1 :

  • Il est très souhaitable de connaître Java. Hadoop est écrit en Java. Son format de fichier de séquence populaire dépend de Java.
  • Même si vous utilisez Hive ou Pig, vous devrez probablement écrire votre propre UDF un jour. Certaines personnes essaient encore de les écrire dans d'autres langues, mais je suppose que Java a un support plus robuste et primaire pour eux.
  • La plupart des outils Hadoop ne sont pas assez matures (comme Sqoop, HCatalog, etc.), vous verrez donc de nombreuses piles d'erreurs Java trace et vous voudrez probablement pirater le code source un jour

Réponse 2

  • Il n'est pas nécessaire que vous connaissiez Java.
  • Comme les autres l'ont dit, ce serait très utile en fonction de la complexité de votre traitement. Cependant, il y a une quantité incroyable que vous pouvez faire avec juste Pig and say Hive.
  • Je conviens qu'il est assez probable que vous aurez éventuellement besoin d'écrire une fonction définie par l'utilisateur (UDF), cependant, je les ai écrites en Python, et il est très facile d'écrire UDFs en Python.
  • Certes, si vous avez des exigences de performance très strictes, alors un programme MapReduce basé sur Java serait la voie à suivre. Cependant, de grandes avancées dans la performance sont faites tout le temps à la fois dans Pig et Hive.
  • Donc, la réponse courte à votre question est "Non", il n'est pas nécessaire que vous connaissiez Java pour effectuer le développement Hadoop.

Source : http://www.linkedin.com/groups/Is-it-must-Hadoop-Developer-988957.S.141072851

 4
Author: Abhishek Goel, 2013-06-19 07:45:31

1) Apprendre Java. Pas moyen de contourner cela, désolé.

2) Résultat! Ce sera très facile après ça Had Hadoop est sacrément simple.

 3
Author: Ernest Friedman-Hill, 2011-09-06 00:20:41

On dirait que vous êtes sur la bonne voie. Je recommande de configurer certaines machines virtuelles sur votre ordinateur personnel pour commencer à prendre ce que vous voyez dans les livres et à les implémenter dans vos machines virtuelles. Comme pour beaucoup de choses, la seule façon de devenir meilleur dans quelque chose est de le pratiquer. Une fois que vous entrez dans je suis sûr que vous aurez suffisamment de connaissances pour démarrer un petit projet pour implémenter Hadoop avec. Voici quelques exemples de choses que les gens ont construites avec Hadoop: Propulsé par Hadoop

 2
Author: ITOps, 2011-09-06 00:20:06

Passez par letutoriel Yahoo Hadoop avant de passer parHadoop le guide définitif . Le tutoriel Yahoo vous donne une compréhension très propre et facile de l'architecture. Je pense que les concepts ne sont pas disposés correctement dans le livre. Cela rend un peu difficile de l'étudier. Afin de ne pas l'étudier ensemble. Passez d'abord par le tutoriel Web.

 2
Author: Nilsaw, 2013-11-12 18:22:54

Je viens de faire un article sur ce sujet. Grandes ressources ci-dessus, mais je pense que vous trouverez quelques pointeurs supplémentaires ici: http://images.globalknowledge.com/wwwimages/whitepaperpdf/WP_CL_Learning_Hadoop.pdf

 1
Author: rICh, 2013-01-11 16:13:13

N'hésitez pas à rejoindre mon blog sur le Big Data - https://oyermolenko.blog . Je travaille avec Hadoop depuis quelques années et dans ce blog je veux partager mon expérience dès le début. Je suis venu de l'environnement. NET et j'ai fait face à quelques défis liés au passage d'une langue à une autre. Mon blog est orienté sur les personnes qui n'ont pas travaillé avec Hadoop mais qui ont une formation technique primaire comme vous. Étape par étape je veux couvrir toute la famille des services de Big Data, décrivez les concepts et les problèmes communs que j'ai rencontrés en travaillant avec eux. J'espère que vous l'apprécierez

 1
Author: Alex, 2017-02-03 08:43:03