java est-il nécessaire pour hadoop?

Quelle est l'utilisation exacte de hadoop?

La bibliothèque logicielle Apache Hadoop est un framework qui permet le stockage et le traitement distribués de grands ensembles de données sur des clusters d'ordinateurs à l'aide de modèles de programmation simples. Référez-vous à la documentation sur Apache-Hadoop

Hadoop fournit une plate-forme de stockage et d'analyse de données hautement évolutive, rentable,rapide,flexible et résiliente.

Est-il nécessaire de connaître java pour apprendre Hadoop?

Non requis. Mais vous cherchez à l'optimisation de votre carte Réduire les emplois, java offre cette flexibilité.

Alternatives si vous n'êtes pas intéressé par java

PIG : Un langage de flux de données de haut niveau et un cadre d'exécution pour le calcul parallèle. Il est recommandé pour les personnes, qui sont des experts dans les langages de script comme Python.

HIVE : Une infrastructure d'entrepôt de données qui fournit des données résumé et interrogation ad hoc. Il est recommandé pour les personnes qui sont des experts en programmation SQL car la syntaxe est similaire à SQL

PIG et HIVE cache la complexité des tâches de réduction de carte pour les développeurs. Ils fournissent un niveau d'abstraction plus élevé pour fournir une solution aux problèmes commerciaux.

PIG et HIVE, les deux traduisent les scripts/requêtes en une série de tâches de réduction de CARTE. Sur le plan des performances, ils ne sont pas efficaces par rapport aux tâches MAP reduce traditionnelles implémentées en java.

Reportez-vous à cet article pour Alternatives Java

Sur le front de l'emploi, cela dépend de votre expertise et de votre choix d'éco-système dans le cadre Hadoop. Il est difficile de répondre.

Avant Hadoop, nous n'avons pas le meilleur framework/plate-forme, qui peut fournir les mêmes avantages que Hadoop avec BigData. Pour implémenter le type de programme Word count, vous devez écrire des scripts, exécuter et consolider les résultats à partir de datanodes.

, Vous pouvez voir la comparaison entre GFS et HDFS à GFS Vs HDFS. Obtenez un bon aperçu de HDFS à Conception HDFS

Hadoop est un framework de calcul distribué. Il est un , De facto, standard pour Gestion des Données (Stockage Distribué + Traitement Distribué). Hadoop est donc une technologie pour tous ceux qui interviennent dans le Cycle de Vie de la Gestion des Données(Capture, Stockage, Traitement et Reporting). Hadoop est utilisé par les rôles suivants:

• Admin
• Développeur
• Analyste de données
• Données Scientifique
• Analyste d'affaires
• Fonctionnel Consultant
• etc...

Bien que Hadoop et la plupart de son Écosystème soient écrits en Java, mais il est utilisé par toutes sortes de personnes dans l'entreprise. Nous avons donc besoin de plusieurs interfaces pour cibler tout le public et augmenter l'adaptabilité.

Le Comité de gestion de projet Hadoop a lancé plusieurs projets pour soutenir les programmeurs non java, les non programmeurs, les programmeurs SQL, etc...

Voici des utilitaires et des projets pour soutenir toutes les variétés de Public:

Hadoop Streaming: C'est un utilitaire offert par Hadoop pour permettre aux programmeurs non Java d'écrire des programmes MapReduce en utilisant d'autres langages comme Perl, PHP, Python, Shell, R, C, C++, Scala, Groovy, Ruby etc..

Hadoop Streaming = Hadoop + Console (STDOUT/STDIN) + Programmes externes.

Hadoop streaming est un peu lent par rapport à MapReduce Java natif, mais est utile pour intégrer le code hérité qui est écrit en non java et il est également bon pour l'intégration Kits d'outils de science des données comme R et Python avec Hadoop.

Plusieurs projets sont développés sur la base du streaming Hadoop:

• RHadoop: R et Hadoop
• Dumbo: Python + Hadoop
• mrjob: Python + Hadoop

Hadoop Pipes: C'est un utilitaire offert par Hadoop pour permettre aux programmeurs non Java d'écrire des programmes MapReduce en utilisant C++.

Pydoop: C'est un module Python pour écrire des programmes MapReduce en utilisant Python. Il utilise en interne des tuyaux Hadoop. C'est donc un wrapper Python sur les tuyaux Hadoop.

Pig: Il propose un langage de type script appelé Pig Latin pour analyser vos données en effectuant une série de transformations et d'agrégations. Pig Latin est facile à apprendre et c'est un langage de flux de données. C'est un bon outil pour les personnes qui n'ont pas de formation en programmation.

Hive / Impala/Drill/Tajo/Presto / MRQL: Tous ces moteurs SQL sont distribués sur Hadoop. Ceux-ci offrent un SQL comme Langage de requête pour exécuter des requêtes ad hoc, résumé des données. C'est un bon choix pour les programmeurs SQL, les analystes de base de données, les programmeurs d'entrepôt de données.

Tous les projets et utilitaires ci-dessus permettent aux programmeurs non java d'écrire leur analyse de données en utilisant leur choix de langage. Hadoop avec Java a un grand avantage et un contrôle total sur les données en termes de paires Clé-valeur.

La conclusion ici est que nous pouvons faire une analyse de données avec Hadoop sans programmation Java.

Java est-il nécessaire pour Hadoop?

Hadoop est construit en Java mais pour travailler sur Hadoop, vous n'aviez pas besoin de Java. Il est préférable si vous connaissez Java, alors vous pouvez coder sur mapreduce. Si vous n'êtes pas familier avec Java. Vous pouvez concentrer vos compétences sur Pig et Hive pour effectuer la même fonctionnalité. Ce sont des outils similaires comme SQL avec une manière différente d'écrire la syntaxe. Si vous codez en arrière-plan comme python, C++, etc. Vous pouvez y convertir des codes en Java en utilisant des bibliothèques comme Jython pour Python.

Combien de Java est nécessaire pour Hadoop?

Si vous voulez apprendre Java uniquement pour Hadoop, voici la liste des sujets que vous devez apprendre: 1. Base de base de Java - Variables, Classes, Fonctions, Héritage, Package, Gestion des Erreurs, Contrôles de Flux, Tableaux, API. - Une fonction de chaîne utile / / Utile pour le filtre de données - Collections et Générique-ArrayList, Hashtable,etc.

Pour obtenir plus de détails sur les sujets que vous devez apprendre en Java, consultez cet article: https://www.dezyre.com/article/-how-much-java-is-required-to-learn-hadoop/103

Pour connaître les GFS et HDFS, consultez cet article: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.454.4159&rep=rep1&type=pdf