Apache Spark mapPartitionsWithIndex

Question

Apache Spark mapPartitionsWithIndex

Quelqu'un peut-il donner un exemple d'utilisation correcte de mapPartitionsWithIndex en Java? J'ai trouvé beaucoup d'exemples Scala, mais il manque de Java. Est-ce que ma compréhension est correcte que des partitions séparées seront gérées par des nœuds séparés lors de l'utilisation de cette fonction.

Je reçois l'erreur suivante

method mapPartitionsWithIndex in class JavaRDD<T> cannot be applied to given types;
    JavaRDD<String> rdd = sc.textFile(filename).mapPartitionsWithIndex
    required: Function2<Integer,Iterator<String>,Iterator<R>>,boolean
    found: <anonymous Function2<Integer,Iterator<String>,Iterator<JavaRDD<String>>>>

En faisant

JavaRDD<String> rdd = sc.textFile(filename).mapPartitionsWithIndex(
    new Function2<Integer, Iterator<String>, Iterator<JavaRDD<String>> >() {

    @Override
    public Iterator<JavaRDD<String>> call(Integer ind, String s) {

4

French java apache-spark mapreduce

Author: YuliaSh., 2014-10-20

Source

1 answers

score 7 · Accepted Answer

Voici le code que j'utilise pour enlever la première ligne d'un fichier csv:

JavaRDD<String> rawInputRdd = sparkContext.textFile(dataFile);

Function2 removeHeader= new Function2<Integer, Iterator<String>, Iterator<String>>(){
    @Override
    public Iterator<String> call(Integer ind, Iterator<String> iterator) throws Exception {
        if(ind==0 && iterator.hasNext()){
            iterator.next();
            return iterator;
        }else
            return iterator;
    }
};
JavaRDD<String> inputRdd = rawInputRdd.mapPartitionsWithIndex(removeHeader, false);