Spark DataFrame groupBy и вид в порядке по убыванию (pyspark)
Я использую pyspark (Python 2.7.9/Spark 1.3.1) и имею кадр данных GroupObject, который я должен отфильтровать и вид в порядке по убыванию. Попытка достигнуть его через эту часть кода.
group_by_dataframe.count().filter("`count` >= 10").sort('count', ascending=False)
Но это бросает следующую ошибку.
sort() got an unexpected keyword argument 'ascending'
60
задан Community
6 January 2019 в 17:05
поделиться
1 ответ
можно использовать groupBy и orderBy следующим образом также
dataFrameWay = df.groupBy("firstName").count().withColumnRenamed("count","distinct_name").sort(desc("count"))
0
ответ дан Narendra Maru
1 November 2019 в 09:38
поделиться