5
ответов
Как установить имя свойства при преобразовании столбца массива в json в искровом режиме? (без учета udf) [dубликат]
У меня есть dataframe с столбцом массива с фиксированным размером. Например: [v1, v2, v3, v4] Мне нужно преобразовать массив в json следующей структуры: {v1: {Min: v2, Max: v3, ...
вопрос задан: 23 May 2017 15:09
2
ответа
Кадр данных Spark отличает столбцы с дублированным именем
Так как я знаю в Кадре данных Spark, который для нескольких столбцов может иметь то же имя как показано в ниже снимка кадра данных: [строка (a=107831, f=SparseVector (5, {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.0}), =...
вопрос задан: 5 January 2019 19:00
2
ответа
Как удалить столбцы в pyspark кадре данных
>>> DataFrame [идентификатор: bigint, julian_date: строка, user_id: bigint]>>> b DataFrame [идентификатор: bigint, quan_created_money: десятичное число (10,0), quan_created_cnt: bigint]>>> a.join (b, a.id =...
вопрос задан: 13 April 2015 11:51
1
ответ
Spark DataFrame groupBy и вид в порядке по убыванию (pyspark)
Я использую pyspark (Python 2.7.9/Spark 1.3.1) и имею кадр данных GroupObject, который я должен отфильтровать и вид в порядке по убыванию. Попытка достигнуть его через эту часть кода...
вопрос задан: 6 January 2019 17:05
1
ответ
pyspark: выборка общих данных из фрейма данных при сравнении значений данных столбцов
У меня есть два фрейма данных pyspark. data_frame A + ---- + --- + | name1 | id1 | + ---- + --- + | | 3 | | б | 5 | | с | 7 | + ---- + --- + data_frame B + ---- + --- + | name2 | id2 | + ---- + --- + | | 13 | | ...
вопрос задан: 13 August 2018 13:48
0
ответов
Объект GroupedData не имеет атрибута 'show', когда он делает поворот в блоке данных искры
Я хочу повернуть световой блок данных, я ссылаюсь на документацию pyspark и на основе функции поворота, ключ - это .groupBy ('name'). Pivot ('name', values = None). Вот мой набор данных, В [75]: spDF.show () Out [...
вопрос задан: 13 August 2018 14:14