Я видел:
И еще несколько об установке сбережения
. Я бы действительно предпочел не собирать thirft
, а затем parquet-mr
из исходников. Все, что мне нужно, это инструменты для паркета
.
Я в:
$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 18.04.5 LTS
Release: 18.04
Codename: bionic
$
Попробуйте собрать из исходников, как описано здесь и здесь . Я получаю много разных ошибок.
Сборка из master
или сборка из некоторых тегов выпуска, например 1.11.x
. Получены различные ошибки, например
org.apache.maven.lifecycle.LifecycleExecutionException: не удалось выполнить цель org.apache.maven.plugins: maven-remote-resources-plugin: 1.5: process (по умолчанию) в генераторе паркетов проекта: Ошибка рендеринга ресурса скорости.
в org.apache.maven.lifecycle.internal.MojoExecutor.execute (MojoExecutor.java:215)
...
Вызвано: org.apache.maven.plugin.MojoExecutionException: Ошибка рендеринга ресурса скорости.
в org.apache.maven.plugin.resources.remote.ProcessRemoteResourcesMojo.processResourceBundles (ProcessRemoteResourcesMojo.java:1246)
...
Вызвано: java.lang.NullPointerException
в java.util.Objects.requireNonNull (Objects.java:203)
...
Установите thrift с помощью sudo apt-get install thrift-compiler
(который устанавливает 0.9.x
, что дает ошибки компиляции при сборке parquet-mr
)
[DEBUG] (f) arguments = [-c, экономичная -версия | fgrep 'Экономичная версия 0.12.0' && exit 0;
echo "================================================ ================================= ";
echo "========== [FATAL] Build настроен на использование Thrift версии 0.12.0 ==========";
echo -n "========== Установлено:";
бережливость-версия;
echo "================================================ ================================= ";
выход 1]
Попробуйте собрать thrift
из исходного кода , я получаю несколько ошибок:
проверяем, выполняем ли мы кросс-компиляцию ... configure: error: in `/ home / kash / vm_share / thrift -0.13.0 ':
configure: error: невозможно запускать программы, скомпилированные на C.
Пытался найти 0,12 / 13,0
предварительно собранных сбережений
, но не нашел. Похоже, для бионики есть только 0.9.0
Пожалуйста! Я просто хочу увидеть мета-файл parquet в командной строке.
Итак, мне наконец удалось скомпилировать из исходников.
trift
с --host=x86_64
. apache-parquet-1.11.11
в репозитории parquet-mr вместо master
. parquet-mr/pom.xml
и добавьте центральное репо maven (codehaus
мертв): + <repository>
+ <id>mvnrepository</id>
+ <url>https://repo1.maven.org/maven2/</url>
+ </repository>
...
- <thrift.version>0.12.0</thrift.version>
+ <thrift.version>0.13.0</thrift.version>
# install dependencies as described here: https://thrift.apache.org/docs/install/debian.html
# install thrift from source
wget -nv http://archive.apache.org/dist/thrift/0.13.0/thrift-0.13.0.tar.gz
tar xzf thrift-0.13.0.tar.gz
cd thrift-0.13.0
chmod +x ./configure
./configure --host=x86_64 --disable-libs
sudo make install
# build parquet-tools from source
git clone https://github.com/Parquet/parquet-mr.git
cd parquet-mr
git checkout apache-parquet-1.11.11
# build only parquet-tools and it's dependencies
# had to skip tests because one failed
mvn package -pl parquet-tools -am -Plocal -Dmaven.test.skip=true
# Use
java -jar parquet-tools/target/parquet-tools-*.jar --help
# Or if you're lazy like me:
alias parquet-tools="java -jar $(realpath ./parquet-tools/target/parquet-tools-*.jar)"
parquet-tools -h