Как установить parquet-tools на Ubuntu 18.04 LTS без сборки из источника

Я видел:

И еще несколько об установке сбережения . Я бы действительно предпочел не собирать thirft , а затем parquet-mr из исходников. Все, что мне нужно, это инструменты для паркета .

Я в:

$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 18.04.5 LTS
Release:        18.04
Codename:       bionic
$

Что я пробовал:

  • Загрузите исходный код с github и ] apache

  • Попробуйте собрать из исходников, как описано здесь и здесь . Я получаю много разных ошибок.

  • Сборка из master или сборка из некоторых тегов выпуска, например 1.11.x . Получены различные ошибки, например

     org.apache.maven.lifecycle.LifecycleExecutionException: не удалось выполнить цель org.apache.maven.plugins: maven-remote-resources-plugin: 1.5: process (по умолчанию) в генераторе паркетов проекта:  Ошибка рендеринга ресурса скорости.
      в org.apache.maven.lifecycle.internal.MojoExecutor.execute (MojoExecutor.java:215)
      ...
    Вызвано: org.apache.maven.plugin.MojoExecutionException: Ошибка рендеринга ресурса скорости.
      в org.apache.maven.plugin.resources.remote.ProcessRemoteResourcesMojo.processResourceBundles (ProcessRemoteResourcesMojo.java:1246)
      ...
    Вызвано: java.lang.NullPointerException
      в java.util.Objects.requireNonNull (Objects.java:203)
      ...
     
  • Установите thrift с помощью sudo apt-get install thrift-compiler (который устанавливает 0.9.x , что дает ошибки компиляции при сборке parquet-mr )

      [DEBUG] (f) arguments = [-c, экономичная -версия |  fgrep 'Экономичная версия 0.12.0' && exit 0;
      echo "================================================  ================================= ";
      echo "========== [FATAL] Build настроен на использование Thrift версии 0.12.0 ==========";
      echo -n "========== Установлено:";
      бережливость-версия;
      echo "================================================  ================================= ";
      выход 1]
     
  • Попробуйте собрать thrift из исходного кода , я получаю несколько ошибок:

     проверяем, выполняем ли мы кросс-компиляцию ... configure: error: in `/ home / kash / vm_share / thrift  -0.13.0 ':
    configure: error: невозможно запускать программы, скомпилированные на C.
     
  • Пытался найти 0,12 / 13,0 предварительно собранных сбережений , но не нашел. Похоже, для бионики есть только 0.9.0

Пожалуйста! Я просто хочу увидеть мета-файл parquet в командной строке.

1
задан 2 December 2020 в 17:41

1 ответ

Итак, мне наконец удалось скомпилировать из исходников.

TL;DR

  1. Скомпилируйте trift с --host=x86_64.
  2. Используйте тег apache-parquet-1.11.11 в репозитории parquet-mr вместо master.
  3. Обновите версию зависимости trift с 12 до 13 в parquet-mr/pom.xml и добавьте центральное репо maven (codehaus мертв):
+    <repository>
+      <id>mvnrepository</id>
+      <url>https://repo1.maven.org/maven2/</url>
+    </repository>
...
-    <thrift.version>0.12.0</thrift.version>
+    <thrift.version>0.13.0</thrift.version>

# install dependencies as described here: https://thrift.apache.org/docs/install/debian.html

# install thrift from source
wget -nv http://archive.apache.org/dist/thrift/0.13.0/thrift-0.13.0.tar.gz
tar xzf thrift-0.13.0.tar.gz
cd thrift-0.13.0
chmod +x ./configure
./configure --host=x86_64 --disable-libs
sudo make install

# build parquet-tools from source
git clone https://github.com/Parquet/parquet-mr.git
cd parquet-mr
git checkout apache-parquet-1.11.11

# build only parquet-tools and it's dependencies
# had to skip tests because one failed
mvn package -pl parquet-tools -am -Plocal -Dmaven.test.skip=true

# Use
java -jar parquet-tools/target/parquet-tools-*.jar --help

# Or if you're lazy like me:
alias parquet-tools="java -jar $(realpath ./parquet-tools/target/parquet-tools-*.jar)"

parquet-tools -h

0
ответ дан 2 December 2020 в 16:09

Другие вопросы по тегам:

Похожие вопросы: