Ошибка при копировании файла в HDFS в экосистеме adoop

Question 1

Поэтому я хочу отключить быструю загрузку и спящий режим от Ubuntu без перезагрузки. Есть ли способ сделать это?

No.

Но я сомневаюсь, что ваша проблема связана с быстрой загрузкой и спящим режимом. Я бы поверила, что это аппаратное обеспечение, которое перестает работать, даже если вы можете изменить его из Ubuntu, тогда вы все равно можете оказаться в системе без загрузки.

Итак, начните делать резервную копию, если у вас ее нет до перезагрузки. Ваша первая забота должна быть вашими собственными данными.

Question 2

Краткое описание:

Кажется, что вы пытаетесь скопировать файлы в несуществующей папке HDFS

Краткое описание: [ ! d1]

Существует огромная разница между файловой системой HDFS и обычной файловой системой.

файловая система HDFS - распределенная файловая система Hadoop (HDFS) предназначена для (! d7)
Файловая система распределяется между несколькими машинами и может быть доступна только командами HDFS (или эквивалентными).

Предполагая, что вы использовали /user/Amit/hadoop-3.0.0/hadoop2_data/hdfs/datanode в качестве целевой папки HDFS - я подозреваю, что папка не существует.

Вы можете проверить мое предположение при запуске следующих команд:
Скопировать файл в [ f12]
hadoop fs -put <LocalFileSystem_Path> /tmp
Скопировать файл в папку HDFS по умолчанию (.)
hadoop fs -put <LocalFileSystem_Path> .

После этого вы можете выполнить команду ls (список файлов) - посмотреть, есть ли файлы :
Скопировать файл в папку HDFS /tmp
hadoop fs -put <LocalFileSystem_Path> /tmp

Скопировать файл в папку HDFS /tmp

hadoop dfs -ls .
[!d18 ]
Список файлов в папке HDFS по умолчанию (.)

Подробнее о - файловой системе HDFS можно найти здесь :

Обновление:

hadoop dfs -ls /user/Amit

Чтобы проверить, существует ли папка HDFS /user/Amit, вы можете выполнить следующую команду:

hadoop fs -put <LocalFileSystem_Path> /user/Amit
[d30 ] Если папка существует, вы можете копировать файлы там, используя:

hadoop dfs -ls /

Если папка не существует, вам нужно будет исследовать файловую систему HDFS, используя, например: 31]
Затем выполняется ls в подкаталогах.

hdfs dfs -mkdir /user/Amit/newsubfolder

Если у вас есть соответствующие разрешения, вы сможете создавать подпапки, например если папка /user/Amit существует, вы можете выполнить:

hdfs dfs -mkdir /tmp/Amit/fold1/fold2 hdfs dfs -mkdir /user/Amit/fold1/fold2

Question 3

Question 4

Краткое описание:

Кажется, что вы пытаетесь скопировать файлы в несуществующей папке HDFS

Краткое описание: [ ! d1]

Существует огромная разница между файловой системой HDFS и обычной файловой системой.

файловая система HDFS - распределенная файловая система Hadoop (HDFS) предназначена для (! d7)
Файловая система распределяется между несколькими машинами и может быть доступна только командами HDFS (или эквивалентными).

Предполагая, что вы использовали /user/Amit/hadoop-3.0.0/hadoop2_data/hdfs/datanode в качестве целевой папки HDFS - я подозреваю, что папка не существует.

Вы можете проверить мое предположение при запуске следующих команд:
Скопировать файл в HDFS /tmp hadoop fs -put <LocalFileSystem_Path> /tmp Скопировать файл в папку HDFS по умолчанию (.) hadoop fs -put <LocalFileSystem_Path> .
После этого вы можете выполнить команду ls (список файлов) - посмотреть, есть ли файлы :
Скопировать файл в папку HDFS /tmp hadoop fs -put <LocalFileSystem_Path> /tmp
Скопировать файл в папку HDFS /tmp
hadoop dfs -ls .
Список файлов в папке HDFS по умолчанию (.)

Подробнее о - файловой системе HDFS можно найти здесь :

Обновление:
hadoop dfs -ls /user/Amit
Чтобы проверить, существует ли папка HDFS /user/Amit, вы можете выполнить следующую команду:
hadoop fs -put <LocalFileSystem_Path> /user/Amit
Если папка существует, вы можете копировать файлы там, используя:
hadoop dfs -ls /
Если папка не существует, вам нужно будет исследовать файловую систему HDFS, используя, например:

Затем выполняется ls в подкаталогах.
hdfs dfs -mkdir /user/Amit/newsubfolder
Если у вас есть соответствующие разрешения, вы сможете создавать подпапки, например если папка /user/Amit существует, вы можете выполнить:
hdfs dfs -mkdir /tmp/Amit/fold1/fold2 hdfs dfs -mkdir /user/Amit/fold1/fold2

Question 5

Краткое описание:

Кажется, что вы пытаетесь скопировать файлы в несуществующей папке HDFS

Краткое описание: [ ! d1]

Существует огромная разница между файловой системой HDFS и обычной файловой системой.

файловая система HDFS - распределенная файловая система Hadoop (HDFS) предназначена для (! d7)
Файловая система распределяется между несколькими машинами и может быть доступна только командами HDFS (или эквивалентными).

Предполагая, что вы использовали /user/Amit/hadoop-3.0.0/hadoop2_data/hdfs/datanode в качестве целевой папки HDFS - я подозреваю, что папка не существует.

Вы можете проверить мое предположение при запуске следующих команд:
Скопировать файл в HDFS /tmp hadoop fs -put <LocalFileSystem_Path> /tmp Скопировать файл в папку HDFS по умолчанию (.) hadoop fs -put <LocalFileSystem_Path> .
После этого вы можете выполнить команду ls (список файлов) - посмотреть, есть ли файлы :
Скопировать файл в папку HDFS /tmp hadoop fs -put <LocalFileSystem_Path> /tmp
Скопировать файл в папку HDFS /tmp
hadoop dfs -ls .
Список файлов в папке HDFS по умолчанию (.)

Подробнее о - файловой системе HDFS можно найти здесь :

Обновление:
hadoop dfs -ls /user/Amit
Чтобы проверить, существует ли папка HDFS /user/Amit, вы можете выполнить следующую команду:
hadoop fs -put <LocalFileSystem_Path> /user/Amit
Если папка существует, вы можете копировать файлы там, используя:
hadoop dfs -ls /
Если папка не существует, вам нужно будет исследовать файловую систему HDFS, используя, например:

Затем выполняется ls в подкаталогах.
hdfs dfs -mkdir /user/Amit/newsubfolder
Если у вас есть соответствующие разрешения, вы сможете создавать подпапки, например если папка /user/Amit существует, вы можете выполнить:
hdfs dfs -mkdir /tmp/Amit/fold1/fold2 hdfs dfs -mkdir /user/Amit/fold1/fold2

Yaron · Accepted Answer · 22 May 2018 в 13:02

Краткое описание:

Кажется, что вы пытаетесь скопировать файлы в несуществующей папке HDFS

Краткое описание: [ ! d1]

Существует огромная разница между файловой системой HDFS и обычной файловой системой.

файловая система HDFS - распределенная файловая система Hadoop (HDFS) предназначена для (! d7)
Файловая система распределяется между несколькими машинами и может быть доступна только командами HDFS (или эквивалентными).

Предполагая, что вы использовали /user/Amit/hadoop-3.0.0/hadoop2_data/hdfs/datanode в качестве целевой папки HDFS - я подозреваю, что папка не существует.

Вы можете проверить мое предположение при запуске следующих команд:
Скопировать файл в [ f12]
hadoop fs -put <LocalFileSystem_Path> /tmp
Скопировать файл в папку HDFS по умолчанию (.)
hadoop fs -put <LocalFileSystem_Path> .

После этого вы можете выполнить команду ls (список файлов) - посмотреть, есть ли файлы :
Скопировать файл в папку HDFS /tmp
hadoop fs -put <LocalFileSystem_Path> /tmp

Скопировать файл в папку HDFS /tmp

hadoop dfs -ls .
[!d18 ]
Список файлов в папке HDFS по умолчанию (.)

Подробнее о - файловой системе HDFS можно найти здесь :

Обновление:

hadoop dfs -ls /user/Amit

Чтобы проверить, существует ли папка HDFS /user/Amit, вы можете выполнить следующую команду:

hadoop fs -put <LocalFileSystem_Path> /user/Amit
[d30 ] Если папка существует, вы можете копировать файлы там, используя:

hadoop dfs -ls /

Если папка не существует, вам нужно будет исследовать файловую систему HDFS, используя, например: 31]
Затем выполняется ls в подкаталогах.

hdfs dfs -mkdir /user/Amit/newsubfolder

Если у вас есть соответствующие разрешения, вы сможете создавать подпапки, например если папка /user/Amit существует, вы можете выполнить:

hdfs dfs -mkdir /tmp/Amit/fold1/fold2 hdfs dfs -mkdir /user/Amit/fold1/fold2

Помещение файла листинга в файл tmp работало успешно, но в папку по умолчанию отображается сообщение об ошибке «. Нет такого файла или каталога hdfs: // localhost: 9000 / user / Amit & quot ;. Но я дважды проверил, что местоположение «home / Amit / hadoop-3.0.0 / hadoop2_data / hdfs / namenode» существует. Я сомневаюсь, что hdfs-site.xml должен иметь файл: //home..." вместо "file: / home ....". @Yaron — Amit Singla, 19 February 2018 в 21:22
@AmitSingla - Я думаю, что проблема в том, что ваш HDFS не содержит папки, которые вы ожидаете там. - см. ответ обновления — Yaron, 20 February 2018 в 11:03

Yaron · Accepted Answer · 17 July 2018 в 20:34

Краткое описание:

Кажется, что вы пытаетесь скопировать файлы в несуществующей папке HDFS

Краткое описание: [ ! d1]

Существует огромная разница между файловой системой HDFS и обычной файловой системой.

файловая система HDFS - распределенная файловая система Hadoop (HDFS) предназначена для (! d7)
Файловая система распределяется между несколькими машинами и может быть доступна только командами HDFS (или эквивалентными).

Предполагая, что вы использовали /user/Amit/hadoop-3.0.0/hadoop2_data/hdfs/datanode в качестве целевой папки HDFS - я подозреваю, что папка не существует.

Вы можете проверить мое предположение при запуске следующих команд:
Скопировать файл в HDFS /tmp hadoop fs -put <LocalFileSystem_Path> /tmp Скопировать файл в папку HDFS по умолчанию (.) hadoop fs -put <LocalFileSystem_Path> .
После этого вы можете выполнить команду ls (список файлов) - посмотреть, есть ли файлы :
Скопировать файл в папку HDFS /tmp hadoop fs -put <LocalFileSystem_Path> /tmp
Скопировать файл в папку HDFS /tmp
hadoop dfs -ls .
Список файлов в папке HDFS по умолчанию (.)

Подробнее о - файловой системе HDFS можно найти здесь :

Обновление:
hadoop dfs -ls /user/Amit
Чтобы проверить, существует ли папка HDFS /user/Amit, вы можете выполнить следующую команду:
hadoop fs -put <LocalFileSystem_Path> /user/Amit
Если папка существует, вы можете копировать файлы там, используя:
hadoop dfs -ls /
Если папка не существует, вам нужно будет исследовать файловую систему HDFS, используя, например:

Затем выполняется ls в подкаталогах.
hdfs dfs -mkdir /user/Amit/newsubfolder
Если у вас есть соответствующие разрешения, вы сможете создавать подпапки, например если папка /user/Amit существует, вы можете выполнить:
hdfs dfs -mkdir /tmp/Amit/fold1/fold2 hdfs dfs -mkdir /user/Amit/fold1/fold2

Yaron · Accepted Answer · 23 July 2018 в 21:12

Краткое описание:

Кажется, что вы пытаетесь скопировать файлы в несуществующей папке HDFS

Краткое описание: [ ! d1]

Существует огромная разница между файловой системой HDFS и обычной файловой системой.

файловая система HDFS - распределенная файловая система Hadoop (HDFS) предназначена для (! d7)
Файловая система распределяется между несколькими машинами и может быть доступна только командами HDFS (или эквивалентными).

Предполагая, что вы использовали /user/Amit/hadoop-3.0.0/hadoop2_data/hdfs/datanode в качестве целевой папки HDFS - я подозреваю, что папка не существует.

Вы можете проверить мое предположение при запуске следующих команд:
Скопировать файл в HDFS /tmp hadoop fs -put <LocalFileSystem_Path> /tmp Скопировать файл в папку HDFS по умолчанию (.) hadoop fs -put <LocalFileSystem_Path> .
После этого вы можете выполнить команду ls (список файлов) - посмотреть, есть ли файлы :
Скопировать файл в папку HDFS /tmp hadoop fs -put <LocalFileSystem_Path> /tmp
Скопировать файл в папку HDFS /tmp
hadoop dfs -ls .
Список файлов в папке HDFS по умолчанию (.)

Подробнее о - файловой системе HDFS можно найти здесь :

Обновление:
hadoop dfs -ls /user/Amit
Чтобы проверить, существует ли папка HDFS /user/Amit, вы можете выполнить следующую команду:
hadoop fs -put <LocalFileSystem_Path> /user/Amit
Если папка существует, вы можете копировать файлы там, используя:
hadoop dfs -ls /
Если папка не существует, вам нужно будет исследовать файловую систему HDFS, используя, например:

Затем выполняется ls в подкаталогах.
hdfs dfs -mkdir /user/Amit/newsubfolder
Если у вас есть соответствующие разрешения, вы сможете создавать подпапки, например если папка /user/Amit существует, вы можете выполнить:
hdfs dfs -mkdir /tmp/Amit/fold1/fold2 hdfs dfs -mkdir /user/Amit/fold1/fold2

Ошибка при копировании файла в HDFS в экосистеме adoop

3 ответа

Другие вопросы по тегам:

Похожие вопросы: