Вопросы Теги

Используйте `less` для просмотра файлов BIG (multi-gigabyte) CSV [закрыто]

У меня есть большой (многогигабайтный) CSV-файл, который я просматриваю с помощью тонкого компьютера.

Я хотел бы просмотреть файл с помощью less или какой-либо команды, Мне нужно прочитать весь файл сразу, чтобы показать мне его часть.

Есть ли там команда, которая может показать мне мой файл в столбцах с разделителями-запятыми?

3
задан 17 August 2011 в 01:28

10 ответов

Вопрос о форматировании столбцов csv на другом сайте StackOverflow - это работает для вашего очень большого файла?

cat somefile.csv | column -s, -t | less -#2 -N -S
1
ответ дан 25 July 2018 в 21:27
  • 1
    Это не будет работать. Потому что кошка попытается распечатать весь файл, что может быть гигабайтным значением данных. Может быть, там есть буфер где-то в трубах, который предотвращает эту ситуацию, но я не уверен, и полный ответ с использованием cat должен был бы решить эту проблему. Если бы был такой буфер, я бы начал задаваться вопросом, были ли данные затем кэшированы с помощью less. – Richard 17 August 2011 в 01:21
  • 2
    ok - добавьте этот комментарий к своему вопросу - это даст лучшее понимание того, что вы манипулируете big = multi gigabytes !! – fossfreedom♦ 17 August 2011 в 01:23
  • 3
    Я предположил, что большой был достаточным дескриптором! Я запомню это, спасибо. – Richard 17 August 2011 в 01:27
  • 4
    Можете ли вы использовать tail или head вместо cat, чтобы получить последние 10 или первые 10 записей, а затем передать это в column? [F5]. Я не уверен, что head или tail прочитает весь файл THEN выводит нужные строки ... – SaultDon 17 August 2011 в 01:39

Я просто попробовал vim с текстовым файлом 514M. Он имеет 8032416 строк и после того, как он загрузился в течение примерно 30 секунд, я мог бы работать с файлом очень плавно.

Это заняло 30% моей 2-ГБ оперативной памяти, а vim создал файл подкачки 2.2M. Звучит разумно.

tail дал мне мгновенные результаты по этому файлу, он, вероятно, ищет нижнюю часть и затем поднимается до тех пор, пока не достигнет 10 строк, а затем распечатает их.

0
ответ дан 25 July 2018 в 21:27

Вопрос о форматировании столбцов csv на другом сайте StackOverflow - это работает для вашего очень большого файла?

cat somefile.csv | column -s, -t | less -#2 -N -S
1
ответ дан 2 August 2018 в 03:06
  • 1
    Это не будет работать. Потому что кошка попытается распечатать весь файл, что может быть гигабайтным значением данных. Может быть, там есть буфер где-то в трубах, который предотвращает эту ситуацию, но я не уверен, и полный ответ с использованием cat должен был бы решить эту проблему. Если бы был такой буфер, я бы начал задаваться вопросом, были ли данные затем кэшированы с помощью less. – Richard 17 August 2011 в 01:21
  • 2
    ok - добавьте этот комментарий к своему вопросу - это даст лучшее понимание того, что вы манипулируете big = multi gigabytes !! – fossfreedom♦ 17 August 2011 в 01:23
  • 3
    Я предположил, что большой был достаточным дескриптором! Я запомню это, спасибо. – Richard 17 August 2011 в 01:27
  • 4
    Можете ли вы использовать tail или head вместо cat, чтобы получить последние 10 или первые 10 записей, а затем передать это в column? [F5]. Я не уверен, что head или tail прочитает весь файл THEN выводит нужные строки ... – SaultDon 17 August 2011 в 01:39

Я просто попробовал vim с текстовым файлом 514M. Он имеет 8032416 строк и после того, как он загрузился в течение примерно 30 секунд, я мог бы работать с файлом очень плавно.

Это заняло 30% моей 2-ГБ оперативной памяти, а vim создал файл подкачки 2.2M. Звучит разумно.

tail дал мне мгновенные результаты по этому файлу, он, вероятно, ищет нижнюю часть и затем поднимается до тех пор, пока не достигнет 10 строк, а затем распечатает их.

0
ответ дан 2 August 2018 в 03:06

Вопрос о форматировании столбцов csv на другом сайте StackOverflow - это работает для вашего очень большого файла?

cat somefile.csv | column -s, -t | less -#2 -N -S
1
ответ дан 4 August 2018 в 18:56
  • 1
    Это не будет работать. Потому что кошка попытается распечатать весь файл, что может быть гигабайтным значением данных. Может быть, там есть буфер где-то в трубах, который предотвращает эту ситуацию, но я не уверен, и полный ответ с использованием cat должен был бы решить эту проблему. Если бы был такой буфер, я бы начал задаваться вопросом, были ли данные затем кэшированы с помощью less. – Richard 17 August 2011 в 01:21
  • 2
    ok - добавьте этот комментарий к своему вопросу - это даст лучшее понимание того, что вы манипулируете big = multi gigabytes !! – fossfreedom♦ 17 August 2011 в 01:23
  • 3
    Я предположил, что большой был достаточным дескриптором! Я запомню это, спасибо. – Richard 17 August 2011 в 01:27
  • 4
    Можете ли вы использовать tail или head вместо cat, чтобы получить последние 10 или первые 10 записей, а затем передать это в column? [F5]. Я не уверен, что head или tail прочитает весь файл THEN выводит нужные строки ... – SaultDon 17 August 2011 в 01:39

Я просто попробовал vim с текстовым файлом 514M. Он имеет 8032416 строк и после того, как он загрузился в течение примерно 30 секунд, я мог бы работать с файлом очень плавно.

Это заняло 30% моей 2-ГБ оперативной памяти, а vim создал файл подкачки 2.2M. Звучит разумно.

tail дал мне мгновенные результаты по этому файлу, он, вероятно, ищет нижнюю часть и затем поднимается до тех пор, пока не достигнет 10 строк, а затем распечатает их.

0
ответ дан 4 August 2018 в 18:56

Вопрос о форматировании столбцов csv на другом сайте StackOverflow - это работает для вашего очень большого файла?

cat somefile.csv | column -s, -t | less -#2 -N -S
1
ответ дан 6 August 2018 в 03:18
  • 1
    Это не будет работать. Потому что кошка попытается распечатать весь файл, что может быть гигабайтным значением данных. Может быть, там есть буфер где-то в трубах, который предотвращает эту ситуацию, но я не уверен, и полный ответ с использованием cat должен был бы решить эту проблему. Если бы был такой буфер, я бы начал задаваться вопросом, были ли данные затем кэшированы с помощью less. – Richard 17 August 2011 в 01:21
  • 2
    ok - добавьте этот комментарий к своему вопросу - это даст лучшее понимание того, что вы манипулируете big = multi gigabytes !! – fossfreedom♦ 17 August 2011 в 01:23
  • 3
    Я предположил, что большой был достаточным дескриптором! Я запомню это, спасибо. – Richard 17 August 2011 в 01:27
  • 4
    Можете ли вы использовать tail или head вместо cat, чтобы получить последние 10 или первые 10 записей, а затем передать это в column? [F5]. Я не уверен, что head или tail прочитает весь файл THEN выводит нужные строки ... – SaultDon 17 August 2011 в 01:39

Я просто попробовал vim с текстовым файлом 514M. Он имеет 8032416 строк и после того, как он загрузился в течение примерно 30 секунд, я мог бы работать с файлом очень плавно.

Это заняло 30% моей 2-ГБ оперативной памяти, а vim создал файл подкачки 2.2M. Звучит разумно.

tail дал мне мгновенные результаты по этому файлу, он, вероятно, ищет нижнюю часть и затем поднимается до тех пор, пока не достигнет 10 строк, а затем распечатает их.

0
ответ дан 6 August 2018 в 03:18

есть столбец в CSV вопрос форматирования на другом сайте, сайте stackoverflow - это ваш очень большой файл?

cat somefile.csv | column -s, -t | less -#2 -N -S
1
ответ дан 7 August 2018 в 20:59
  • 1
    Это не будет работать. Потому что кошка попытается распечатать весь файл, что может быть гигабайтным значением данных. Может быть, там есть буфер где-то в трубах, который предотвращает эту ситуацию, но я не уверен, и полный ответ с использованием cat должен был бы решить эту проблему. Если бы был такой буфер, я бы начал задаваться вопросом, были ли данные затем кэшированы с помощью less. – Richard 17 August 2011 в 01:21
  • 2
    ok - добавьте этот комментарий к своему вопросу - это даст лучшее понимание того, что вы манипулируете big = multi gigabytes !! – fossfreedom♦ 17 August 2011 в 01:23
  • 3
    Я предположил, что большой был достаточным дескриптором! Я запомню это, спасибо. – Richard 17 August 2011 в 01:27
  • 4
    Можете ли вы использовать tail или head вместо cat, чтобы получить последние 10 или первые 10 записей, а затем передать это в column? [F5]. Я не уверен, что head или tail прочитает весь файл THEN выводит нужные строки ... – SaultDon 17 August 2011 в 01:39

Я просто попробовал vim с текстовым файлом 514M. Он имеет 8032416 строк и после того, как он загрузился в течение примерно 30 секунд, я мог бы работать с файлом очень плавно.

Это заняло 30% моей 2-ГБ оперативной памяти, а vim создал файл подкачки 2.2M. Звучит разумно.

tail дал мне мгновенные результаты по этому файлу, он, вероятно, ищет нижнюю часть и затем поднимается до тех пор, пока не достигнет 10 строк, а затем распечатает их.

0
ответ дан 7 August 2018 в 20:59

Другие вопросы по тегам:

Похожие вопросы: