Как я могу получить электронные письма и веб-сайты из файлов CSV в командной строке?

Базирующийся простой текст, определенно больше подробной опции Python:

#!/usr/bin/env python3
import sys

f = sys.argv[1]; out = sys.argv[2]

with open(out, "wt") as wr:
    with open(f) as read:
        for l in read:
            for s in l.strip().split(","):
                if any(["@" in s, "www" in s, "http" in s]):
                    wr.write(s+"\n")

Или, только для забавы, немного более сжатой:

#!/usr/bin/env python3
import sys

with open(sys.argv[2], "wt") as wr:
    with open(sys.argv[1]) as read:
        [[wr.write(s+"\n") for s in l.strip().split(",") if any(["@" in s, "www" in s, "http" in s])] for l in read]

Использовать

• Скопируйте сценарий в пустой файл, сохраните его как get_stuff.py

• Выполните его с исходным файлом и предназначенным выходным файлом как аргументы:

  python3 /path/to/get_stuff.py <input_file> <output_file>
  

Результат:

DR@example.com
http://www.example.com
DR1@example.com
http://www.example.com
DR2@example.com
DR3@example.com
www.example.com
DR4@example.com

Сравнение вовремя

Интересный видеть то, что на меньших файлах (как в примере), sed опция быстрее, но на больших файлах опция Python быстрее:

на файле 150 000 строк:

sed

real    0m0.073s
user    0m0.068s
sys     0m0.000s

Python

real    0m0.046s
user    0m0.044s
sys     0m0.000s

На файле с 10 строками:

sed

real    0m0.003s
user    0m0.000s
sys     0m0.000s

Python

real    0m0.037s
user    0m0.032s
sys     0m0.000s

(Я должен упомянуть, что у меня есть древнее поле, все случаи должны быть короче на серьезной машине),

Идея могла состоять в том, что особенно, если необходимо извлечь данные из многих меньших файлов в цикле, используйте sed, на больших файлах в цикле, используйте Python.

На единственном файле, маленьком или большом, различие между 0.073и 0.046 полностью не важно.

Дополнительно

Ниже версии для извлечения тех же данных из целого (простого) каталога файлов.

#!/usr/bin/env python3
import sys
import os

dr = sys.argv[1]

def extract(f, out):
    with open(out, "wt") as wr:
        with open(f) as read:
            [[wr.write(s+"\n") for s in l.strip().split(",") if any(
                ["@" in s, "www" in s, "http" in s]
                )] for l in read]

for file in os.listdir(dr):
    f = os.path.join(dr, file); out = os.path.join(dr, "extracted_"+file)
    extract(f, out)

Из каждого из файлов сценарий создаст новый файл с извлеченными данными. Из файла:

somefile.csv

это создаст второй файл, названный:

extracted_somefile.csv