Удаление повторяющихся строк на основе значения столбца

Если вы отсортировали их в порядке убывания 4-го поля, вы могли бы просто взять первое вхождение каждого значения второго поля, используя ассоциативный массив или хеш, например. awk -F, '!seen[$2]++' file или perl -F, -ne 'print $_ unless $seen{$F[1]}++'

При значениях в порядке возрастания это немного сложнее сделать за один эффективный проход - вы можете сделать это (с небольшим количеством настроек), распечатав предыдущие при каждом изменении значения ключа:

awk -F, '
  NR==1 {print; next}        # print the header line
  NR==2 {key=$2; next}       # initialize the comparison
  $2 != key {
    print lastval; key = $2  # print the last (largest) value of the previous key group
  } 
  {lastval = $0}             # save the current line
  END {print lastval}        # clean up
' file
storm_id,Cell_id,Windspeed,Storm_Surge,-1
2,10482422,45,0.4,-1
2,10482423,45,0.43,-1
2,10482424,45,0.49,-1
2,10482425,45,0.52,-1
2,10482426,45,0.64,-1
2,10482427,45,0.73,-1

Если у вас не так много уникальных Cell_ids, вы можете отслеживать уже увиденные в ассоциативном массиве Perl. Если у вас слишком много (и у моего скрипта Perl не хватает памяти), напишите программу C, чтобы сохранить уникальные в битовом поле. Вот Perl.

#!/usr/bin/perl -w
use strict;
my %seen = ();          # key=Cell_ID, value=1
my @cols=();            # for splitting input

while( <> ) {           # read STDIN
  @cols = split ',',$_;
  next if ( defined $seen{$cols[1]}); # skip if we already saw this Cell_Id
  $seen{$cols[1]} = 1;
  print;
}

Вот мой тест:

walt@bat:~(0)$ cat u.dat
storm_id,Cell_id,Windspeed,Storm_Surge,-1
2,10482422,45,0.06,-1
2,10482422,45,0.18,-1
2,10482422,45,0.4,-1
2,10482423,45,0.15,-1
2,10482423,45,0.43,-1
2,10482424,45,0.18,-1
2,10482424,45,0.49,-1
2,10482425,45,0.21,-1
2,10482425,45,0.52,-1
2,10482426,45,0.27,-1
2,10482426,45,0.64,-1
2,10482427,45,0.09,-1
2,10482427,45,0.34,-1
2,10482427,45,0.73,-1
walt@bat:~(0)$ perl ./unique.pl u.dat
storm_id,Cell_id,Windspeed,Storm_Surge,-1
2,10482422,45,0.06,-1
2,10482423,45,0.15,-1
2,10482424,45,0.18,-1
2,10482425,45,0.21,-1
2,10482426,45,0.27,-1
2,10482427,45,0.09,-1

Если вы отсортировали их в порядке убывания 4-го поля, вы могли бы просто взять первое вхождение каждого значения второго поля, используя ассоциативный массив или хеш, например. awk -F, '!seen[$2]++' file или perl -F, -ne 'print $_ unless $seen{$F[1]}++'

При значениях в порядке возрастания это немного сложнее сделать за один эффективный проход - вы можете сделать это (с небольшим количеством настроек), распечатав предыдущие при каждом изменении значения ключа:

Если у вас не так много уникальных Cell_ids, вы можете отслеживать уже увиденные в ассоциативном массиве Perl. Если у вас слишком много (и у моего скрипта Perl не хватает памяти), напишите программу C, чтобы сохранить уникальные в битовом поле. Вот Perl.

Вот мой тест:

Если вы отсортировали их в порядке убывания 4-го поля, вы могли бы просто взять первое вхождение каждого значения второго поля, используя ассоциативный массив или хеш, например. awk -F, '!seen[$2]++' file или perl -F, -ne 'print $_ unless $seen{$F[1]}++'

При значениях в порядке возрастания это немного сложнее сделать за один эффективный проход - вы можете сделать это (с небольшим количеством настроек), распечатав предыдущие при каждом изменении значения ключа:

Если у вас не так много уникальных Cell_ids, вы можете отслеживать уже увиденные в ассоциативном массиве Perl. Если у вас слишком много (и у моего скрипта Perl не хватает памяти), напишите программу C, чтобы сохранить уникальные в битовом поле. Вот Perl.

Вот мой тест: