Удаление нескольких столбцов на основе имен столбцов в Pandas


у меня есть некоторые данные, и когда я импортирую его, я получаю следующие ненужные столбцы, которые я ищу простой способ удалить все эти

   'Unnamed: 24', 'Unnamed: 25', 'Unnamed: 26', 'Unnamed: 27',
   'Unnamed: 28', 'Unnamed: 29', 'Unnamed: 30', 'Unnamed: 31',
   'Unnamed: 32', 'Unnamed: 33', 'Unnamed: 34', 'Unnamed: 35',
   'Unnamed: 36', 'Unnamed: 37', 'Unnamed: 38', 'Unnamed: 39',
   'Unnamed: 40', 'Unnamed: 41', 'Unnamed: 42', 'Unnamed: 43',
   'Unnamed: 44', 'Unnamed: 45', 'Unnamed: 46', 'Unnamed: 47',
   'Unnamed: 48', 'Unnamed: 49', 'Unnamed: 50', 'Unnamed: 51',
   'Unnamed: 52', 'Unnamed: 53', 'Unnamed: 54', 'Unnamed: 55',
   'Unnamed: 56', 'Unnamed: 57', 'Unnamed: 58', 'Unnamed: 59',
   'Unnamed: 60'

они индексируются по 0-индексации, поэтому я попробовал что-то вроде

    df.drop(df.columns[[22, 23, 24, 25, 
    26, 27, 28, 29, 30, 31, 32 ,55]], axis=1, inplace=True)

но это не очень эффективно. Я попытался написать некоторые для петель, но это поразило меня как плохое поведение панды. Поэтому я задаю этот вопрос здесь.

Я видел некоторые примеры, которые похожи (падение нескольких столбцов панды), но это не так ответь на мой вопрос.

7   51   2015-02-16 12:47:30

7 ответов:

Я не знаю, что вы подразумеваете под неэффективным, но если вы имеете в виду с точки зрения ввода, было бы проще просто выбрать интересующие cols и назначить обратно df:

df = df[cols_of_interest]

здесь cols_of_interest Это список столбцов, о которых вы заботитесь.

или вы можете нарезать столбцы и передать это в drop:

df.drop(df.ix[:,'Unnamed: 24':'Unnamed: 60'].head(0).columns, axis=1)

вызов head просто выбирает 0 строк, поскольку нас интересуют только имена столбцов, а не данные

обновление

другим методом было бы проще использовать логическую маску из str.contains и инвертировать его, чтобы замаскировать столбцы:

In [2]:
df = pd.DataFrame(columns=['a','Unnamed: 1', 'Unnamed: 1','foo'])
df

Out[2]:
Empty DataFrame
Columns: [a, Unnamed: 1, Unnamed: 1, foo]
Index: []

In [4]:
~df.columns.str.contains('Unnamed:')

Out[4]:
array([ True, False, False,  True], dtype=bool)

In [5]:
df[df.columns[~df.columns.str.contains('Unnamed:')]]

Out[5]:
Empty DataFrame
Columns: [a, foo]
Index: []

безусловно, самый простой подход:

yourdf.drop(['columnheading1', 'columnheading2'], axis=1, inplace=True)

мой личный фаворит, и проще, чем ответы, которые я видела (по нескольким столбцам):

df.drop(df.columns[22:56], axis=1, inplace=True)

или создание списка для нескольких столбцов.

col = list(df.columns)[22:56]
df.drop(col, axis=1, inplace=1)

Это, вероятно, хороший способ сделать то, что вы хотите. Он удалит все столбцы, которые содержат "безымянные" в их заголовке.

for col in df.columns:
    if 'Unnamed' in col:
        del df[col]

вы можете сделать это в одну строку и один раз:

df.drop([col for col in df.columns if "Unnamed" in col], axis=1, inplace=True)

Это включает в себя меньше перемещения/копирования объекта, чем решения выше.

Не уверен, что это решение было упомянуто где-нибудь еще, но один способ сделать это pandas.Index.difference.

>>> df = pd.DataFrame(columns=['A','B','C','D'])
>>> df
Empty DataFrame
Columns: [A, B, C, D]
Index: []
>>> to_remove = ['A','C']
>>> df = df[df.columns.difference(to_remove)]
>>> df
Empty DataFrame
Columns: [B, D]
Index: []

ниже работал для меня:

for col in df:
    if 'Unnamed' in col:
        #del df[col]
        print col
        try:
            df.drop(col, axis=1, inplace=True)
        except Exception:
            pass