python pandas新增一列 - 在Python熊貓中向現有DataFrame添加新列




10 Answers

使用原始的df1索引創建系列:

df1['e'] = Series(np.random.randn(sLength), index=df1.index)

編輯2015年
有人報告使用此代碼獲取SettingWithCopyWarning
但是,目前的熊貓版本0.16.1仍然運行良好。

>>> sLength = len(df1['a'])
>>> df1
          a         b         c         d
6 -0.269221 -0.026476  0.997517  1.294385
8  0.917438  0.847941  0.034235 -0.448948

>>> df1['e'] = p.Series(np.random.randn(sLength), index=df1.index)
>>> df1
          a         b         c         d         e
6 -0.269221 -0.026476  0.997517  1.294385  1.757167
8  0.917438  0.847941  0.034235 -0.448948  2.228131

>>> p.version.short_version
'0.16.1'

SettingWithCopyWarning旨在通知Dataframe副本上可能無效的分配。 它不一定表示你做錯了(它可能觸發誤報),但從0.13.0開始,它讓你知道有更多適合相同目的的方法。 然後,如果您收到警告,請按照其建議: 嘗試使用.loc [row_index,col_indexer] = value

>>> df1.loc[:,'f'] = p.Series(np.random.randn(sLength), index=df1.index)
>>> df1
          a         b         c         d         e         f
6 -0.269221 -0.026476  0.997517  1.294385  1.757167 -0.050927
8  0.917438  0.847941  0.034235 -0.448948  2.228131  0.006109
>>> 

實際上,這是熊貓文檔中描述的更高效的方法

編輯2017年

如註釋和@Alexander所示,目前將Series的值添加為DataFrame的新列的最佳方法可能是使用assign

df1 = df1.assign(e=p.Series(np.random.randn(sLength)).values)
pandas加一行 dataframe新建一行

我有以下索引DataFrame與命名的列和行不連續的數字:

          a         b         c         d
2  0.671399  0.101208 -0.181532  0.241273
3  0.446172 -0.243316  0.051767  1.577318
5  0.614758  0.075793 -0.451460 -0.012493

我想向現有的數據框添加一個新的列'e' ,並且不希望在數據框中更改任何內容(即新列的長度始終與DataFrame的長度相同)。

0   -0.335485
1   -1.166658
2   -0.385571
dtype: float64

我嘗試了不同版本的joinappendmerge ,但是我沒有得到我想要的結果,最多只有錯誤。 我如何在上面的例子中添加列e




我想添加一個新的列'e'到現有的數據框,並且不會改變數據框中的任何內容。 (該系列的長度始終與數據幀相同。)

我假設e中的索引值與df1中的索引值相匹配。

最簡單的方法來啟動一個名為e的新列,並為其分配系列e的值:

df['e'] = e.values

分配(熊貓0.16.0+)

從Pandas 0.16.0開始,您還可以使用assign ,它將新列分配給DataFrame,並返回一個包含所有原始列的新對象(副本)。

df1 = df1.assign(e=e.values)

根據本示例 (其中還包括assign函數的源代碼),您還可以包含多個列:

df = pd.DataFrame({'a': [1, 2], 'b': [3, 4]})
>>> df.assign(mean_a=df.a.mean(), mean_b=df.b.mean())
   a  b  mean_a  mean_b
0  1  3     1.5     3.5
1  2  4     1.5     3.5

在你的例子中,

np.random.seed(0)
df1 = pd.DataFrame(np.random.randn(10, 4), columns=['a', 'b', 'c', 'd'])
mask = df1.applymap(lambda x: x <-0.7)
df1 = df1[-mask.any(axis=1)]
sLength = len(df1['a'])
e = pd.Series(np.random.randn(sLength))

>>> df1
          a         b         c         d
0  1.764052  0.400157  0.978738  2.240893
2 -0.103219  0.410599  0.144044  1.454274
3  0.761038  0.121675  0.443863  0.333674
7  1.532779  1.469359  0.154947  0.378163
9  1.230291  1.202380 -0.387327 -0.302303

>>> e
0   -1.048553
1   -1.420018
2   -1.706270
3    1.950775
4   -0.509652
dtype: float64

df1 = df1.assign(e=e.values)

>>> df1
          a         b         c         d         e
0  1.764052  0.400157  0.978738  2.240893 -1.048553
2 -0.103219  0.410599  0.144044  1.454274 -1.420018
3  0.761038  0.121675  0.443863  0.333674 -1.706270
7  1.532779  1.469359  0.154947  0.378163  1.950775
9  1.230291  1.202380 -0.387327 -0.302303 -0.509652

首次介紹這個新功能的描述可以在here找到。




看來在最近的Pandas版本中,要走的路是使用assign

df1 = df1.assign(e=np.random.randn(sLength))

它不會產生SettingWithCopyWarning。




超級簡單的列分配

熊貓數據框是作為列的有序字典實現的。

這意味著__getitem__ []不僅可用於獲取某一列,而且__setitem__ [] =可用於分配新列。

例如,通過簡單地使用[]訪問器,該數據框可以添加一列

    size      name color
0    big      rose   red
1  small    violet  blue
2  small     tulip   red
3  small  harebell  blue

df['protected'] = ['no', 'no', 'no', 'yes']

    size      name color protected
0    big      rose   red        no
1  small    violet  blue        no
2  small     tulip   red        no
3  small  harebell  blue       yes

請注意,即使數據框的索引處於關閉狀態,這也是有效的。

df.index = [3,2,1,0]
df['protected'] = ['no', 'no', 'no', 'yes']
    size      name color protected
3    big      rose   red        no
2  small    violet  blue        no
1  small     tulip   red        no
0  small  harebell  blue       yes

[] =是要走的路,但要小心!

但是,如果您有一個pd.Series並嘗試將其分配給索引處於關閉狀態的數據pd.Series ,則會遇到麻煩。 看例子:

df['protected'] = pd.Series(['no', 'no', 'no', 'yes'])
    size      name color protected
3    big      rose   red       yes
2  small    violet  blue        no
1  small     tulip   red        no
0  small  harebell  blue        no

這是因為默認情況下pd.Series的索引枚舉從0到n。 熊貓[] =方法試圖 成為“聰明”

究竟發生了什麼。

當您使用[] =方法時,pandas使用左側數據框的索引和右側序列的索引靜靜地執行外部聯接或外部合併。 df['column'] = series

邊注

這很快導致認知失調,因為[]=方法試圖根據輸入做許多不同的事情,除非你知道熊貓如何工作的,否則結果是無法預測的。 因此,我會在代碼庫中建議[]= ,但是當在筆記本中探索數據時,它很好。

解決問題

如果你有一個pd.Series並且希望它自上而下分配,或者如果你正在編碼有效的代碼,並且你不確定索引順序,那麼值得保護這種問題。

你可以將pd.Series轉換為np.ndarray或者list ,這樣做可以做到。

df['protected'] = pd.Series(['no', 'no', 'no', 'yes']).values

要么

df['protected'] = list(pd.Series(['no', 'no', 'no', 'yes']))

但這不是很明確。

有些編碼員可能會說:“嘿,這看起來多餘,我會優化它”。

明確的方式

pd.Series的索引設置為df的索引是明確的。

df['protected'] = pd.Series(['no', 'no', 'no', 'yes'], index=df.index)

或者更現實一些,你可能已經有了一個pd.Series

protected_series = pd.Series(['no', 'no', 'no', 'yes'])
protected_series.index = df.index

3     no
2     no
1     no
0    yes

現在可以分配

df['protected'] = protected_series

    size      name color protected
3    big      rose   red        no
2  small    violet  blue        no
1  small     tulip   red        no
0  small  harebell  blue       yes

使用df.reset_index()替代方法

由於索引不和諧是問題所在,如果您覺得數據框的索引不應該規定事物,那麼您可以簡單地刪除索引,這應該會更快,但它不是很乾淨,因為您的函數現在可能有兩件事。

df.reset_index(drop=True)
protected_series.reset_index(drop=True)
df['protected'] = protected_series

    size      name color protected
0    big      rose   red        no
1  small    violet  blue        no
2  small     tulip   red        no
3  small  harebell  blue       yes

請注意df.assign

雖然df.assign使得它更清楚你正在做什麼,但它實際上有與上面[]=相同的問題

df.assign(protected=pd.Series(['no', 'no', 'no', 'yes']))
    size      name color protected
3    big      rose   red       yes
2  small    violet  blue        no
1  small     tulip   red        no
0  small  harebell  blue        no

只要注意df.assign你的專欄不叫self 。 它會導致錯誤。 這使得df.assign 臭味 ,因為函數中有這些類型的工件。

df.assign(self=pd.Series(['no', 'no', 'no', 'yes'])
TypeError: assign() got multiple values for keyword argument 'self'

你可能會說,“那麼,我不會用self話”。 但誰知道這個功能將來如何變化以支持新的論點。 也許你的專欄名稱將成為大熊貓新的更新中的一個參數,導致升級問題。




讓我補充一點,就像 , .loc沒有解決SettingWithCopyWarning ,我不得不求助於df.insert() 。 在我的情況下,“假”鏈索引dict['a']['e']產生了假陽性,其中'e'是新列,而dict['a']是來自字典的DataFrame。

另請注意,如果您知道自己在做什麼,則可以使用pd.options.mode.chained_assignment = None切換警告,並使用此處給出的其他解決方案之一。




在分配新列之前,如果您有索引數據,則需要對索引進行排序。 至少在我的情況下,我不得不:

data.set_index(['index_column'], inplace=True)
"if index is unsorted, assignment of a new column will fail"        
data.sort_index(inplace = True)
data.loc['index_value1', 'column_y'] = np.random.randn(data.loc['index_value1', 'column_x'].shape[0])



以下是我所做的......但我對熊貓非常陌生,一般來說真的是Python,所以沒有承諾。

df = pd.DataFrame([[1, 2], [3, 4], [5,6]], columns=list('AB'))

newCol = [3,5,7]
newName = 'C'

values = np.insert(df.values,df.shape[1],newCol,axis=1)
header = df.columns.values.tolist()
header.append(newName)

df = pd.DataFrame(values,columns=header)



如果數據框和Series對象具有相同的索引 ,則pandas.concat也可以在這里工作:

import pandas as pd
df
#          a            b           c           d
#0  0.671399     0.101208   -0.181532    0.241273
#1  0.446172    -0.243316    0.051767    1.577318
#2  0.614758     0.075793   -0.451460   -0.012493

e = pd.Series([-0.335485, -1.166658, -0.385571])    
e
#0   -0.335485
#1   -1.166658
#2   -0.385571
#dtype: float64

# here we need to give the series object a name which converts to the new  column name 
# in the result
df = pd.concat([df, e.rename("e")], axis=1)
df

#          a            b           c           d           e
#0  0.671399     0.101208   -0.181532    0.241273   -0.335485
#1  0.446172    -0.243316    0.051767    1.577318   -1.166658
#2  0.614758     0.075793   -0.451460   -0.012493   -0.385571

如果他們沒有相同的索引:

e.index = df.index
df = pd.concat([df, e.rename("e")], axis=1)



如果您嘗試添加的列是一個系列變量,那麼只需:

df["new_columns_name"]=series_variable_name #this will do it for you

即使您要替換現有的列,也可以很好地工作。只需鍵入與要替換的列相同的new_columns_name,它將使用新的系列數據覆蓋現有的列數據。




為了完整性 - 使用DataFrame.eval()方法的另一個解決方案:

數據:

In [44]: e
Out[44]:
0    1.225506
1   -1.033944
2   -0.498953
3   -0.373332
4    0.615030
5   -0.622436
dtype: float64

In [45]: df1
Out[45]:
          a         b         c         d
0 -0.634222 -0.103264  0.745069  0.801288
4  0.782387 -0.090279  0.757662 -0.602408
5 -0.117456  2.124496  1.057301  0.765466
7  0.767532  0.104304 -0.586850  1.051297
8 -0.103272  0.958334  1.163092  1.182315
9 -0.616254  0.296678 -0.112027  0.679112

解:

In [46]: df1.eval("e = @e.values", inplace=True)

In [47]: df1
Out[47]:
          a         b         c         d         e
0 -0.634222 -0.103264  0.745069  0.801288  1.225506
4  0.782387 -0.090279  0.757662 -0.602408 -1.033944
5 -0.117456  2.124496  1.057301  0.765466 -0.498953
7  0.767532  0.104304 -0.586850  1.051297 -0.373332
8 -0.103272  0.958334  1.163092  1.182315  0.615030
9 -0.616254  0.296678 -0.112027  0.679112 -0.622436



Related

python pandas dataframe chained-assignment