免费素材网站排行榜,wordpress audio player 下载,百度知道合伙人答题兼职入口,微网站门户目录 一、数据重塑1.1 透视1.2 透视表1.3 堆栈/反堆栈1.3 融合 二、迭代三、高级索引3.1 基础选择3.2 通过isin选择3.3 通过Where选择3.4 通过Query选择3.5 设置/取消索引3.6 重置索引3.6.1 前向填充3.6.2 后向填充 3.7 多重索引 四、重复数据五、数据分组5.1 聚合5.2 转换 六、… 目录 一、数据重塑1.1 透视1.2 透视表1.3 堆栈/反堆栈1.3 融合 二、迭代三、高级索引3.1 基础选择3.2 通过isin选择3.3 通过Where选择3.4 通过Query选择3.5 设置/取消索引3.6 重置索引3.6.1 前向填充3.6.2 后向填充 3.7 多重索引 四、重复数据五、数据分组5.1 聚合5.2 转换 六、缺失值七、合并数据7.1 合并-Merge7.2 连接-Join7.3 拼接-Concatenate7.3.1 纵向拼接7.3.2 横向/纵向拼接 八、日期九、可视化 pandas 是一个功能强大的 Python 数据分析库为数据处理和分析提供了高效且灵活的工具。它是在 NumPy 的基础上构建的为处理结构化数据如表格数据和时间序列数据提供了丰富的数据结构和数据操作方法。 pandas 提供了两种主要的数据结构Series 和 DataFrame。Series 是一维标记型数组类似于带标签的列表可以存储不同类型的数据。DataFrame 是二维的表格型数据结构类似于关系型数据库中的表格它由多个 Series 组成每个 Series 都有一个共同的索引。这使得 pandas 在处理和分析数据时非常方便和高效。 使用 pandas我们就可以轻松地进行数据导入、数据清洗、数据转换、数据筛选和数据分析等操作。它提供了丰富的函数和方法如索引、切片、聚合、合并、排序、统计和绘图等使得数据分析变得简单而直观。 一、数据重塑
1.1 透视 假设我们有一个 DataFrame df2其中包含了 Date’、‘Type’ 和 ‘Value’ 这三列数据。想要将 ‘Type’ 列的唯一值作为新 DataFrame 的列‘Date’ 列作为新 DataFrame 的索引并将 ‘Value’ 列中对应的值填充到新 DataFrame 的相应位置上。 即 将行变为列 我们可以这么实现代码 df3 df2.pivot(indexDate,columnsType, valuesValue)下面来对pivot() 函数的参数做一下说明 index指定作为新 DataFrame 索引的列名这里是 ‘Date’ 列。 columns指定作为新 DataFrame 列的列名这里是 ‘Type’ 列的唯一值。 values指定填充到新 DataFrame 中的值的列名这里是 ‘Value’ 列。
1.2 透视表 使用了 pd.pivot_table() 函数来 创建一个透视表。pivot_table() 函数可以帮助我们在 pandas 中进行数据透视操作并实现将一个 DataFrame 中的值按照指定的行和列进行聚合。 即 将行变为列我们可以这么实现 df4 pd.pivot_table(df2,valuesValue,indexDate,columnsType])下面来解释一下里面出现的各参数的含义 其中‘df2’ 是原始的 DataFrame‘Value’ 是要聚合的数值列名‘Date’ 是新 DataFrame 的索引列名而 ‘Type’ 是新 DataFrame 的列名。 pd.pivot_table() 函数会将 df2 中的数据按照 ‘Date’ 和 ‘Type’ 进行分组并计算每个组中 ‘Value’ 列的聚合值默认为均值。然后将聚合后的结果填充到新的 DataFrame df4 中其中 每一行表示一个日期每一列表示一个类型 。 如果在透视表操作中存在重复的索引/列组合pivot_table() 函数将会使用默认的聚合方法均值进行合并。如果我们想要使用其他聚合函数可以通过传递 aggfunc 参数来进行设置例如 aggfunc‘sum’ 表示求和。
1.3 堆栈/反堆栈 stack() 和 unstack() 是 pandas 中用于处理层次化索引的函数可以在 多级索引的 DataFrame 中透视行和列标签。 stacked df5.stack()
# 透视列标签
# 使用 stack() 函数将列标签透视即将列标签转换为行索引并将相应的数据堆叠起来。这样可以创建一个具有多级索引的 Seriesstacked.unstack()
# 透视索引标签
# 上述代码则使用 unstack() 函数将索引标签透视即将行索引转换为列标签并将相应的数据重新排列。这样可以还原出原始的 DataFrame 结构1.3 融合 我们需要 将指定的列转换为一个观察值列时可以使用 pd.melt() 函数来将一个 DataFrame 进行融合操作(melt)。 将列转为行 pd.melt(df2,id_vars[Date],value_vars[Type,Value],value_nameObservations)其中df2 是原始的 DataFrameid_vars[“Date”] 表示保持 ‘Date’ 列不融合作为 标识变量也就是保持不动的列。value_vars[“Type”, “Value”] 指定要融合的列为 ‘Type’ 和 ‘Value’。value_name“Observations” 表示新生成的观察值列的名称为 ‘Observations’。 pd.melt() 函数会将指定的列进行融合操作并创建一个新的 DataFrame。融合后的 DataFrame 中会包含四列分别是融合后的标识变量‘Date’、融合的列名‘variable’、融合的值‘Observations’以及原始 DataFrame 中对应的观察值。 二、迭代 df.iteritems()是一个 DataFrame 的迭代器方法用于按列迭代 DataFrame。它返回一个生成器每次迭代生成一个包含列索引和对应列的序列的键值对。 df.iterrows() 也是一个 DataFrame 的迭代器方法用于按行迭代 DataFrame。它返回一个生成器每次迭代生成一个包含行索引和对应行的序列的键值对。 df.iteritems()
# 列索引序列键值对df.iterrows()
# 行索引序列键值对下面是一些基本操作
for column_index, column in df.iteritems():# 对每一列进行操作print(column_index) # 打印列索引print(column) # 打印列的序列for index, row in df.iterrows():# 对每一行进行操作print(index) # 打印行索引print(row) # 打印行的序列三、高级索引
3.1 基础选择 DataFrame 中基于条件选择列的操作如下都是一些基本的操作 df3.loc[:,(df31).any()]
# 选择任一值大于1的列df3.loc[:,(df31).all()]
# 选择所有值大于1的列df3.loc[:,df3.isnull().any()]
# 选择含 NaN值的列df3.loc[:,df3.notnull().all()]
# 选择含 NaN值的列3.2 通过isin选择 而在很多情况下我们所需要做的不是仅仅通过基于条件选择列这么简单的操作所以还有必要学习 DataFrame 的进一步选择和筛选操作。 df[(df.Country.isin(df2.Type))]
# 选择为某一类型的数值 df3.filter(items”a”,”b”])
# 选择特定值df.select(lambda x: not x%5)
# 选择指定元素3.3 通过Where选择 where()是Pandas Series对象中的一个方法也可以用于选择满足条件的子集。 s.where(s 0)
# 选择子集3.4 通过Query选择 df6.query(second first)
# 查询DataFramedf6.query(‘second first’) 是 DataFrame 对象中的一个查询操作查询 DataFrame df6 中满足条件 “second first” 的行。其中“second” 和 “first” 是列名表示要比较的两个列。只有满足条件的行会被选中并返回为一个新的 DataFrame。 3.5 设置/取消索引 df.set_index(Country)
# 设置索引df4 df.reset_index()
# 取消索引df df.rename(indexstr,columns{Country:cntry,Capital:cptl,Population:ppltn})
# 重命名DataFrame列名3.6 重置索引 有时候我们需要重新索引 Series。 将 Series s 的索引重新排列为 [‘a’, ‘c’, ‘d’, ‘e’, ‘b’]并返回一个新的 Series。如果 原来的索引中不存在某个新索引值对应的值将被设置为 NaN(缺失值)。 s2 s.reindex([a,c,d,e,b])3.6.1 前向填充 df.reindex(range(4), methodffill)Country Capital Population0 Belgium Brussels 111908461 India New Delhi 13031710352 Brazil Brasília 2078475283 Brazil Brasília 2078475283.6.2 后向填充 s3 s.reindex(range(5), methodbfill)0 3 1 32 33 34 33.7 多重索引 arrays [np.array([1,2,3]),
np.array([5,4,3])]df5 pd.DataFrame(np.random.rand(3, 2), indexarrays)tuples list(zip(*arrays))index pd.MultiIndex.from_tuples(tuples, names[first, second])df6 pd.DataFrame(np.random.rand(3, 2), indexindex)df2.set_index([Date, Type]) 四、重复数据 s3.unique()
# 返回唯一值df2.duplicated(Type)
# 查找重复值df2.drop_duplicates(Type, keeplast)
# 去除重复值df.index.duplicated()
# 查找重复索引五、数据分组
5.1 聚合 df2.groupby(by[Date,Type]).mean()df4.groupby(level0).sum()df4.groupby(level0).agg({a:lambda x:sum(x)/len(x),
b: np.sum})5.2 转换 customSum lambda x: (xx%2)df4.groupby(level0).transform(customSum)六、缺失值 df.dropna()
# 去除缺失值NaNdf3.fillna(df3.mean())
# 用预设值填充缺失值NaNdf2.replace(a, f)
# 用一个值替换另一个值七、合并数据 7.1 合并-Merge pd.merge(data1, data2, howleft, onX1)将 data1 和 data2 两个 DataFrame 按照它们的 ‘X1’ 列进行左连接并返回一个新的 DataFrame。左连接保留 data1 的所有行并将 data2 中符合条件的行合并到 data1 中。如果 data2 中没有与 data1 匹配的行则对应的列值将被设置为 NaN(缺失值)。 pd.merge(data1, data2, howright, onX1)右连接也是一种连接方式其将 data1 和 data2 两个 DataFrame 按照它们的 ‘X1’ 列进行右连接并返回一个新的 DataFrame。保留 data2 的所有行并将 data1 中符合条件的行合并到 data2 中。如果 data1 中没有与 data2 匹配的行则对应的列值将被设置为 NaN缺失值。 pd.merge(data1, data2,howinner,onX1)将 data1 和 data2 两个 DataFrame 按照它们的 ‘X1’ 列进行内连接并返回一个新的 DataFrame就是所谓的内连接(inner join)。它 仅保留 data1 和 data2 中在 ‘X1’ 列上有匹配的行并将它们合并到一起。 参数中的 how‘inner’ 表示使用内连接方式进行合并。其他可能的取值还有 ‘left’、‘right’ 和 ‘outer’分别表示左连接、右连接和接下来要介绍的外连接。on‘X1’ 表示使用 ‘X1’ 列作为合并键(即共同的列)。 pd.merge(data1, data2, howouter,onX1)将 data1 和 data2 两个 DataFrame 按照它们的 ‘X1’ 列进行外连接并返回一个新的 DataFrame。外连接(outer join)是一种合并方式它会保留 data1 和 data2 中所有的行并将它们根据 ‘X1’ 列的值进行合并。 在外连接中如果某个 DataFrame 中的行在另一个 DataFrame 中找不到匹配那么对应的列值将被设置为 NaN(缺失值)表示缺失的数据。 7.2 连接-Join data1.join(data2, howright)7.3 拼接-Concatenate
7.3.1 纵向拼接 s.append(s2)7.3.2 横向/纵向拼接 pd.concat([s,s2],axis1, keys[One,Two]) pd.concat([data1, data2], axis1, joininner)八、日期 df2[Date] pd.to_datetime(df2[Date])df2[Date] pd.date_range(2000-1-1, periods6, freqM)dates [datetime(2012,5,1), datetime(2012,5,2)]index pd.DatetimeIndex(dates)index pd.date_range(datetime(2012,2,1), end, freqBM)九、可视化 Matplotlib 是一个用于绘制数据可视化图形的 Python 库。它提供了各种函数和工具用于创建各种类型的图表包括线图、散点图、柱状图、饼图等等。 现在我们导入 Matplotlib 库并将其重命名为了 plt。这样我们就可以 使用 plt 对象来调用 Matplotlib 的函数和方法以便创建和修改图形了。 import matplotlib.pyplot as plt现在我们试试导入 Matplotlib 库使用 Pandas 库中 Series 对象的 .plot() 方法 和 Matplotlib 库中的 plt.show() 函数 来生成并显示数据的默认图形。 s.plot()plt.show()我们也可使用 Pandas 库中 DataFrame 对象的 .plot() 方法 和 Matplotlib 库 中的 plt.show() 函数 来生成并显示数据的默认图形。 df2.plot()plt.show()
