前言

工作了一段时间，天天写sql，玩linux上的脚本；已经快忘记python怎么写了，pandas忘记的更是干净，便打算写一写博客来复习一下pandas的API。

案例解读

读取数据

文本文件

    ''' Flat file 平面文件->文本文档记录的，用记事本可以正确解读'''
    # read_table is deprecated了解即可
    print(pd.read_table(filepath_or_buffer='./datas/DXYArea.csv', nrows=10)) 
    # filepath_or_buffer一般可以省略，nrows表示只读取前几行
    print(pd.read_table('./datas/HadISST1_SST_update.txt.gz', nrows=10, compression='gzip')) 
    # compression表示压缩格式，这里是gizp压缩

这个方法已经弃用了，所以出现了警告

 # read_csv很常用
    print(pd.read_csv('./datas/HadISST1_SST_update.txt', header=None, names=range(0, 360), sep='\t', nrows=10)) 
    # header表示读取的数据没有字段名，names便是赋予字段名
    print(pd.read_csv('./datas/DXYArea.csv', nrows=10, encoding='utf-8')) 
    # encoding编码字符集，解决中文乱码

打印读取的结果，没有过时的警告，看起来舒服了一些。这也是很常用的，使用的时候需要注意逗号分隔还是\t分隔的，csv的c是Comma逗号的意思，默认就是逗号分隔，通过sep参数可以指定分隔符。

excel文件

 ''' excel文件常用'''
    print(pd.read_excel('./datas/CityTS.2.10.xlsx', sheet_name='CityTS0205', index_col=None)) 
    # 默认index_col=None意味着再添加一列作为索引，如果0、1这样的数就表示第0、1这列作为索引  

指定excel工作簿，以及需要读取的工作表即可读取里面的数据，用起来很方便。如果要经常读取千万行数据的话，建议将excel转为csv会快很多。

数据库

这里以mysql的数据库为例

 '''数据库'''
from sqlalchemy import create_engine
db_info = {
    'user': 'root',
           'password': 'root',
           'host': 'localhost:3306',
           'database': 'hive_test'}  # 只能操作此数据库中的表
engine = create_engine('mysql://%(user)s:%(password)s@%(host)s/%(database)s?charset=utf8' % db_info, encoding='utf-8')
    print(pd.read_sql_table('emp', con=engine)) # 直接读取数据库的表
    print(pd.read_sql_query("select * from emp where job='SALESMAN'", con=engine)) # 读取sql查询的结果

json

json是web中常用的数据格式，这里通过请求一个接口获得json格式的数据。

'''json，不建议使用这种方式。因为一般web中的json可能很复杂，解读逻辑用requests与json很好实现，但是pandas实现起来就可能很复杂了'''
    print(pd.read_json('https://lab.isaaclin.cn/nCoV/api/area'))

DataFrame

构造

由于属性太多，我就将属性放在构造之后展示一些

根据字典

  '''根据字典构造'''
    df1 = pd.DataFrame(data={
    'col1': [1, 2], 'col2': [3, 4]})# data可以省略
    print(df1)
    print(df1.values)  # 得到numpy数组格式的数据
    print(df1.T) # 转置
    print(df1.dtypes) # 返回每列详细的数据类型

先展示一些比较简单的属性

根据numpy构造

 import numpy as np
 print(pd.DataFrame(np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]),
 		columns=['a', 'b', 'c'])) # columns指定列标签

熟悉numpy的话，这个用起来也很简单

根据列表构造

 df = pd.DataFrame([[0, 2, 3], [0, 4, 1], [10, 20, 30]],
                      index=[4, 5, 6], columns=['A', 'B', 'C']) # 构造的时候指定索引
    print(df)
    print(df.at[4, 'B']) # 取出行标签为4，列标签为B位置的数据
    print(df.iat[1, 1]) # 取出行索引为1，列索引为1位置的数据

属性

刚刚已经展示过一些比较简单的属性

属性名	作用
values	返回numpy数组对象
T	返回转置后的数据
dtypes	返回每列详细的数据类型
at	返回指定行列标签的数据，必须指定行和列取单元格
iat	返回指定行列索引的数据 ，必须指定行和列取单元格

下面有一类与结构有关的属性，使用也比较简单

属性名	作用
index	返回行标签
columns	返回列标签
axes	返回轴信息：包含行标签、列标签
ndim	数据维度，两个轴，二维数据
shape	数据形状
size	元素个数
style	返回一个Styler对象，该对象包含用于为DataFrame构建样式化HTML表示形式的方法。
empty	是否为空

具体的打印看看

 df = pd.DataFrame([[0, 2, 3], [0, 4, 1], [10, 20, 30]],
                      index=[4, 5, 6], columns=['A', 'B', 'C']) # 构造的时候指定索引
print(df.index) # 返回行标签
print(df.columns) # 返回列标签
print(df.axes) # 返回轴信息：包含行标签、列标签
print(df.ndim) # 两个轴，二维数据
print(df.shape) # 形状2*2
print(df.size) # 元素个数2*2=4个
print(df.style) # 少用：返回一个Styler对象，该对象包含用于为DataFrame构建样式化HTML表示形式的方法。
print(df.empty)  # 判断是否为空，非空，False
df_empty = pd.DataFrame({
    'A': []})
print(df_empty.empty)  # 判断是否为空，空，True

下面这个两个属性的使用比较灵活，较难掌握，需要细细品味

属性名	作用
iloc	类似iat返回指定索引的数据，可以指定行或列
loc	类似at返回指定标签的数据，可以指定行或列

'''iloc 这个属性的使用比较灵活，i可以理解为index索引'''
df = pd.DataFrame([[0, 2, 3], [0, 4, 1], [10, 20, 30]],
                      index=[4, 5, 6], columns=['A', 'B', 'C']) # 构造的时候指定索引
print(df.iloc[1])  # 与iat类似但是是取出行索引为1的这一行,按列展示
print(df.iloc[[1]])  # 与iat类似但是是取出行索引为1的这一行,按行展示
print(df.iloc[[1, 2]])  # 与iat类似但是是取出行索引为1与索引为2的这两行
print(df.iloc[:2])  # 取出行索引直到2的这些行
print(df.iloc[:2, 1])  # 取出行索引直到2的这些行当中的第1列
print(df.iloc[[True, False, True]])  # 按布尔值决定是否取出相应位置的行

建议将这些打印一下仔细看看

'''这个和iloc相似'''
df = pd.DataFrame([[1, 2], [4, 5], [7, 8]],
                index=['cobra', 'viper', 'sidewinder'],
                columns=['max_speed', 'shield'])
print(df.loc['viper']) # 取出行标签为viper的这行,按列展示
print(df.loc[['viper']]) # 取出行标签为viper的这行,按行展示
print(df.loc[['viper', 'sidewinder']]) # 取出行标签为viper与行标签为sidewinder的两行
print(df.loc['viper', 'max_speed']) # 这就是比iloc复杂的地方，还可以结合列标签一起定位元素，所以必须知道行列标签才能区分和上面那句的区别
print(df.loc[['viper', 'sidewinder'], ['shield']])# 想要看出区别，可以将行列标签分开在两个列表
print(df.loc['cobra':'viper', 'max_speed'])# 在理解了能用列标签之后，可以选取行标签从cobra到viper列标签为max_speed的数据
print(df.loc[[False, False, True]]) # 这个和iloc一样
print(df.loc[df['shield'] > 6]) # 这是上面那种方法的升级，取出满足的行
# 官方还给出了很多复合索引的例子，但用的并不太多也就不展示了

方法

四则运算

比直接使用运算符多的功能通过传递额外的参数实现

add(self，other，axis =‘columns’，level = None，fill_value = None )	加，也可用+
sub(self，other，axis =‘columns’，level = None，fill_value = None )	减，也可用-
mul(self，other，axis =‘columns’，level = None，fill_value = None )	乘，也可用*
div(self，other，axis =‘columns’，level = None，fill_value = None )	除，也可用/
rdiv(self，other，axis =‘columns’，level = None，fill_value = None )	右除，将df的数据作为分母
truediv(self，other，axis =‘columns’，level = None，fill_value = None )	除，也可用/
floordiv(self，other，axis =‘columns’，level = None，fill_value = None )	整数除法，也可用//
mod(self，other，axis =‘columns’，level = None，fill_value = None )	取余，也可用%
pow(self，other，axis =‘columns’，level = None，fill_value = None )	乘幂，也可用**

以fill_value的官方案例为例子

转换

感觉很方便的新功能，在1.0.0版本后才有

更多详细的可以看官网的案例https://pandas.pydata.org/pandas-docs/stable/reference/index.html