设为首页 - 加入收藏 铜仁站长网 (http://www.0856zz.com)- 国内知名站长资讯网站,提供最新最全的站长资讯,创业经验,网站建设等!
热搜: 为什么 2018 系统 平台
当前位置: 首页 > 运营中心 > 网站设计 > 教程 > 正文

Python数据分析-看了这篇文章,数据清洗你也就完全掌握了

发布时间:2019-09-12 11:02 所属栏目:[教程] 来源:哗啦圈的梦
导读:所有做数据分析的前提就是:你得有数据,而且已经经过清洗,整理成需要的格式。 不管你从哪里获取了数据,你都需要认真仔细观察你的数据,对不合规的数据进行清理,虽然不是说一定要有这个步骤,但是这是一个好习惯,因为保不齐后面分析的时候发现之前因为

所有做数据分析的前提就是:你得有数据,而且已经经过清洗,整理成需要的格式。

不管你从哪里获取了数据,你都需要认真仔细观察你的数据,对不合规的数据进行清理,虽然不是说一定要有这个步骤,但是这是一个好习惯,因为保不齐后面分析的时候发现之前因为没有对数据进行整理,而导致统计的数据有问题,今天小编就把平时用的数据清洗的技巧进行一个梳理,里面可能很多你都懂,那就当温习了吧!

文章大纲:

  1. 如何更有效的导入你的数据
  2. 全面的观察数据
  3. 设置索引
  4. 设置标签
  5. 处理缺失值
  6. 删除重复项
  7. 数据类型转换
  8. 筛选数据
  9. 数据排序
  10. 处理文本
  11. 合并&匹配

导入数据:

  1. pd.read_excel("aa.xlsx")?
  2. pd.read_csv("aa.xlsx")?
  3. pd.read_clipboard?

如何有效的导入数据:

1、限定导入的行,如果数据很大,初期只是为了查看数据,可以先导入一小部分:

  1. pd.read_csv("aaa.csv",nrows=1000)?
  2. pd.read_excel("aa.xlsx",nrows=1000)?

2、如果你知道需要那些列,而且知道标签名,可以只导入需要的数据:

  1. pd.read_csv("aaa.csv",usecols=["A","B"])?
  2. pd.read_excel("aa.xlsx",usecols=["A","B"])?

3、关于列标签,如果没有,或者需要重新设定:

  1. pd.read_excel("aa.xlsx",header=None)#不需要原来的索引,会默认分配索引:0,1,2?
  2. pd.read_excel("aa.xlsx",header=1)#设置第二行为列标签?
  3. pd.read_excel("aa.xlsx",header=[1,2])#多级索引?
  4. pd.read_csv("aaa.csv",header=None)?
  5. pd.read_csv("aaa.csv",header=1)?
  6. pd.read_csv("aaa.csv",header=[1,2])?

4、设置索引列,如果你可以提供一个更有利于数据分析的索引列,否则分配默认的0,1,2:

  1. pd.read_csv("aaa.csv",index_col=1)?
  2. pd.read_excel("aa.xlsx",index_col=2)?

5、设置数值类型,这一步很重要,涉及到后期数据计算,也可以后期设置:

  1. pd.read_csv("aaa.csv",converters?=?{'排名':?str,?'场次':?float})?
  2. data?=?pd.read_excel(io,?sheet_name?=?'converters',?converters?=?{'排名':?str,?'场次':?float})?

全面的查看数据:

查看前几行:

  1. data.head()?

python数据分析-看了这篇文章,数据清洗你也就完全掌握了

查看末尾几行:

python数据分析-看了这篇文章,数据清洗你也就完全掌握了

查看数据维度:

  1. data.shape(16281,?7)?

查看DataFrame的数据类型

  1. df.dtypes?

查看DataFrame的索引

  1. df.index?

查看DataFrame的列索引

  1. df.columns?

查看DataFrame的值

  1. df.values?

查看DataFrame的描述

  1. df.describe()?

某一列格式:

  1. df['B'].dtype?

设置索引和标签:

有时我们经常需要重新设置索引列,或者需要重新设置列标签名字:

重新设置列标签名:

  1. df.rename(columns={"A":?"a",?"B":?"c"})?
  2. df.rename(index={0:?"x",?1:?"y",?2:?"z"})?

重新设置索引:

  1. df.set_index('month')?

重新修改行列范围:

  1. df.reindex(['http_status',?'user_agent'],?axis="columns")?
  2. new_index=?['Safari',?'Iceweasel',?'Comodo?Dragon',?'IE10',?'Chrome']?
  3. df.reindex(new_index)?

取消原有索引:

  1. df.reset_index()?

处理缺失值和重复项:

判断是否有NA:df.isnull().any()

填充NA:

  1. pf.fillna(0)?

删除含有NA的行:

  1. rs=df.dropna(axis=0)?

删除含有NA的列:

  1. rs=df.dropna(axis=1)?

【免责声明】本站内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。

网友评论
推荐文章