R语言-缺失值判断以及处理

#####缺失值判断以及处理#####

#举例1：向量类型判断缺失值is.na和缺失值的填补which(x<-c(1,2,3,NA))

is.na(x) #返回⼀个逻辑向量，TRUE为缺失值，FALSE为⾮缺失值table(is.na(x)) #统计分类个数

sum(x) #当向量存在缺失值的时候统计结果也是缺失值

sum(x,na.rm = TRUE) #很多函数⾥都有na.rm=TRUE参数，此参数可以在运算时移除缺失值(x[which(is.na(x))]<-0) #可以⽤which()函数代替缺失值，which()函数返回符合条件的响应位置

#举例2：数据框类型判断缺失值is.na、缺失值的填补which、缺失值所在⾏的删除na.omit(test<-data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9)))is.na(test) #test中空值的判断

which(is.na(test),arr.ind = T) #arr.ind=T可以返回缺失值的相应⾏列坐标test[which(is.na(test),arr.ind = T)]<-0 #结合which进⾏缺失替代

(test_omit<-na.omit(data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9)))) #na.omit函数可以直接删除值所在的⾏

#举例3：识别缺失值的基本语法汇总str(airquality)

complete.cases(airquality) #判断个案是否有缺失值

airquality[complete.cases(airquality),] #列出没有缺失值的⾏

nrow(airquality[complete.cases(airquality),]) #计算没有缺失值的样本量

airquality[!complete.cases(airquality),] #列出有缺失的值的⾏

nrow(airquality[!complete.cases(airquality),]) #计算有缺失值的样本量

is.na(airquality$Ozone) #TRUE为缺失值，FALSE为⾮缺失值table(is.na(airquality$Ozone))

complete.cases(airquality$Ozone) #FALSE为缺失值，TRUE为⾮缺失值

table(complete.cases(airquality$Ozone))

#可⽤sum()和mean()函数来获取关于缺失数据的有⽤信息sum(is.na(airquality$Ozone)) #查看缺失值的个数

sum(complete.cases(airquality$Ozone)) #查看没有缺失值的个数mean(is.na(airquality$Ozone)) #查看缺失值的占⽐

mean(is.na(airquality)) #查看数据集airquality中样本有缺失值的占⽐

#举例4：探索缺失值模式#列表缺失值探索library(mice)

md.pattern(airquality)

#图形缺失值探索library(VIM)

aggr(airquality,prop=FALSE,number=TRUE)

aggr(airquality,prop=TRUE,number=TRUE) #⽣成相同的图形，但⽤⽐例代替了计数

aggr(airquality,prop=FALSE,number=FALSE) #选项numbers = FALSE（默认）删去数值型标签

#举例5：删除缺失值

airquality[complete.cases(airquality),] #⽅法⼀：删除缺失值⾏na.omit(airquality) #⽅法⼆：删除缺失值的⾏

#举例6：缺失值回归模型插补newnhanes2<-nhanes2

sub<-which(is.na(newnhanes2[,4])) #返回newnhanes2数据集中第4列NA的⾏标识datatr<-newnhanes2[-sub,] #⽅法⼀：将第4列不为NA的数存⼊数据集datatr中

datatr<-newnhanes2[complete.cases(newnhanes2[,4]),] #⽅法⼆：将第4列不为NA的数存⼊数据集datatr中datate<-newnhanes2[sub,] #⽅法⼀：将第4列为NA的数存⼊数据集datate中

datate<-newnhanes2[is.na(newnhanes2[,4]),] #⽅法⼆：将第4列为NA的数存⼊数据集datate中fit<-lm(chl~age,data = datatr) #利⽤datatr中age为⾃变量，chl为因变量构建线性回归模型lm

newnhanes2[sub,4]<-round(predict(fit,datate)) #利⽤datate中数据按照模型fit对nhanes2中chl中的缺失数据进⾏预测

#举例7：缺失值随机森林插补library(missForest)

z<-missForest(airquality) #⽤随机森林迭代弥补缺失值air.full<-z$ximp

zz<-missForest(nhanes2)nhanes2.full<-zz$ximp

#举例8：线性回归模型插补mice::md.pattern(airquality)

index1<-is.na(airquality$Ozone) #对Ozone变量进⾏缺失值处理dput(colnames(airquality)) #求出变量列名称

Ozone_train<-airquality[!index1,c(\"Ozone\#训练集，需注意什么时候⽤!,什么时候⽤-Ozone_test<-airquality[index1,c(\"Ozone\#测试集fit<-lm(Ozone~.,data = Ozone_train) #建⽴线性回归模型summary(fit)

airquality[index1,\"Ozone\"]<-predict(fit,newdata =Ozone_test )

index2<-is.na(airquality$Solar.R) #Solar.R变量进⾏缺失值处理,Ozone变量数据已补齐Solar.R_train<-airquality[!index2,] #训练集Solar.R_test<-airquality[index2,] #测试集

Solar.R_fit<-lm(Solar.R~.,data = Solar.R_train)summary(Solar.R_fit)

summary(Solar.R_fit)

airquality[index2,\"Solar.R\"]<-predict(Solar.R_fit,newdata = Solar.R_test)mice::md.pattern(airquality)

#knn和bag缺失值插补(利⽤caret包中的preProcess函数，method参数有多种⽅式可选)question<-read.csv(\"问卷调研数据.csv\")question<-question[,-1]str(question)

for(i in 1:ncol(question)){

question[,i]<-as.factor(question[,i])} #批量修改为因⼦类型str(question)

#举例9：利⽤KNN算法进⾏缺失值插补(只能对数值型变量处理)question<-read.csv(\"问卷调研数据.csv\")question<-question[,-1]

mice::md.pattern(question) #列表缺失值探索library(caret)

knn.model<-preProcess(question,method = \"knnImpute\") #KNN处理数值型数据(欧式距离),不能处理因⼦型数据question1<-predict(knn.model,newdata = question)install.packages(\"RANN\")mice::md.pattern(question1)

table(question1$性别) #不是之前的1和2了table(question$性别)

#最后结果：knn不适合处理该数据，需要做哑变量处理，再套模型

#举例10：利⽤袋装算法进⾏缺失值插补(只能对数值型变量处理)question<-read.csv(\"问卷调研数据.csv\")question<-question[,-1]

mice::md.pattern(question) #列表缺失值探索library(caret)

bag.model<-preProcess(question,method = \"bagImpute\") #bag算法模型建⽴install.packages(\"ipred\")

question2<-predict(bag.model,question) #预测结果mice::md.pattern(question2) #列表缺失值探索table(question2$性别)

#最后结果：bag算法不适合处理该数据