함수 - readr 패키지




대용량 데이터 테이블에서 NA를 가장 빠른 방법으로 대체 (5)

내 이해는 R에서의 빠른 연산의 비밀은 벡터 (또는 두포의 벡터 인 배열)를 사용하는 것입니다.

이 솔루션에서는 array data.matrix 를 사용하지만 data.matrix 과 조금 비슷하게 동작합니다. 배열이므로 매우 간단한 벡터 치환을 사용하여 NA 를 대체 할 수 있습니다.

NA 를 제거하는 약간의 도우미 기능. 본질은 한 줄의 코드입니다. 실행 시간을 측정하기 위해서만이 작업을 수행합니다.

remove_na <- function(x){
  dm <- data.matrix(x)
  dm[is.na(dm)] <- 0
  data.table(dm)
}

주어진 크기의 data.table 을 만드는 작은 도우미 함수.

create_dt <- function(nrow=5, ncol=5, propNA = 0.5){
  v <- runif(nrow * ncol)
  v[sample(seq_len(nrow*ncol), propNA * nrow*ncol)] <- NA
  data.table(matrix(v, ncol=ncol))
}

작은 샘플 데모 :

library(data.table)
set.seed(1)
dt <- create_dt(5, 5, 0.5)

dt
            V1        V2        V3        V4        V5
[1,]        NA 0.8983897        NA 0.4976992 0.9347052
[2,] 0.3721239 0.9446753        NA 0.7176185 0.2121425
[3,] 0.5728534        NA 0.6870228 0.9919061        NA
[4,]        NA        NA        NA        NA 0.1255551
[5,] 0.2016819        NA 0.7698414        NA        NA

remove_na(dt)
            V1        V2        V3        V4        V5
[1,] 0.0000000 0.8983897 0.0000000 0.4976992 0.9347052
[2,] 0.3721239 0.9446753 0.0000000 0.7176185 0.2121425
[3,] 0.5728534 0.0000000 0.6870228 0.9919061 0.0000000
[4,] 0.0000000 0.0000000 0.0000000 0.0000000 0.1255551
[5,] 0.2016819 0.0000000 0.7698414 0.0000000 0.0000000

필자는 대형 data.table 을 가지고 있으며, 누락 된 값이 ~ 200k 행과 200 열에 분산되어 있습니다. 가능한 한 효율적으로 해당 NA 값을 0으로 다시 코딩하고 싶습니다.

두 가지 옵션이 있습니다.
1 : data.frame으로 변환하고 다음 과 같이 사용 하십시오.
2 : 멋진 데이터. 테이블 하위 설정 명령의 일종

나는 타입 1의 상당히 효율적인 솔루션에 만족할 것이다. data.frame으로 변환 한 다음 다시 data.table로 변환하는 것은 그리 오래 걸리지 않을 것이다.


다음은 gdata 패키지에서 NAToUnknown 을 사용하는 솔루션입니다. Andrie의 솔루션을 사용하여 거대한 데이터 테이블을 만들었으며 Andrie의 솔루션과 시간 비교도 포함 시켰습니다.

# CREATE DATA TABLE
dt1 = create_dt(2e5, 200, 0.1)

# FUNCTIONS TO SET NA TO ZERO   
f_gdata  = function(dt, un = 0) gdata::NAToUnknown(dt, un)
f_Andrie = function(dt) remove_na(dt)

# COMPARE SOLUTIONS AND TIMES
system.time(a_gdata  <- f_gdata(dt1))

user  system elapsed 
4.224   2.962   7.388 

system.time(a_andrie <- f_Andrie(dt1))

 user  system elapsed 
4.635   4.730  20.060 

identical(a_gdata, g_andrie)  

TRUE

여기에 data.table의 연산자를 사용하는 솔루션이 있습니다 := Andrie와 Ramnath의 답변을 바탕으로 구축 된 연산자입니다.

require(data.table)  # v1.6.6
require(gdata)       # v2.8.2

set.seed(1)
dt1 = create_dt(2e5, 200, 0.1)
dim(dt1)
[1] 200000    200    # more columns than Ramnath's answer which had 5 not 200

f_andrie = function(dt) remove_na(dt)

f_gdata = function(dt, un = 0) gdata::NAToUnknown(dt, un)

f_dowle = function(dt) {     # see EDIT later for more elegant solution
  na.replace = function(v,value=0) { v[is.na(v)] = value; v }
  for (i in names(dt))
    eval(parse(text=paste("dt[,",i,":=na.replace(",i,")]")))
}

system.time(a_gdata = f_gdata(dt1)) 
   user  system elapsed 
 18.805  12.301 134.985 

system.time(a_andrie = f_andrie(dt1))
Error: cannot allocate vector of size 305.2 Mb
Timing stopped at: 14.541 7.764 68.285 

system.time(f_dowle(dt1))
  user  system elapsed 
 7.452   4.144  19.590     # EDIT has faster than this

identical(a_gdata, dt1)   
[1] TRUE

f_dowle은 dt1을 참조로 업데이트했습니다. 로컬 복사본이 필요한 경우에는 전체 데이터 집합의 로컬 복사본을 만들기 위해 명시 적으로 copy 함수를 호출해야합니다. data.table의 setkey , key<-:= 는 copy-on-write하지 않습니다.

다음으로, f_dowle이 시간을 보내는 곳을 보자.

Rprof()
f_dowle(dt1)
Rprof(NULL)
summaryRprof()
$by.self
                  self.time self.pct total.time total.pct
"na.replace"           5.10    49.71       6.62     64.52
"[.data.table"         2.48    24.17       9.86     96.10
"is.na"                1.52    14.81       1.52     14.81
"gc"                   0.22     2.14       0.22      2.14
"unique"               0.14     1.36       0.16      1.56
... snip ...

저기, 나는 na.replacena.replace 집중할 것입니다. 여기에는 몇 개의 벡터 사본과 벡터 스캔이 있습니다. 그것들은 벡터에서 참조로 NA 를 업데이트하는 작은 na.replace C 함수를 작성함으로써 상당히 쉽게 제거 할 수 있습니다. 적어도 20 초 정도는 반으로 줄 것입니다. 그러한 기능이 어떤 R 패키지에도 존재합니까?

f_andrie 가 실패하는 이유는 dt1 전체를 복사하거나 dt1 전체만큼 큰 논리 행렬을 몇 번 생성하기 때문일 수 있습니다. 다른 두 가지 방법은 한 번에 하나의 열에서 작동합니다 (단 NAToUnknown 간략하게 살펴 NAToUnknown ).

편집 (의견에 Ramnath가 요청한보다 우아한 해결책) :

f_dowle2 = function(DT) {
  for (i in names(DT))
    DT[is.na(get(i)), (i):=0]
}

system.time(f_dowle2(dt1))
  user  system elapsed 
 6.468   0.760   7.250   # faster, too

identical(a_gdata, dt1)   
[1] TRUE

나는 처음부터 그렇게 할 수 있었으면 좋겠다.

EDIT2 (1 년 후, 지금)

set() 있습니다. 이것은 많은 열이 반복되는 경우 더 빠를 수 있습니다. 이는 루프에서 [,:=,] 을 호출하는 (작은) 오버 헤드를 피할 수 있기 때문입니다. set 은 loopable := 입니다. 참조하십시오.

f_dowle3 = function(DT) {
  # either of the following for loops

  # by name :
  for (j in names(DT))
    set(DT,which(is.na(DT[[j]])),j,0)

  # or by number (slightly faster than by name) :
  for (j in seq_len(ncol(DT)))
    set(DT,which(is.na(DT[[j]])),j,0)
}

완전을 기하기 위해, NAs를 0으로 대체하는 또 다른 방법은

f_rep <- function(dt) {
dt[is.na(dt)] <- 0
return(dt)
}

결과와 시간을 비교하기 위해 지금까지 언급 된 모든 접근 방식을 통합했습니다.

set.seed(1)
dt1 <- create_dt(2e5, 200, 0.1)
dt2 <- dt1
dt3 <- dt1

system.time(res1 <- f_gdata(dt1))
   User      System verstrichen 
   3.62        0.22        3.84 
system.time(res2 <- f_andrie(dt1))
   User      System verstrichen 
   2.95        0.33        3.28 
system.time(f_dowle2(dt2))
   User      System verstrichen 
   0.78        0.00        0.78 
system.time(f_dowle3(dt3))
   User      System verstrichen 
   0.17        0.00        0.17 
system.time(res3 <- f_unknown(dt1))
   User      System verstrichen 
   6.71        0.84        7.55 
system.time(res4 <- f_rep(dt1))
   User      System verstrichen 
   0.32        0.00        0.32 

identical(res1, res2) & identical(res2, res3) & identical(res3, res4) & identical(res4, dt2) & identical(dt2, dt3)
[1] TRUE

따라서 새로운 접근 방식은 f_dowle3 보다 약간 느리지 만 다른 모든 접근 방식보다 빠릅니다. 그러나 솔직히 말해서, 이것은 data.table Syntax의 직감에 위배됩니다. 왜 이것이 작동하는지 전혀 모르겠습니다. 아무도 나에게 계몽 수 있습니까?


library(data.table)

DT = data.table(a=c(1,"A",NA),b=c(4,NA,"B"))

DT
    a  b
1:  1  4
2:  A NA
3: NA  B

DT[,lapply(.SD,function(x){ifelse(is.na(x),0,x)})]
   a b
1: 1 4
2: A 0
3: 0 B

단지 참조 용으로 gdata 나 data.matrix에 비해 느리지 만 data.table 패키지 만 사용하고 숫자가 아닌 항목을 처리 할 수 ​​있습니다.





data.table