python - h2o architecture




在H2o中计算MAPE:错误:提供的列类型POSIXct未知 (2)

根据我的回答问题: R或Python - 循环测试数据 - 接下来的24小时预测验证(每天96个值)

我想使用H2o Package预测第二天。 您可以在上面的链接中找到我的数据集的详细说明

H2o中的数据维度是不同的。

因此,在进行预测之后,我想计算MAPE

我必须将训练和测试数据更改为H2o格式

train_h2o <- as.h2o(train_data)

test_h2o <- as.h2o(test_data)

mape_calc <- function(sub_df) {
  pred <- predict.glm(glm_model, sub_df)
  actual <- sub_df$Ptot
  mape <- 100 * mean(abs((actual - pred)/actual))

  new_df <- data.frame(date = sub_df$date[[1]], mape = mape)

  return(new_df)
}

# LIST OF ONE-ROW DATAFRAMES
df_list <- by(test_data, test_data$date, map_calc)

# FINAL DATAFRAME
final_df <- do.call(rbind, df_list)

上部代码适用于日前的“ 非H2o ”预测验证,它计算每天的MAPE。

我试图将H2o预测模型转换为正常格式,但根据: https://stackoverflow.com/a/39221269/9341589 : https://stackoverflow.com/a/39221269/9341589 ,这是不可能的。

要在H2O中进行预测:

例如,假设我们想要创建一个随机森林模型

y <- "RealPtot" #target
x <- names(train_h2o) %>% setdiff(y) #features


rforest.model <- h2o.randomForest(y=y, x=x, training_frame = train_h2o, ntrees = 2000, mtries = 3, max_depth = 4, seed = 1122)

然后我们可以得到完整数据集的预测,如下所示。

predict.rforest <- as.data.frame(h2o.predict(rforest.model, test_h2o)

但在我的情况下,我试图使用mape_calc获得一天的预测

注意: 任何R或Python的想法将不胜感激。

UPDATE2(可重现的例子 ):**关注@Darren Cook步骤:

我提供了一个更简单的例子 - 波士顿住房数据集。

library(tidyverse)
library(h2o)
h2o.init(ip="localhost",port=54322,max_mem_size = "128g")


data(Boston, package = "MASS")

names(Boston)
[1] "crim"    "zn"      "indus"   "chas"    "nox"     "rm"      "age"     "dis"     "rad"     "tax"     "ptratio"
[12] "black"   "lstat"   "medv"   


set.seed(4984)
#Added 15 minute Time and date interval 
Boston$date<- seq(as.POSIXct("01-09-2017 03:00", format = "%d-%m-%Y %H:%M",tz=""), by = "15 min", length = 506)

#select first 333 values to be trained and the rest to be test data
train = Boston[1:333,]
test = Boston[334:506,]

#Dropped the date and time
train_data_finialized  <- subset(train, select=-c(date))

test_data_finialized <- test

#Converted the dataset to h2o object.
train_h2o<- as.h2o(train_data_finialized)
#test_h2o<- as.h2o(test)

#Select the target and feature variables for h2o model
y <- "medv" #target
x <- names(train_data_finialized) %>% setdiff(y) #feature variables

# Number of CV folds (to generate level-one data for stacking)
nfolds <- 5

#Replaced RF model by GBM because GBM run faster
# Train & Cross-validate a GBM
my_gbm <- h2o.gbm(x = x,
                  y = y,
                          training_frame = train_h2o,
                          nfolds = nfolds,
                          fold_assignment = "Modulo",
                          keep_cross_validation_predictions = TRUE,
                          seed = 1)

mape_calc <- function(sub_df) {
  p <- h2o.predict(my_gbm, as.h2o(sub_df))
  pred <- as.vector(p)
  actual <- sub_df$medv
  mape <- 100 * mean(abs((actual - pred)/actual))
  new_df <- data.frame(date = sub_df$date[[1]], mape = mape)
  return(new_df)
}


# LIST OF ONE-ROW DATAFRAMES
df_list <- by(test_data_finialized, test_data_finialized$date, mape_calc)

final_df <- do.call(rbind, df_list)

这是我现在得到的错误:

.h2o.doSafeREST出错(h2oRestApiVersion = h2oRestApiVersion,urlSuffix = page,:

错误信息:

提供的列类型POSIXct未知。 由于参数无效,无法继续解析。


H2O在与R的单独进程中运行(无论H2O是在本地服务器上还是在远程数据中心中)。 H2O数据和H2O模型保留在H2O过程中,R不能看到。

dH <- as.h2o(dR) 作用是将R数据帧 dR 复制到H2O的存储空间中。 然后, dH 是描述H2O数据帧的R变量。 即它是指针或手柄; 它不是数据本身。

dR <- as.data.frame(dH) 作用是将数据从H2O进程的内存复制到R进程的内存中。 ( as.vector(dH) 在dH描述单列时也是如此)

因此,假设 sub_df 是R数据帧,修改 mape_calc() 的最简单方法是更改​​前两行,如下所示:

mape_calc <- function(sub_df) {
  p <- h2o.predict(rforest.model, as.h2o(sub_df))
  pred <- as.vector(p)

  actual <- sub_df$Ptot
  mape <- 100 * mean(abs((actual - pred)/actual))

  new_df <- data.frame(date = sub_df$date[[1]], mape = mape)

  return(new_df)
}

sub_df 上传到H2O,并将其提供给 h2o.predict() 。 然后使用 as.vector() 下载所做的预测。

这与原始代码有关。 所以请保留原始版本:

# LIST OF ONE-ROW DATAFRAMES
df_list <- by(test_data, test_data$date, map_calc)

即不直接在 test_h2o 上使用 by()

根据编辑的问题 更新

我对您的示例代码进行了两处更改。 首先,我从 sub_df 删除了日期列。 这就是导致错误消息的原因。

第二个变化只是为了简化返回类型; 并不重要,但之前你的日期列重复了。

mape_calc <- function(sub_df) {
  sub_df_minus_date <- subset(sub_df, select=-c(date))
  p <- h2o.predict(my_gbm, as.h2o(sub_df_minus_date))
  pred <- as.vector(p)
  actual <- sub_df$medv
  mape <- 100 * mean(abs((actual - pred)/actual))
  data.frame(mape = mape)
}

ASIDE: h2o.predict() 在处理一批数据以进行预测时效率最高。 将 h2o.predict() 放在循环中是一种代码味道。 你最好在循环之外调用 h2o.predict(rforest.model, test_h2o) 一次,然后将预测下载到R中,然后 cbind 它们cbind到test_data,然后在那个组合数据上使用 by

更新 以下是您的示例更改为以这种方式工作:(我已将预测添加为测试数据的额外列;当然还有其他方法可以执行此操作)

 test_h2o <- as.h2o(subset(test_data_finialized, select=-c(date)))
 p <- h2o.predict(my_gbm, test_h2o)
 test_data_finialized$pred = as.vector(p)

 mape_calc2 <- function(sub_df) {
   actual <- sub_df$medv
   mape <- 100 * mean(abs((actual - sub_df$pred)/actual))
   data.frame(mape = mape)
 }

 df_list <- by(test_data_finialized, test_data_finialized$date, mape_calc2)

你应该注意到它运行得更快。

附加更新 by() 工作原理是将第二个参数的相同值分组,然后将它们一起处理。 由于您的所有时间戳都不同,因此您一次只能处理一行。

查看 xts 库,例如 apply.daily() 以分组时间戳。 但是对于想要按日期处理的简单情况,有一个简单的黑客攻击。 将你的 by() 行改为:

df_list <- by(test_data_finialized, as.Date(test_data_finialized$date), mape_calc2)

使用 as.Date() 将剥离时间。 因此,同一天的所有行现在看起来都相同并一起处理。

ASIDE 2: 如果你做出臭名昭着的 .com/help/mcve 你会得到更好的回应。 然后人们可以运行您的代码,他们可以测试他们的答案。 使用每个人都拥有的简单数据集(例如虹膜)而不是您自己的数据通常也更好。 (您可以对前4个字段中的任何一个进行回归;使用虹膜不必总是关于预测物种。)

ASIDE 3 :你可以在H2O中完全做MAPE,因为 abs()mean() 函数可以直接在H2O数据框架上工作(就像其他很多东西一样 - 参见H2O手册): https://.com/a/43103229/841830 : https://.com/a/43103229/841830 (我没有将此标记为副本,因为您的问题是如何 by() 适应H2O数据框,而不是如何有效地计算MAPE!)


可能只是文件格式是问题吗? 从Excel导入并运行后,我得到“提供列类型POSIXct未知”:

hr_data_h2o <- as.h2o(hr_data)
split_h2o <- h2o.splitFrame(hr_data_h2o, c(0.7, 0.15), seed = 1234)

我将源文件更改为制表符分隔(没有其他更改),问题就消失了。





h2o