r - числа - сортировка данных в excel




Как отсортировать данные по нескольким столбцам? (12)

Ваш выбор

  • order от base
  • arrange с dplyr
  • setorder и setorderv из data.table
  • arrange с plyr
  • sort из taRifx
  • orderBy от doBy
  • sortData от Deducer

Большую часть времени вы должны использовать решения dplyr или data.table , если не имеют никаких зависимостей, и в этом случае используйте base::order .

Недавно я добавил sort.data.frame в пакет CRAN, что делает его совместимым с классом, как описано здесь: Лучший способ создания универсальной / согласованности методов для sort.data.frame?

Поэтому, учитывая data.frame dd, вы можете сортировать следующее:

dd <- data.frame(b = factor(c("Hi", "Med", "Hi", "Low"), 
      levels = c("Low", "Med", "Hi"), ordered = TRUE),
      x = c("A", "D", "A", "C"), y = c(8, 3, 9, 9),
      z = c(1, 1, 1, 2))
library(taRifx)
sort(dd, f= ~ -z + b )

Если вы являетесь одним из авторов этой функции, свяжитесь со мной. Обсуждение общедоступности здесь: http://chat.stackoverflow.com/transcript/message/1094290#1094290

Вы также можете использовать функцию plyr arrange() из plyr как указал Хэдли в приведенной выше теме:

library(plyr)
arrange(dd,desc(z),b)

Контрольные показатели. Обратите внимание, что я загружал каждый пакет в новый сеанс R, так как было много конфликтов. В частности, загрузка пакета doBy приводит к возврату sort «Следующие объекты замаскированы из« x (позиция 17) »: b, x, y, z» и загрузка пакета sort.data.frame перезаписывает sort.data.frame из Kevin Райт или пакет taRifx.

#Load each time
dd <- data.frame(b = factor(c("Hi", "Med", "Hi", "Low"), 
      levels = c("Low", "Med", "Hi"), ordered = TRUE),
      x = c("A", "D", "A", "C"), y = c(8, 3, 9, 9),
      z = c(1, 1, 1, 2))
library(microbenchmark)

# Reload R between benchmarks
microbenchmark(dd[with(dd, order(-z, b)), ] ,
    dd[order(-dd$z, dd$b),],
    times=1000
)

Среднее время:

dd[with(dd, order(-z, b)), ] 778

dd[order(-dd$z, dd$b),] 788

library(taRifx)
microbenchmark(sort(dd, f= ~-z+b ),times=1000)

Среднее время: 1,567

library(plyr)
microbenchmark(arrange(dd,desc(z),b),times=1000)

Среднее время: 862

library(doBy)
microbenchmark(orderBy(~-z+b, data=dd),times=1000)

Среднее время: 1,694

Обратите внимание, что doBy занимает немного времени, чтобы загрузить пакет.

library(Deducer)
microbenchmark(sortData(dd,c("z","b"),increasing= c(FALSE,TRUE)),times=1000)

Не удалось загрузить Deducer. Требуется консоль JGR.

esort <- function(x, sortvar, ...) {
attach(x)
x <- x[with(x,order(sortvar,...)),]
return(x)
detach(x)
}

microbenchmark(esort(dd, -z, b),times=1000)

Кажется, что он не совместим с microbenchmark из-за подключения / отсоединения.

m <- microbenchmark(
  arrange(dd,desc(z),b),
  sort(dd, f= ~-z+b ),
  dd[with(dd, order(-z, b)), ] ,
  dd[order(-dd$z, dd$b),],
  times=1000
  )

uq <- function(x) { fivenum(x)[4]}  
lq <- function(x) { fivenum(x)[2]}

y_min <- 0 # min(by(m$time,m$expr,lq))
y_max <- max(by(m$time,m$expr,uq)) * 1.05

p <- ggplot(m,aes(x=expr,y=time)) + coord_cartesian(ylim = c( y_min , y_max )) 
p + stat_summary(fun.y=median,fun.ymin = lq, fun.ymax = uq, aes(fill=expr))

(линии простираются от нижнего квартиля до верхнего квартиля, точка - медиана)

Учитывая эти результаты и взвешивание простоты против скорости, я должен был бы дать кивок, чтобы arrange в пакете plyr . Он имеет простой синтаксис и все же почти так же быстродействующий, как и базовые команды R с их запутанными махинациями. Как правило, блестящий Хэдли Уикхем работает. Моя единственная проблема заключается в том, что он разбивает стандартную номенклатуру R, в которой объекты сортировки вызываются sort(object) , но я понимаю, почему Хэдли сделал это так из-за проблем, обсуждавшихся в связанном выше вопросе.

Я хочу сортировать data.frame по нескольким столбцам. Например, с нижеприведенным data.frame я хотел бы отсортировать по столбцу z (убыв), затем по столбцу b (по возрастанию):

dd <- data.frame(b = factor(c("Hi", "Med", "Hi", "Low"), 
      levels = c("Low", "Med", "Hi"), ordered = TRUE),
      x = c("A", "D", "A", "C"), y = c(8, 3, 9, 9),
      z = c(1, 1, 1, 2))
dd
    b x y z
1  Hi A 8 1
2 Med D 3 1
3  Hi A 9 1
4 Low C 9 2

Аранжировка () в dplyer - мой любимый вариант. Используйте оператора трубы и переходите от наименее важного к наиболее важному аспекту

dd1 <- dd %>%
    arrange(z) %>%
    arrange(desc(x))

В ответ на комментарий, добавленный в OP для того, как сортировать программно:

Использование dplyr и data.table

library(dplyr)
library(data.table)

dplyr

Просто используйте arrange_ , которая является стандартной версией оценки для arrange .

df1 <- tbl_df(iris)
#using strings or formula
arrange_(df1, c('Petal.Length', 'Petal.Width'))
arrange_(df1, ~Petal.Length, ~Petal.Width)
    Source: local data frame [150 x 5]

   Sepal.Length Sepal.Width Petal.Length Petal.Width Species
          (dbl)       (dbl)        (dbl)       (dbl)  (fctr)
1           4.6         3.6          1.0         0.2  setosa
2           4.3         3.0          1.1         0.1  setosa
3           5.8         4.0          1.2         0.2  setosa
4           5.0         3.2          1.2         0.2  setosa
5           4.7         3.2          1.3         0.2  setosa
6           5.4         3.9          1.3         0.4  setosa
7           5.5         3.5          1.3         0.2  setosa
8           4.4         3.0          1.3         0.2  setosa
9           5.0         3.5          1.3         0.3  setosa
10          4.5         2.3          1.3         0.3  setosa
..          ...         ...          ...         ...     ...


#Or using a variable
sortBy <- c('Petal.Length', 'Petal.Width')
arrange_(df1, .dots = sortBy)
    Source: local data frame [150 x 5]

   Sepal.Length Sepal.Width Petal.Length Petal.Width Species
          (dbl)       (dbl)        (dbl)       (dbl)  (fctr)
1           4.6         3.6          1.0         0.2  setosa
2           4.3         3.0          1.1         0.1  setosa
3           5.8         4.0          1.2         0.2  setosa
4           5.0         3.2          1.2         0.2  setosa
5           4.7         3.2          1.3         0.2  setosa
6           5.5         3.5          1.3         0.2  setosa
7           4.4         3.0          1.3         0.2  setosa
8           4.4         3.2          1.3         0.2  setosa
9           5.0         3.5          1.3         0.3  setosa
10          4.5         2.3          1.3         0.3  setosa
..          ...         ...          ...         ...     ...

#Doing the same operation except sorting Petal.Length in descending order
sortByDesc <- c('desc(Petal.Length)', 'Petal.Width')
arrange_(df1, .dots = sortByDesc)

подробнее здесь: https://cran.r-project.org/web/packages/dplyr/vignettes/nse.html

Лучше использовать формулу, поскольку она также захватывает среду для оценки выражения в

Таблица данных

dt1 <- data.table(iris) #not really required, as you can work directly on your data.frame
sortBy <- c('Petal.Length', 'Petal.Width')
sortType <- c(-1, 1)
setorderv(dt1, sortBy, sortType)
dt1
     Sepal.Length Sepal.Width Petal.Length Petal.Width   Species
  1:          7.7         2.6          6.9         2.3 virginica
  2:          7.7         2.8          6.7         2.0 virginica
  3:          7.7         3.8          6.7         2.2 virginica
  4:          7.6         3.0          6.6         2.1 virginica
  5:          7.9         3.8          6.4         2.0 virginica
 ---                                                            
146:          5.4         3.9          1.3         0.4    setosa
147:          5.8         4.0          1.2         0.2    setosa
148:          5.0         3.2          1.2         0.2    setosa
149:          4.3         3.0          1.1         0.1    setosa
150:          4.6         3.6          1.0         0.2    setosa

Вы можете использовать функцию order() напрямую, не прибегая к дополнительным инструментам - см. Этот более простой ответ, который использует трюк прямо из верхней части example(order) кода:

R> dd[with(dd, order(-z, b)), ]
    b x y z
4 Low C 9 2
2 Med D 3 1
1  Hi A 8 1
3  Hi A 9 1

Отредактируйте несколько лет спустя: спросили, как это сделать по индексу столбца. Ответ состоит в том, чтобы просто передать желаемый столбец сортировки функции order() :

R> dd[order(-dd[,4], dd[,1]), ]
    b x y z
4 Low C 9 2
2 Med D 3 1
1  Hi A 8 1
3  Hi A 9 1
R> 

вместо использования имени столбца (и with() для упрощения / более прямого доступа).


Другая альтернатива, использующая пакет rgr :

> library(rgr)
> gx.sort.df(dd, ~ -z+b)
    b x y z
4 Low C 9 2
2 Med D 3 1
1  Hi A 8 1
3  Hi A 9 1

Здесь есть много отличных ответов, но dplyr дает единственный синтаксис, который я могу быстро и легко запомнить (и поэтому теперь очень часто используется):

library(dplyr)
# sort mtcars by mpg, ascending... use desc(mpg) for descending
arrange(mtcars, mpg)
# sort mtcars first by mpg, then by cyl, then by wt)
arrange(mtcars , mpg, cyl, wt)

Для проблемы OP:

arrange(dd, desc(z),  b)

    b x y z
1 Low C 9 2
2 Med D 3 1
3  Hi A 8 1
4  Hi A 9 1

Ответ Дирка замечательный. В нем также подчеркивается ключевое различие в синтаксисе, используемом для индексирования data.frame s и data.table s:

## The data.frame way
dd[with(dd, order(-z, b)), ]

## The data.table way: (7 fewer characters, but that's not the important bit)
dd[order(-z, b)]

Разница между двумя вызовами небольшая, но она может иметь важные последствия. Особенно, если вы пишете производственный код и / или имеете отношение к правильности в своих исследованиях, лучше избегать ненужного повторения имен переменных. data.table поможет вам это сделать.

Вот пример того, как повторение имен переменных может вызвать у вас проблемы:

Давайте изменим контекст из ответа Дирка и скажем, что это часть более крупного проекта, где есть много имен объектов, и они являются длинными и значимыми; вместо dd это называется quarterlyreport . Это становится :

quarterlyreport[with(quarterlyreport,order(-z,b)),]

Хорошо. В этом нет ничего плохого. Затем ваш босс попросит вас включить отчет в прошлом квартале в отчет. Вы просматриваете свой код, добавляя объект в lastquarterlyreport в разные места и каким-то образом (как на земле?) Вы в итоге получаете следующее:

quarterlyreport[with(lastquarterlyreport,order(-z,b)),]

Это не то, что вы имели в виду, но вы не заметили его, потому что вы сделали это быстро, и он расположен на странице с похожим кодом. Код не падает (без предупреждения и без ошибок), потому что R думает, что это то, что вы имели в виду. Вы бы надеялись, что кто-то, кто читает ваш отчет, назовет его, но, возможно, нет. Если вы много работаете с языками программирования, то эта ситуация может быть знакомой. Вы скажете «опечатку». Я исправлю «опечатку», которую вы скажете своему боссу.

В data.table мы обеспокоены такими крошечными деталями. Итак, мы сделали что-то простое, чтобы не вводить имена переменных дважды. Что-то очень простое. i оценивается в рамках dd уже, автоматически. Вам вообще не нужно with() .

Вместо

dd[with(dd, order(-z, b)), ]

это просто

dd[order(-z, b)]

И вместо

quarterlyreport[with(lastquarterlyreport,order(-z,b)),]

это просто

quarterlyreport[order(-z,b)]

Это очень маленькая разница, но в один прекрасный день она может просто спасти вашу шею. При взвешивании разных ответов на этот вопрос подумайте о подсчете повторений имен переменных в качестве одного из ваших критериев при принятии решения. В некоторых ответах есть много повторений, другие - нет.


Подобно механическим карточным сортировщикам давно, сначала сортируйте по наименее значащему ключу, затем следующему наиболее значимому и т. Д. Никакой библиотеки не требуется, работает с любым количеством клавиш и любой комбинацией восходящих и нисходящих ключей.

 dd <- dd[order(dd$b, decreasing = FALSE),]

Теперь мы готовы сделать самый важный ключ. Сорт стабилен, и любые связи в наиболее значимом ключе уже решены.

dd <- dd[order(dd$z, decreasing = TRUE),]

Это может быть не самый быстрый, но, безусловно, простой и надежный



Таблица данных пакета R обеспечивает быстрый и эффективный порядок хранения данных. Таблицы с простым синтаксисом (часть, которую Мэтт особо выделил в своем ответе ). С тех пор было сделано много улучшений, а также новая функция setorder() . Из v1.9.5+ setorder() также работает с data.frames .

Во-первых, мы создадим набор данных достаточно большой и сравним различные методы, упомянутые в других ответах, а затем перечислим особенности data.table .

Данные:

require(plyr)
require(doBy)
require(data.table)
require(dplyr)
require(taRifx)

set.seed(45L)
dat = data.frame(b = as.factor(sample(c("Hi", "Med", "Low"), 1e8, TRUE)),
                 x = sample(c("A", "D", "C"), 1e8, TRUE),
                 y = sample(100, 1e8, TRUE),
                 z = sample(5, 1e8, TRUE), 
                 stringsAsFactors = FALSE)

тесты:

Сообщаемые тайминги - это запуск функции system.time(...) для этих функций, показанных ниже. Тайминги приведены ниже (в порядке наименьшей скорости).

orderBy( ~ -z + b, data = dat)     ## doBy
plyr::arrange(dat, desc(z), b)     ## plyr
arrange(dat, desc(z), b)           ## dplyr
sort(dat, f = ~ -z + b)            ## taRifx
dat[with(dat, order(-z, b)), ]     ## base R

# convert to data.table, by reference
setDT(dat)

dat[order(-z, b)]                  ## data.table, base R like syntax
setorder(dat, -z, b)               ## data.table, using setorder()
                                   ## setorder() now also works with data.frames 

# R-session memory usage (BEFORE) = ~2GB (size of 'dat')
# ------------------------------------------------------------
# Package      function    Time (s)  Peak memory   Memory used
# ------------------------------------------------------------
# doBy          orderBy      409.7        6.7 GB        4.7 GB
# taRifx           sort      400.8        6.7 GB        4.7 GB
# plyr          arrange      318.8        5.6 GB        3.6 GB 
# base R          order      299.0        5.6 GB        3.6 GB
# dplyr         arrange       62.7        4.2 GB        2.2 GB
# ------------------------------------------------------------
# data.table      order        6.2        4.2 GB        2.2 GB
# data.table   setorder        4.5        2.4 GB        0.4 GB
# ------------------------------------------------------------
  • data.table DT[order(...)] синтаксис был ~ 10 раз быстрее, чем самый быстрый из других методов ( dplyr ), потребляя тот же объем памяти, что и dplyr .

  • data.table setorder() был ~ 14 раз быстрее, чем самый быстрый из других методов ( dplyr ), при этом занимая всего 0,4 ГБ дополнительной памяти . dat теперь находится в том порядке, в котором мы требуем (поскольку он обновляется по ссылке).

data.table:

Скорость:

  • Заказ data.table чрезвычайно быстрый, поскольку он реализует упорядочение радиуса .

  • Синтаксис DT[order(...)] оптимизирован внутри, чтобы также использовать быстрый порядок данных. Table . Вы можете продолжать использовать знакомый базовый синтаксис R, но ускорить процесс (и использовать меньше памяти).

Объем памяти:

  • В большинстве случаев нам не требуется исходный файл data.frame или data.table после переупорядочения. То есть мы обычно присваиваем результат тому же самому объекту, например:

    DF <- DF[order(...)]
    

    Проблема в том, что для этого требуется как минимум дважды (2x) память исходного объекта. Для эффективной работы с памятью data.table также предоставляет функцию setorder() .

    setorder() переупорядочивает data.tables by reference ( на месте ) без дополнительных копий. Он использует только дополнительную память, равную размеру одного столбца.

Другие преимущества:

  1. Он поддерживает integer , logical , numeric , character и даже bit64::integer64 .

    Обратите внимание, что классы factor , Date , POSIXct т. Д. Являются integer / numeric типами под дополнительными атрибутами и поэтому поддерживаются.

  2. В базе R мы не можем использовать - для символьного вектора сортировать по этому столбцу в порядке убывания. Вместо этого мы должны использовать -xtfrm(.) .

    Однако в data.table мы можем просто сделать, например, dat[order(-x)] или setorder(dat, -x) .


Я узнал о order в следующем примере, который затем смутил меня в течение длительного времени:

set.seed(1234)

ID        = 1:10
Age       = round(rnorm(10, 50, 1))
diag      = c("Depression", "Bipolar")
Diagnosis = sample(diag, 10, replace=TRUE)

data = data.frame(ID, Age, Diagnosis)

databyAge = data[order(Age),]
databyAge

Единственная причина, по которой этот пример работает, заключается в том, что order сортируется по vector Age , а не по столбцу « Age в data frame data .

Чтобы увидеть это, создайте идентичный фрейм данных, используя read.table с немного разными именами столбцов и без использования какого-либо из перечисленных выше векторов:

my.data <- read.table(text = '

  id age  diagnosis
   1  49 Depression
   2  50 Depression
   3  51 Depression
   4  48 Depression
   5  50 Depression
   6  51    Bipolar
   7  49    Bipolar
   8  49    Bipolar
   9  49    Bipolar
  10  49 Depression

', header = TRUE)

Вышеуказанная структура строки для order больше не работает, потому что нет вектора с именем age :

databyage = my.data[order(age),]

Следующая строка работает, потому что order сортируется по age столбцов в my.data .

databyage = my.data[order(my.data$age),]

Я думал, что это стоит того, чтобы рассказывать, как я был смущен этим примером надолго. Если этот пост не считается подходящим для потока, я могу его удалить.

EDIT: 13 мая 2014 года

Ниже приведен обобщенный способ сортировки кадра данных по каждому столбцу без указания имен столбцов. В приведенном ниже коде показано, как сортировать слева направо или справа налево. Это работает, если каждый столбец является числовым. Я не пробовал использовать колонку символов.

Я нашел код do.call месяц или два назад в старой почте на другом сайте, но только после обширного и сложного поиска. Я не уверен, что смогу переместить этот пост сейчас. Настоящий поток является первым хитом для упорядочивания data.frame в R Итак, я думал, что моя расширенная версия этого оригинального кода do.call может быть полезна.

set.seed(1234)

v1  <- c(0,0,0,0, 0,0,0,0, 1,1,1,1, 1,1,1,1)
v2  <- c(0,0,0,0, 1,1,1,1, 0,0,0,0, 1,1,1,1)
v3  <- c(0,0,1,1, 0,0,1,1, 0,0,1,1, 0,0,1,1)
v4  <- c(0,1,0,1, 0,1,0,1, 0,1,0,1, 0,1,0,1)

df.1 <- data.frame(v1, v2, v3, v4) 
df.1

rdf.1 <- df.1[sample(nrow(df.1), nrow(df.1), replace = FALSE),]
rdf.1

order.rdf.1 <- rdf.1[do.call(order, as.list(rdf.1)),]
order.rdf.1

order.rdf.2 <- rdf.1[do.call(order, rev(as.list(rdf.1))),]
order.rdf.2

rdf.3 <- data.frame(rdf.1$v2, rdf.1$v4, rdf.1$v3, rdf.1$v1) 
rdf.3

order.rdf.3 <- rdf.1[do.call(order, as.list(rdf.3)),]
order.rdf.3

если SQL приходит к вам естественным образом, sqldf обрабатывает ORDER BY как Codd.







r-faq