R 언어의 핵심을 구성하는 base R은 크기도 얼마되지 않는다. 반면 여러 용도로 개발된 수많은 패키지들이 있어 효용성이 증폭된다. R의 이러한 organic한 특성은 다양한 방법으로 확장되는 장점이 있는 반면, 일관성이라는 부분에서는 취약하다.
R tidyverse는 tidy data라는 일관된 철학을 바탕으로 개발된 여러 패키지들을 일컫는 패키지로, 패키지들을 모은 일종의 메타패키지이다. 이 패키지들은 데이터 과학 작업 흐름 전반에 걸쳐 다양하게 사용되며, 나머지 R 세계에도 지대한 영향을 미쳤다. 초기 개념은 해들리 위캄의 Tidy Data(Wickham 2014)이라는 article에서 찾을 수 있다.
위 논문에서 소개된 핵심 내용은 바뀌지 않았지만, 도구는 많이 바뀌었다. 현대판 설명문은 tidyr 패키지에 포함된 비니에트는 Tidy data에 나와 있으므로, 이것을 번역하여 같이 읽어보고자 한다. 다음은 비니에트의 번역이다.
데이터 분석의 80%는 data cleaning을 통해 데이터를 정리하는 데 사용된다. 그럼에도 불구하여 아직 이 분야에 대한 연구가 잘 되어 있지 않았다. 저자는 이런 측면의 일부를 논의하려고 하는데, 분석을 촉진시킬 수 있도록 데이터를 구조화하는 방법이고, 이것을 “data tidying”라고 부르려 한다.
tidy data 원리는 데이터 안에서 데이터를 재구성하는 표준화된 방법을 제시한다. 이런 표준을 통해서 사용자들은 새로운 것을 다시 만들고, 새로 시작하거나 하는 등의 수고를 덜 수 있다. tidy dataset와 tidy data tools의 조합으로 데이터 분석을 쉽게 할 수 있다.
레오 톨스토이는 “행복한 집안은 대체로 비슷한다. 반대로 불행한 집안은 각자의 방식으로 불행하다.”라고 했다.
대부분의 통계 데이터셋은 행(rows)과 열(columns)로 구성된 데이터프레임이다. 열은 항상 레이블이 있고, 행은 레이블이 있는 경우도 있고, 없는 경우도 있다. 같은 데이터셋이라고 해도 여러 가지 방식으로 다른 레이아웃을 취할 수 있다.
다음 예를 보자.
library(tibble)
classroom <- tribble(
~name, ~quiz1, ~quiz2, ~test1,
"Billy", NA, "D", "C",
"Suzy", "F", NA, NA,
"Lionel", "B", "C", "B",
"Jenny", "A", "A", "B"
)
classroom# A tibble: 4 × 4
name quiz1 quiz2 test1
<chr> <chr> <chr> <chr>
1 Billy <NA> D C
2 Suzy F <NA> <NA>
3 Lionel B C B
4 Jenny A A B tribble(
~assessment, ~Billy, ~Suzy, ~Lionel, ~Jenny,
"quiz1", NA, "F", "B", "A",
"quiz2", "D", NA, "C", "A",
"test1", "C", NA, "B", "B"
)# A tibble: 3 × 5
assessment Billy Suzy Lionel Jenny
<chr> <chr> <chr> <chr> <chr>
1 quiz1 <NA> F B A
2 quiz2 D <NA> C A
3 test1 C <NA> B B 앞의 classroom 데이터셋의 tidy 버전은 다음과 같다.
library(tidyr)
library(dplyr)
classroom2 <- classroom %>%
pivot_longer(quiz1:test1, names_to = "assessment", values_to = "grade") %>%
arrange(name, assessment)
classroom2# A tibble: 12 × 3
name assessment grade
<chr> <chr> <chr>
1 Billy quiz1 <NA>
2 Billy quiz2 D
3 Billy test1 C
4 Jenny quiz1 A
5 Jenny quiz2 A
6 Jenny test1 B
7 Lionel quiz1 B
8 Lionel quiz2 C
9 Lionel test1 B
10 Suzy quiz1 F
11 Suzy quiz2 <NA>
12 Suzy test1 <NA> 이렇게 하면 값, 변수, 관측이 좀 더 명확해진다. 이 데이터셋은 3개의 변수와 12개의 관측을 가진 총 36개의 값을 포함한다. 그 변수는 다음과 같다.
name: 4개의 가능한 값assessment: 3개의 가능한 값grade: 결측값을 어떻게 취급하지에 따라 5 또는 6개의 값tidy 데이터프레임은 하나의 관측이 무엇을 의미하는지 명확하게 말해준다. 이 경우 이름(name)과 평가(assessment)의 모든 조합이 단 하나의 측정된 관측을 의미한다.
데이터셋은 결측값이 무엇을 의미하는지에 대한 정보도 제공한다. 그것이 가능하진지, 어떤 의미를 갖는지를 말이다. 예를 들어 Billy는 첫 번째 퀴즈에 불참했는데, 점수를 만회하기 위해서 노력한 것으로 보인다. Suzy는 첫 번째 퀴즈에서 낙방해서 수업을 듣지 않기로 결정했다. Billy의 최종 점수를 계산하려면 우리는 결측값에 F로 채워야할 수도 있다(아니면 그가 두 번째 퀴즈를 볼 기회를 얻을 수도 있다). 그렇지만, 만약 우리가 이 수업의 Test 1에 평균을 구하고자 할 때는 Suzy의 구조적인 결측값은 적절한 새로운 값으로 대처하는(impute) 대신 이 값을 제외하는 것이 바람직할 수도 있다.
주어진 데이터셋에서 어떤 것이 관측이고 어떤 것이 변수인지 구분하는 것은 쉽다. 하지만 일반적으로 변수와 관측을 정확하게 정의하는 것은 놀랍도록 어렵다.
어떤 경우에는 관측에서 복수의 레벨이 존재할 수 있다. 새로운 알러지 약물 임상 시험인 경우 3 종류의 관측 형태가 존재할 수 있다. 개인에 대한 인구학적 특성 데이터(age, sex, race), 각 환자에서 매일 측정되는 의학 데이터((number of sneeze, rendness of eye), 매일 측정되는 기상학적 데이터(temperatoure, pollen count) 등이 있다
변수들은 분석이 진행되면서 바뀔 수 있다. 종종 원 데이터의 변수들은 매우 세밀하게 쪼개져 있어서, 모델 설명에 대한 이득은 거의 없으면서 복잡성만 더 부여할 수도 있다. 예를 들어, 많은 설문지들은 내재된 특성을 더 잘 파악하기 위해서 같은 질문을 반복하곤 한다. 분석 초기 단계에서는 변수들이 질문에 대응한다. 나중에 가면, 분석자는 여러 질문들을 합계한 평균을 계산한 특성들에 초점을 맞출 수도 있다. 이렇게 하면 hierachical model을 필요로 하지 않기 때문에 분석을 간편하게 만든다. 어떤 경우 이산값이 아니라 연속형인 것처럼 다루기도 한다.
Tidy data는 데이터셋에 내장된 의미를 그것의 구조에 매핑하는 표준적인 방법을 말한다. 행, 열, 테이블이 관측, 변수, 관측 타입과 어떻게 매칭되는지에 따라 messy인지 tidy인지 결정된다. Tidy data는 다음과 같은 특성을 가진다.
이것은 Codd가 말한 3rd normal form인데, 이것을 통계학적인 언어로 재설정한 것으로, 관계형 데이터베애스에서 흔히 보는 여러 연결된 데이터셋이 아니라 단 하나의 데이터셋에 초점을 주는 점이 다르다. Messy data란 이 규칙에 어긋나는 것을 말한다.
Tidy data는 데이터셋을 구성하는 표준적인 방법을 제공하기 때문에 컴퓨터가 필요한 변수를 추출하는 것을 쉽게 해 준다. Table 3을 Table 1과 비교해 보자. Table 1을 사용한다면 서로 다른 변수를 추출하기 위해서 여러 전략들을 구사해야 한다. 이렇게 하다 보면 분석이 느려지고 오류가 생긴다.
실험 설계에 따라 fixed variable들이 먼저, measured variables들은 뒤에 두는 것이 일반적이다.
실제 데이터들은 tidy data가 갖춰야 하는 3가지 규칙을 갖가지 방법으로 종종 어긴다. 바로 분석에 사용할 수 있는 데이터셋을 접하는 경우보다는 그렇지 않은 경우가 대부분이다. 이 절에서는 messy dataset의 가장 흔하게 발견되는 5가지 패턴과 수정하는 방법을 설명하고자 한다. 5가지 경우는 다음과 같다.
놀랍게도, 대부분 messy datasets은 몇 가지 도구 집합을 가지고도 쉽게 정렬할 수 있다. 도구는 Pivoting(longer and wider)과 Separtint이다. 다음 절에서 실제 messy 데이터셋을 보여주고, 이것을 정리하는 방법을 설명하려고 한다.
요인 배치 방법의 하나: Crossed(교차) vs Nested(내포)
표 2.4는 두 요인을 교차한 실험이다. 점(‘•’)으로 표시한 20마리의 랫들은 랜덤한 방법으로 병변을 받거가 받지 않도록 할당하고, 다시 약물을 투여하거나 투여받지 않은 군으로 구분한다. 이 경우 요인들은 요인의 모든 수준을 조합한 경우에 대하여 관찰되므로 교차(crossed)되었다고 말한다.
교차와 반대되는 개념: Nested(내포)
요인이 내포되지도 교차되지도 않을 때 중첩되었다(confounded)고 말한다.
relig_income# A tibble: 18 × 11
religion `<$10k` `$10-20k` `$20-30k` `$30-40k` `$40-50k` `$50-75k` `$75-100k`
<chr> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
1 Agnostic 27 34 60 81 76 137 122
2 Atheist 12 27 37 52 35 70 73
3 Buddhist 27 21 30 34 33 58 62
4 Catholic 418 617 732 670 638 1116 949
5 Don’t k… 15 14 15 11 10 35 21
6 Evangel… 575 869 1064 982 881 1486 949
7 Hindu 1 9 7 9 11 34 47
8 Histori… 228 244 236 238 197 223 131
9 Jehovah… 20 27 24 24 21 30 15
10 Jewish 19 19 25 25 30 95 69
11 Mainlin… 289 495 619 655 651 1107 939
12 Mormon 29 40 48 51 56 112 85
13 Muslim 6 7 9 10 9 23 16
14 Orthodox 13 17 23 32 32 47 38
15 Other C… 9 7 11 13 13 14 18
16 Other F… 20 33 40 46 49 63 46
17 Other W… 5 2 3 4 2 7 3
18 Unaffil… 217 299 374 365 341 528 407
# ℹ 3 more variables: `$100-150k` <dbl>, `>150k` <dbl>,
# `Don't know/refused` <dbl>이 데이터셋은 religion, income, frequency라는 세 변수를 가지고 있다. 이 데이터셋을 정리하기 위해서, 우리는 변수 역할을 하지는 않는 열들을 피벗팅하여 키-값 쌍을 구성하는 2개이 열로 피벗팅할 필요가 있다. 이런 작업을 종종 넓은(wide) 데이터셋을 긴(long or tall) 데이터셋으로 바꾼다라고 말한다.
변수들을 피벗팅할 때, 우리는 새롭게 만들 키-값 열에 대한 이름을 줄 필요가 있다. 피벗에 사용할 열들을 정의하고 나서(이 경우 religion을 제외한 모든 열), 키가 되는 열에 이름을 줄 필요가 있는데 이것은 열 헤더의 값들에 의해서 정의되는 변수의 이름이다. 이 경우에는 income이라고 했다. 두 번재는 값 열에 대한 이름으로 frequency롤 정했다.
relig_income %>%
pivot_longer(-religion, names_to = "income", values_to = "frequency")# A tibble: 180 × 3
religion income frequency
<chr> <chr> <dbl>
1 Agnostic <$10k 27
2 Agnostic $10-20k 34
3 Agnostic $20-30k 60
4 Agnostic $30-40k 81
5 Agnostic $40-50k 76
6 Agnostic $50-75k 137
7 Agnostic $75-100k 122
8 Agnostic $100-150k 109
9 Agnostic >150k 84
10 Agnostic Don't know/refused 96
# ℹ 170 more rows
이렇게 변형된 데이터셋은 tidy dataset이라고 할 수 있다. 왜냐하면 각 열이 하나의 변수를, 각 행이 하나의 관측을 나타내기 때문이다. 이 경우 하나의 관측이란 religion과 income 조합으로 이뤄지는 하나의 인구학적 단위를 의미한다.
여기서 설명하는 데이터폼은 시간 흐름에 따라 일정한 간격으로 값을 기록하는데도 사용될 수 있다. 예를 들어, 아래 빌보드 데이터셋은 톱 100에 처음으로 등재된 날을 보여준다. 각 주별 순위는 75개의 열로 기록했고 wk1에서 wk75까지 열이 그것이다. 이런 형태는 tidy 하지 않지만 데이터 수집/입력에서는 유용하다. 이렇게 하면 하나의 노래가 하나의 행만을 차지하기 때문이다.(일부 번역 생략)
billboard# A tibble: 317 × 79
artist track date.entered wk1 wk2 wk3 wk4 wk5 wk6 wk7 wk8
<chr> <chr> <date> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
1 2 Pac Baby… 2000-02-26 87 82 72 77 87 94 99 NA
2 2Ge+her The … 2000-09-02 91 87 92 NA NA NA NA NA
3 3 Doors D… Kryp… 2000-04-08 81 70 68 67 66 57 54 53
4 3 Doors D… Loser 2000-10-21 76 76 72 69 67 65 55 59
5 504 Boyz Wobb… 2000-04-15 57 34 25 17 17 31 36 49
6 98^0 Give… 2000-08-19 51 39 34 26 26 19 2 2
7 A*Teens Danc… 2000-07-08 97 97 96 95 100 NA NA NA
8 Aaliyah I Do… 2000-01-29 84 62 51 41 38 35 35 38
9 Aaliyah Try … 2000-03-18 59 53 38 28 21 18 16 14
10 Adams, Yo… Open… 2000-08-26 76 76 74 69 68 67 61 58
# ℹ 307 more rows
# ℹ 68 more variables: wk9 <dbl>, wk10 <dbl>, wk11 <dbl>, wk12 <dbl>,
# wk13 <dbl>, wk14 <dbl>, wk15 <dbl>, wk16 <dbl>, wk17 <dbl>, wk18 <dbl>,
# wk19 <dbl>, wk20 <dbl>, wk21 <dbl>, wk22 <dbl>, wk23 <dbl>, wk24 <dbl>,
# wk25 <dbl>, wk26 <dbl>, wk27 <dbl>, wk28 <dbl>, wk29 <dbl>, wk30 <dbl>,
# wk31 <dbl>, wk32 <dbl>, wk33 <dbl>, wk34 <dbl>, wk35 <dbl>, wk36 <dbl>,
# wk37 <dbl>, wk38 <dbl>, wk39 <dbl>, wk40 <dbl>, wk41 <dbl>, wk42 <dbl>, …pivot_longer() 함수를 사용하여 넓은 데이터를 길게 만들어 보자. 우리는 wk1에서 wk76 열을 피봇팅할 할 것이고, 키 이름은 week, 값 이름은 rank로 주었다.billboard2 <- billboard %>%
pivot_longer(
wk1:wk76,
names_to = "week",
values_to = "rank",
values_drop_na = TRUE
)
billboard2# A tibble: 5,307 × 5
artist track date.entered week rank
<chr> <chr> <date> <chr> <dbl>
1 2 Pac Baby Don't Cry (Keep... 2000-02-26 wk1 87
2 2 Pac Baby Don't Cry (Keep... 2000-02-26 wk2 82
3 2 Pac Baby Don't Cry (Keep... 2000-02-26 wk3 72
4 2 Pac Baby Don't Cry (Keep... 2000-02-26 wk4 77
5 2 Pac Baby Don't Cry (Keep... 2000-02-26 wk5 87
6 2 Pac Baby Don't Cry (Keep... 2000-02-26 wk6 94
7 2 Pac Baby Don't Cry (Keep... 2000-02-26 wk7 99
8 2Ge+her The Hardest Part Of ... 2000-09-02 wk1 91
9 2Ge+her The Hardest Part Of ... 2000-09-02 wk2 87
10 2Ge+her The Hardest Part Of ... 2000-09-02 wk3 92
# ℹ 5,297 more rows우리는 여기서 values_drop_na = TRUE 인자를 사용하여 rank 열에 있는 결측값은 제외하게 했다. 이 데이터셋에서 결측값은 해당 노래가 차트에 없었기 때문이기 때문에, 안전하게 제외할 수 있다.
좀 더 클리닝 작업을 진행하여 week 변수의 값들에서 앞의 wk를 없앤 후에 숫자로 변환한다. 그리고 톱 10에 진입한 날짜 이후 몇 주가 아닌 실제 날짜로 계산했다.
billboard3 <- billboard2 %>%
mutate(
week = as.integer(gsub("wk", "", week)),
date = as.Date(date.entered) + 7 * (week - 1),
date.entered = NULL
)
billboard3# A tibble: 5,307 × 5
artist track week rank date
<chr> <chr> <int> <dbl> <date>
1 2 Pac Baby Don't Cry (Keep... 1 87 2000-02-26
2 2 Pac Baby Don't Cry (Keep... 2 82 2000-03-04
3 2 Pac Baby Don't Cry (Keep... 3 72 2000-03-11
4 2 Pac Baby Don't Cry (Keep... 4 77 2000-03-18
5 2 Pac Baby Don't Cry (Keep... 5 87 2000-03-25
6 2 Pac Baby Don't Cry (Keep... 6 94 2000-04-01
7 2 Pac Baby Don't Cry (Keep... 7 99 2000-04-08
8 2Ge+her The Hardest Part Of ... 1 91 2000-09-02
9 2Ge+her The Hardest Part Of ... 2 87 2000-09-09
10 2Ge+her The Hardest Part Of ... 3 92 2000-09-16
# ℹ 5,297 more rowsartist, track, week 기준으로 정렬을 할 수 있을 것이다.billboard3 |> arrange(artist, track, week)# A tibble: 5,307 × 5
artist track week rank date
<chr> <chr> <int> <dbl> <date>
1 2 Pac Baby Don't Cry (Keep... 1 87 2000-02-26
2 2 Pac Baby Don't Cry (Keep... 2 82 2000-03-04
3 2 Pac Baby Don't Cry (Keep... 3 72 2000-03-11
4 2 Pac Baby Don't Cry (Keep... 4 77 2000-03-18
5 2 Pac Baby Don't Cry (Keep... 5 87 2000-03-25
6 2 Pac Baby Don't Cry (Keep... 6 94 2000-04-01
7 2 Pac Baby Don't Cry (Keep... 7 99 2000-04-08
8 2Ge+her The Hardest Part Of ... 1 91 2000-09-02
9 2Ge+her The Hardest Part Of ... 2 87 2000-09-09
10 2Ge+her The Hardest Part Of ... 3 92 2000-09-16
# ℹ 5,297 more rowsdata, rank에 따라 정렬할 수 있다.# A tibble: 5,307 × 5
artist track week rank date
<chr> <chr> <int> <dbl> <date>
1 Lonestar Amazed 1 81 1999-06-05
2 Lonestar Amazed 2 54 1999-06-12
3 Lonestar Amazed 3 44 1999-06-19
4 Lonestar Amazed 4 39 1999-06-26
5 Lonestar Amazed 5 38 1999-07-03
6 Lonestar Amazed 6 33 1999-07-10
7 Lonestar Amazed 7 29 1999-07-17
8 Amber Sexual 1 99 1999-07-17
9 Lonestar Amazed 8 29 1999-07-24
10 Amber Sexual 2 99 1999-07-24
# ℹ 5,297 more rowstb 결핵 데이터셋에서 이런 현상이 나타난다. 이 데이터셋은 세계보건기구의 데이터로 여러 국가에서 결핵 발생을 기록한 것이다. 인구 그룹을 성(m, f)과 나이 조합(0-14, 15-25, 25-34, 35-44, 45-54, 55-64, unknown)으로 나눠서 정리했다.# tidyr github 사이트에 있는 tb.csv를 읽도록 코드를 변경함
tb <- as_tibble(read.csv("https://raw.githubusercontent.com/tidyverse/tidyr/refs/heads/main/vignettes/tb.csv", stringsAsFactors = FALSE))
tb# A tibble: 5,769 × 22
iso2 year m04 m514 m014 m1524 m2534 m3544 m4554 m5564 m65 mu f04
<chr> <int> <int> <int> <int> <int> <int> <int> <int> <int> <int> <int> <int>
1 AD 1989 NA NA NA NA NA NA NA NA NA NA NA
2 AD 1990 NA NA NA NA NA NA NA NA NA NA NA
3 AD 1991 NA NA NA NA NA NA NA NA NA NA NA
4 AD 1992 NA NA NA NA NA NA NA NA NA NA NA
5 AD 1993 NA NA NA NA NA NA NA NA NA NA NA
6 AD 1994 NA NA NA NA NA NA NA NA NA NA NA
7 AD 1996 NA NA 0 0 0 4 1 0 0 NA NA
8 AD 1997 NA NA 0 0 1 2 2 1 6 NA NA
9 AD 1998 NA NA 0 0 0 1 0 0 0 NA NA
10 AD 1999 NA NA 0 0 0 1 1 0 0 NA NA
# ℹ 5,759 more rows
# ℹ 9 more variables: f514 <int>, f014 <int>, f1524 <int>, f2534 <int>,
# f3544 <int>, f4554 <int>, f5564 <int>, f65 <int>, fu <int>pivot_longer()로 피벗팅해 보자.tb2 <- tb %>%
pivot_longer(
!c(iso2, year),
names_to = "demo",
values_to = "n",
values_drop_na = TRUE
)
tb2# A tibble: 35,750 × 4
iso2 year demo n
<chr> <int> <chr> <int>
1 AD 1996 m014 0
2 AD 1996 m1524 0
3 AD 1996 m2534 0
4 AD 1996 m3544 4
5 AD 1996 m4554 1
6 AD 1996 m5564 0
7 AD 1996 m65 0
8 AD 1996 f014 0
9 AD 1996 f1524 1
10 AD 1996 f2534 1
# ℹ 35,740 more rowsseparate() 함수는 복합 변수를 개별 변수로 분리하는 데 사용된다. 값의 분리를 위해 정규 표현식(regular expression)을 사용할 수도 있고, 디폴트로 이와 같은 비-알파벳-또는-숫자로 나누도록 설정되어 있다. 또는 어떤 문자의 위치를 벡터로 지정할 수 있다. 이 경우에는 첫 번재 문자 바로 다음을 기준으로 쪼개도록 한다.# A tibble: 35,750 × 5
iso2 year sex age n
<chr> <int> <chr> <chr> <int>
1 AD 1996 m 014 0
2 AD 1996 m 1524 0
3 AD 1996 m 2534 0
4 AD 1996 m 3544 4
5 AD 1996 m 4554 1
6 AD 1996 m 5564 0
7 AD 1996 m 65 0
8 AD 1996 f 014 0
9 AD 1996 f 1524 1
10 AD 1996 f 2534 1
# ℹ 35,740 more rows이렇게 해 놓으면 전체 인구수 population을 결합시킨 발생률을 계산하기도 편리하다. 원래의 표에는 값이 들어갈 열이 없다.
separate() 과정을 pivot_longer() 함수에 녹여 한번에 수행시킬 수도 있다.
tb %>% pivot_longer(
!c(iso2, year),
names_to = c("sex", "age"),
names_pattern = "(.)(.+)",
values_to = "n",
values_drop_na = TRUE
)# A tibble: 35,750 × 5
iso2 year sex age n
<chr> <int> <chr> <chr> <int>
1 AD 1996 m 014 0
2 AD 1996 m 1524 0
3 AD 1996 m 2534 0
4 AD 1996 m 3544 4
5 AD 1996 m 4554 1
6 AD 1996 m 5564 0
7 AD 1996 m 65 0
8 AD 1996 f 014 0
9 AD 1996 f 1524 1
10 AD 1996 f 2534 1
# ℹ 35,740 more rowsweather <- as_tibble(read.csv("https://raw.githubusercontent.com/tidyverse/tidyr/refs/heads/main/vignettes/weather.csv", stringsAsFactors = FALSE))
weather# A tibble: 22 × 35
id year month element d1 d2 d3 d4 d5 d6 d7 d8
<chr> <int> <int> <chr> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
1 MX17004 2010 1 tmax NA NA NA NA NA NA NA NA
2 MX17004 2010 1 tmin NA NA NA NA NA NA NA NA
3 MX17004 2010 2 tmax NA 27.3 24.1 NA NA NA NA NA
4 MX17004 2010 2 tmin NA 14.4 14.4 NA NA NA NA NA
5 MX17004 2010 3 tmax NA NA NA NA 32.1 NA NA NA
6 MX17004 2010 3 tmin NA NA NA NA 14.2 NA NA NA
7 MX17004 2010 4 tmax NA NA NA NA NA NA NA NA
8 MX17004 2010 4 tmin NA NA NA NA NA NA NA NA
9 MX17004 2010 5 tmax NA NA NA NA NA NA NA NA
10 MX17004 2010 5 tmin NA NA NA NA NA NA NA NA
# ℹ 12 more rows
# ℹ 23 more variables: d9 <lgl>, d10 <dbl>, d11 <dbl>, d12 <lgl>, d13 <dbl>,
# d14 <dbl>, d15 <dbl>, d16 <dbl>, d17 <dbl>, d18 <lgl>, d19 <lgl>,
# d20 <lgl>, d21 <lgl>, d22 <lgl>, d23 <dbl>, d24 <lgl>, d25 <dbl>,
# d26 <dbl>, d27 <dbl>, d28 <dbl>, d29 <dbl>, d30 <dbl>, d31 <dbl>이 데이터셋에는 변수가 id, year, month와 같이 개별 열에, d1-d31로 된 것과 같이 여러 열들에, tmin, tmax 처럼 행에 걸쳐 존재한다. 31일을 채우지 못하는 달은 마지막 날 이후 구조적인 결측값을 가진다.
먼저 pivot_longer()로 일자열들을 피벗팅한다.
weather2 <- weather %>%
pivot_longer(
d1:d31,
names_to = "day",
values_to = "value",
values_drop_na = TRUE
)
weather2# A tibble: 66 × 6
id year month element day value
<chr> <int> <int> <chr> <chr> <dbl>
1 MX17004 2010 1 tmax d30 27.8
2 MX17004 2010 1 tmin d30 14.5
3 MX17004 2010 2 tmax d2 27.3
4 MX17004 2010 2 tmax d3 24.1
5 MX17004 2010 2 tmax d11 29.7
6 MX17004 2010 2 tmax d23 29.9
7 MX17004 2010 2 tmin d2 14.4
8 MX17004 2010 2 tmin d3 14.4
9 MX17004 2010 2 tmin d11 13.4
10 MX17004 2010 2 tmin d23 10.7
# ℹ 56 more rows설명을 위해 결측값을 제외했다. 우리는 해당 월이 며칠을 가지고 있는지 잘 알고 있어서 명시적 결측값을 쉽게 다시 만들 수 있다.
데이터 클리닝을 좀 더 한다.
weather3 <- weather2 %>%
mutate(day = as.integer(gsub("d", "", day))) %>% # day 열에서 얖의 "d" 제거
select(id, year, month, day, element, value)
weather3# A tibble: 66 × 6
id year month day element value
<chr> <int> <int> <int> <chr> <dbl>
1 MX17004 2010 1 30 tmax 27.8
2 MX17004 2010 1 30 tmin 14.5
3 MX17004 2010 2 2 tmax 27.3
4 MX17004 2010 2 3 tmax 24.1
5 MX17004 2010 2 11 tmax 29.7
6 MX17004 2010 2 23 tmax 29.9
7 MX17004 2010 2 2 tmin 14.4
8 MX17004 2010 2 3 tmin 14.4
9 MX17004 2010 2 11 tmin 13.4
10 MX17004 2010 2 23 tmin 10.7
# ℹ 56 more rowselement 열은 아직 하나의 변수가 아니다. 이 열은 변수들의 이름을 저장하고 있다. 이 문제를 해결하기 위해서는 데이터를 넓게 만드는 pivot_wider() 함수가 필요하다. 이 함수는 pivot_longer()와 정반대의 일을 해서, element를 피벗팅하여 그 값들을 여러 행으로 펼친다.weather3 %>%
pivot_wider(names_from = element, values_from = value)# A tibble: 33 × 6
id year month day tmax tmin
<chr> <int> <int> <int> <dbl> <dbl>
1 MX17004 2010 1 30 27.8 14.5
2 MX17004 2010 2 2 27.3 14.4
3 MX17004 2010 2 3 24.1 14.4
4 MX17004 2010 2 11 29.7 13.4
5 MX17004 2010 2 23 29.9 10.7
6 MX17004 2010 3 5 32.1 14.2
7 MX17004 2010 3 10 34.5 16.8
8 MX17004 2010 3 16 31.1 17.6
9 MX17004 2010 4 27 36.3 16.7
10 MX17004 2010 5 27 33.2 18.2
# ℹ 23 more rows데이터셋들은 종종 여러 수준에서 또는 서로 다른 관측 단위에서 수집되기도 한다. Tidying할 때는 각각의 관측 단위는 서로 다른 테이블에 저장되어야 한다. 이것은 각각의 팩트는 단 한 곳에서 표현되어 한다는 데이터베이스 정규화와 밀접하게 연관되어 있다. 이렇게 하지 않으면 불-일관성이 발생할 수 있기 때문이다,
앞에서 본 빌보드 데이터셋은 실제로 두 종류의 관측 단위를 가지고 있다. 노래와 그 노래의 주별 순위이다. 아티스트의 이름이 여러 번 반복되는 것을 통해서도 이게 드러난다.
이 데이터셋을 아티스트와 곡명을 저장하는 노래 데이터셋과 주별 해당 곡의 순위를 나타내는 랭킹 데이터셋으로 나눠보자. 먼저 song 데이테셋을 추출하자.
song <- billboard3 %>%
distinct(artist, track) %>%
mutate(song_id = row_number())
song# A tibble: 317 × 3
artist track song_id
<chr> <chr> <int>
1 2 Pac Baby Don't Cry (Keep... 1
2 2Ge+her The Hardest Part Of ... 2
3 3 Doors Down Kryptonite 3
4 3 Doors Down Loser 4
5 504 Boyz Wobble Wobble 5
6 98^0 Give Me Just One Nig... 6
7 A*Teens Dancing Queen 7
8 Aaliyah I Don't Wanna 8
9 Aaliyah Try Again 9
10 Adams, Yolanda Open My Heart 10
# ℹ 307 more rowsrank 데이터셋이다.rank <- billboard3 %>%
left_join(song, c("artist", "track")) %>%
select(song_id, date, week, rank)
rank# A tibble: 5,307 × 4
song_id date week rank
<int> <date> <int> <dbl>
1 1 2000-02-26 1 87
2 1 2000-03-04 2 82
3 1 2000-03-11 3 72
4 1 2000-03-18 4 77
5 1 2000-03-25 5 87
6 1 2000-04-01 6 94
7 1 2000-04-08 7 99
8 2 2000-09-02 1 91
9 2 2000-09-09 2 87
10 2 2000-09-16 3 92
# ℹ 5,297 more rows우리는 음반 판매량과 같은 “인구학적” 정보 비슷한 내용을 담은 해당 주에 대한 배경 정보를 포함하는 한 주의 데이터셋도 생각해 볼 수 있겠다.
정규화(normalization)은 데이터 정돈에 유용하고 일관성이 흩트러지는 것을 막는다. 그런데 관계형 데이터를 직접 다룰 수 있는 데이터 분석 도구들은 흔하지 않가여, 분석을 할 때 정규화 해제(denormalization) 또는 데이터셋의 머징을 통해 하나의 테이블으로 만들 필요가 생긴다.
단 한 종류의 관측 단위에 대한 데이터가 여러 개의 표나 파일로 나눠져 있는 경우도 흔하다. 이런 테이블이나 파일들은 또다른 변수에 의해서 분리되는 경우도 많다. 특정 연도, 특정 사람, 특정 위치에 대한 정보만을 담을 수 있다. 모두 같은 포맷으로 되어 있다면, 이 문제를 해결하는 것은 쉽다.
R purrr 패키지는 R로 이런 일을 하는데 안성맞춤이다. 다음 (가상) 코드는 data 디렉터리에 있는 .csv 확장자를 가지는 파일들을 하나의 벡터로 구성한다. 그런 다음 벡터의 요소마다 파일의 이름을 가져다 붙인다. 이렇게 하는 이유는 최종 데이터프레임의 각 행들이 원 소스에 따라 레이블이 붙여지도록 하기 위함이다. 마지막 map() 함수를 통한 루프를 사용하여 paths에 있는 요소마다 read_csv가 실행되고, 그 결과들이 list_rbind() 함수를 통해서 하나의 데이터프레임으로 만들어진다.
일단 하나의 테이블로 만든 다음은 필요한 추가 tidying 작업을 수행할 수 있을 것이다.
더 복잡한 경우는 시간에 흐름에 따라 데이터셋의 구조가 바뀔 때이다.