Types of Data Munging¶
파생변수를 생성하는 일반적인 방법¶
- 한 값으로부터 특징들을 추출한다.
- 날짜로부터 요일을 계산
- 신용카드 번호로부터 신용카드 발급자를 추출
- 한 레코드 내의 값들을 결합한다.
- 멤버십 가입일과 첫 구매일로부터 경과를 계산
- 다른 테이블의 부가적인 정보를 참조한다.
- 우편번호에 따른 인구와 평균가계수입
- 상품코드에 대한 계층구조
- 다수 필드 내에 시간 종속적인 데이터를 pivoting한다.
- 월마다 한 행씩 저장되는 과금 데이터를 각각의 월에 대응하는 필드로 변환
- 거래 레코드들을 요약한다.
- 년간 총 구매액
- Customer Signature 필드들을 요약한다.
- 값의 표준화 및 서열화
H백화점 데이터 (1/2)¶
H백화점데이터로부터파생가능한변수¶
- 환불행태
- 구매상품다양성
- 내점일수 & 내점당구매건수
- 구매주기
- 요일별구매패턴
- 연령대
- 기간별구매금액 & 횟수
- 구매추세패턴
- 가격선호도
- 시즌선호도
- 상품별구매금액/횟수/여부
- 상품별구매순서
- 주구매상품
- 휴면/이탈여부</font>
In [1]:
install.packages("lubridate", repos = "http://cran.us.r-project.org")
In [2]:
library(dplyr)
library(lubridate)
library(ggplot2)
In [3]:
cs <- read.delim("H(TSV)/HDS_Customers.tab",stringsAsFactors = F)
tr <- read.delim("H(TSV)/HDS_Transactions_MG.tab", stringsAsFactors = F)
In [5]:
str(tr)
In [6]:
cs.v1 <- tr %>% filter(net_amt < 0) %>% group_by(custid) %>% summarize(rf_amt = sum(net_amt),rf_cnt=n())
In [8]:
head(cs.v1[order(cs.v1$rf_amt),])
In [10]:
cs.v2 <- tr %>% distinct(custid,brd_nm) %>% group_by(custid) %>% summarize(buy_brd=n())
head(cs.v2)
In [12]:
start_date = ymd(ymd_hms(min(tr$sales_date)))
end_date = ymd(ymd_hms(max(tr$sales_date)))
start_date
end_date
In [13]:
cs.v3 <- tr %>% distinct(custid,sales_date) %>% group_by(custid) %>% summarize(visits=n()) %>% mutate(API = as.integer(end_date - start_date)/visits)
head(cs.v3)
In [14]:
tmp <- tr %>% group_by(custid) %>% summarize(n=n())
cs.v4 <- inner_join(cs.v3, tmp) %>% mutate(NPPV = n/visits) %>% select(custid,NPPV)
head(cs.v4)
In [15]:
tmp <- tr %>% mutate(wk_amt = ifelse(wday(sales_date) %in% 2:6 ,net_amt,0), we_amt = ifelse(wday(sales_date) %in% c(1,7),net_amt,0)) %>% group_by(custid)
tmp <- tmp %>% summarise_each(funs(sum),wk_amt,we_amt)
cs.v5 <- tmp %>% mutate(wk_pat = ifelse(wk_amt>=we_amt*1.5,"주중형",ifelse(we_amt>=wk_amt*1.5,"주말형","유형없음")))
head(cs.v5)
In [18]:
cs.v5_2 <- tmp %>% mutate(wk_pat = ifelse(wk_amt>=we_amt*1.5,"Weekdays",ifelse(we_amt>=wk_amt*1.5,"Weekends","No Type")))
In [20]:
options(repr.plot.width = 5, repr.plot.height=4)
ggplot(cs.v5_2, aes(wk_pat)) + geom_bar(aes(fill=wk_pat))
In [21]:
cs.v6<-cs %>%
mutate(age=year('2001-05-01') -year(ymd_hms(birth))) %>%
mutate(age=ifelse(age < 10 | age > 100, NA, age)) %>%
mutate(age=ifelse(is.na(age),round(mean(age,na.rm=T)),age)) %>%
mutate(agegrp=cut(age, c(0,19,29,39,49,59,69,100), labels=F)*10) %>%
select(custid, age, agegrp)
head(cs.v6)
- 위와 같은 결과
In [23]:
cs.v6_2 <-cs%>% # 위와동일한결과를얻는다른표현
mutate(age=year('2001-05-01') -year(ymd_hms(birth)),
age=ifelse(age < 10 | age > 100, NA, age),
age=ifelse(is.na(age),round(mean(age,na.rm=T)),age),
agegrp=cut(age, c(0,19,29,39,49,59,69,100), labels=F)*10) %>%
select(custid, age, agegrp)
head(cs.v6_2)
In [25]:
end_date <- ymd(ymd_hms(max(tr$sales_date)))
start_date <- ymd('20010501') - months(12)
end_date
start_date
In [26]:
cs.v7.12 <-tr%>%
filter(start_date<=sales_date& sales_date<=end_date) %>%
group_by(custid) %>%
summarize(amt12=sum(net_amt), nop12=n())
In [27]:
start_date<-ymd('20010501') -months(6)
In [28]:
cs.v7.06 <-tr%>%
filter(start_date<=sales_date& sales_date<=end_date) %>%
group_by(custid) %>%
summarize(amt6=sum(net_amt), nop6=n())
In [29]:
start_date<-ymd('20010501') -months(3)
In [30]:
cs.v7.03 <-tr%>%
filter(start_date<=sales_date& sales_date<=end_date) %>%
group_by(custid) %>%
summarize(amt3=sum(net_amt), nop3=n())
In [32]:
cs.v7 <- left_join(cs.v7.12, cs.v7.06) %>% left_join(cs.v7.03)
In [34]:
head(cs.v7)
amt6, nop6, amt3, nop3가 NA이면 0으로 대체하는 코드 삽입¶
In [37]:
summary(cs.v7)
In [59]:
cs.v7[is.na(cs.v7$amt6),]$amt6 <- 0
cs.v7[is.na(cs.v7$nop6),]$nop6 <- 0
cs.v7[is.na(cs.v7$amt3),]$amt3 <- 0
cs.v7[is.na(cs.v7$nop3),]$nop3 <- 0
In [61]:
summary(cs.v7)
Customer Signature 만들기¶
In [62]:
custsig<-cs%>%
left_join(cs.v1) %>%
left_join(cs.v2) %>%
left_join(cs.v3) %>%
left_join(cs.v4) %>%
left_join(cs.v5) %>%
left_join(cs.v6) %>%
left_join(cs.v7)
In [66]:
summary(custsig)
In [69]:
custsig[is.na(custsig$rf_amt),]$rf_amt <- 0
custsig[is.na(custsig$rf_cnt),]$rf_cnt <- 0
In [70]:
summary(custsig)
팀프로젝트 (until 10/08)¶
