jm_p_op

ER_datas 본문

py/Eternal Return 분석

ER_datas

jm_p_op 2023. 9. 28. 19:24

만줄이나 되는 빅데이터들(한판에대한 데이터)을 천판정도 구한데이터를 읽는다면 cpu가 고통 받을것이다.

따라서 필요한 데이터만 정재하자.

데이터를 정재하더라도 한판당 약 24명의 데이터가 있으므로 빅데이터이다.

따라서 정재하면서 원하는 데이터로 뽑으면 좋을것이다.

따라서 데이터를 class에 넣고 정재할때 데이터를 한번더 가공하자.


원하는 데이터의 타입이 달를수 있으므로 초기설정을 dic과 함께 사용하자

class FilterType():
    def filter_data_init(self):
        self.dic_characterNum_datas={}
        pass

	dic_type_init={
        "filter": filter_data_init,
    }
    
    def __init__(self,type,condition):
        self.type=type
        self.condition=condition
        self.dic_type_init[type](self)

데이터 추가하는 함수를 만들자

class FilterType():
    def filter_data(self,user_data):
        characterNum=user_data["characterNum"]
        datas={}
        request_datatype_list=self.condition
        for request_datatype in request_datatype_list:
            datas[request_datatype]=user_data[request_datatype]
            self.dic_characterNum_datas[characterNum]=self.dic_characterNum_datas.get(characterNum,[])+[datas]
    
    dic_type_result={
        "filter": filter_data,
    }
    
    
    def result(self,user_data):
        self.dic_type_result[self.type](self,user_data)

이를 통해 FilterType(type,condition)에서 뽑고자 하는 데이터 타입과 조건을 넣어주어 최소한의 실행으로 데이터를 정제할수있다.

'py > Eternal Return 분석' 카테고리의 다른 글

내장 함수,객체에서 kwarg을 밖에서 연결하기  (0) 2023.12.06
ERDataCleansing - 기능 추가&수정  (0) 2023.11.12
ER_apis  (0) 2023.09.25
project 계층화  (0) 2023.09.25
ER데이터 분석 구상 분석(1)_4  (0) 2023.09.10