subindev 님의 블로그

캐글 놀이터 작업 1유형(35문제)https://www.kaggle.com/datasets/agileteam/bigdatacertificationkr Big Data Certification KR퇴근후딴짓 의 빅데이터 분석기사 실기 (Python, R tutorial code) 커뮤니티www.kaggle.com빅데이터 분석기사 실기 취득에 굉장히 도움이 많이 된 캐글 놀이터 입니다!데이터도 주어지고 예시 코드까지 볼 수 있기에 너무나 공부하기에 좋았습니다양질의 자료를 제공해주신 '퇴근후 딴짓'님에게 너무 감사합니다 🥹 2025/06/12(목)1-1 이상치(IQR)# 이상치(IQR) - min/max 구하기Q1 = df['Fare'].quantile(0.25)Q3 = df['Fare'].quantile(..

출처: 유튜브 - 데이터 분석 캠퍼스46번: .apply(lambda x:) + re 정규표현식숫자 0~3을 *로 마스킹하기import pandas as pdimport reemp = pd.read_csv("content/emp.csv")# sal 컬럼의 숫자 0~3을 *로 대체emp['sal_star'] = emp.sal.astype(str).apply(lambda x: re.sub('[0-3]', '*', x))emp[['ename','sal_star']] 73번: pd.qcut 으로 등급 나누기나이를 5등급으로 나누어 ‘등급’ 컬럼 만들기emp20 = pd.read_csv("content/emp20.csv", encoding="euckr")# 나이 기준으로 내림차순 순위 매기기emp20['순위..

(2025년 04월 빅분기 필기 기준 - 7일 정도 공부하여 합격하였습니다)간단한 후기를 남기자면, 양이 정말 많아 지엽적인 것까지 암기하려고하면 시간이 너무 많이 걸릴 것 같습니다.저도 세세한 것까지 보고 암기하진 못하였고, 기본기는 최대한 외우고 들어갔습니다.위 파일을 반복적으로 읽으며 눈에 익히기는 했으나 암기할 시간이 없었어요.세세한 내용을 확실히 암기하기 보단 전반적인 기본기가 있으면 합격할 수 있다고 생각합니다. 여기서 말한 기본기가 무엇인지를 설명하기 위해 예를 들어보겠습니다!아래 표는 파일 내용 중 일부입니다.분석기법들이 어떤 데이터 형식을 input으로 받고 output은 어떤 걸 내보내냐는 꼭 암기하고 들어갔습니다.즉 독립변수로 어떤 데이터 형태를 가지는지 종속변수로는 어떤 데이터 형식..

RDBMS(MySQL) vs NoSQL(MongoDB) - 채팅 서비스 성능 비교채팅 기능을 구현하며 MySQL을 사용하던 ChatMessage 테이블을 MongoDB로 마이그레이션한 후, 성능을 비교하였습니다.JMeter(버전 5.6.3)을 사용하여 1000개의 스레드로 MySQL과 MongoDB에서 채팅 메시지를 저장(Insert) 및 조회(최근 30개 메시지)하는 요청을 실행하였습니다. 💡 테스트 환경DB의 종류를 제외한 로직은 동일함.MongoDB와 MySQL 둘 다 동일한 복합 인덱스 존재메시지는 더미 데이터 약 2만 개가 존재   📌 JMeter를 이용하여 성능 분석한 결과   📌 테스트 결과 비교1. 평균 응답 시간 (Latency평균 응답 시간5,757 ms3,971 msMongoDB..

현재 Mybatis를 사용하여 진행중인 'A+ 마켓 플러터 앱 프로젝트' 에서 사용된 쿼리입니다.Quiz)  채팅방 Id를 이용하여 최근 메시지 30개를 포함한 채팅방 정보 SELECT c.id AS chatRoomId, tpi.uuid_name AS productThumbnail, p.product_name AS productName, p.price AS price, p.is_negotiable AS isNegotiable, p.id AS productId, u.id AS userId, u.name AS ..

채팅방 조회 쿼리 최적화 방법상황 : 현재 RDBS(MySQL)을 이용하여 데이터베이스를 설계함. 채팅방 아이디를 이용하여 아래의 DTO를 조회해아함.쿼리를 하나로 작성하는 것과 여러 개의 쿼리로 나누어 실행하는 것 중 어떤 것이 더 성능적으로 유리할까?하나로 작성할 때, JOIN 후 limit을 거는것과 limit을 건 서브쿼리와 JOIN 하는 것에 차이가 있을까?1. DTO 구조private int chatRoomId;private ProductCardDTO productCard;private List participants;private List messages; // TODO : Message - Pagination 2. 성능 최적화를 위한 접근 방식1️⃣ 조인 후 LIMIT 걸어 30개 추출 (..