Bible, Lee, Data
Faith, software, data, and everyday life.
Engineering/DatabaseAll posts
Database Indexes and SQL Execution Plans
Suppose we have the following orders table:CREATE TABLE orders ( order_id BIGINT PRIMARY KEY, customer_id BIGINT NOT NULL, order_status VARCHAR(20) NOT NULL, ordered_at DATETIME NOT NULL, total_amount BIGINT NOT NULL);When the table contains only a few hundred rows, the following query returns almost immediately:SELECT *FROM ordersWHERE customer_id = 1001;The situation changes whe..
Transactions and Concurrency Control in Database Systems
uppose a database contains the following bank accounts.Account IDOwnerBalanceA-100Isaac1,000,000B-200Sophie500,000To transfer 100,000 from Isaac to Sophie, the system must perform at least two changes:Subtract 100,000 from account A-100Add 100,000 to account B-200A simplified SQL implementation might look like this:UPDATE accountsSET balance = balance - 100000WHERE account_id = 'A-100';UPDATE ac..
Why Does Database Normalization Matter?
Database normalization is often introduced through a short list of rules:First Normal Form: atomic valuesSecond Normal Form: remove partial dependenciesThird Normal Form: remove transitive dependenciesBCNF: every determinant must be a candidate keyThese definitions are useful when preparing for an exam.On their own, however, they do not explain how to examine a real table, identify what is wrong..
[Streamlit] 공공데이터 앱 제작: 대전광역시 버스 관련 데이터 시각화 및 분석
💡대전광역시 버스 관련 데이터 시각화 및 분석이번에 사용할 데이터는 대전광역시의 버스와 관련한 정보이다. 이 데이터를 활용하여 대전광역시의 버스 정류장 현황을 지도에 표시하고, 버스 이용이 많이 발생하는 자치구를 확인하려고 한다. 그리고 도로 안전을 위해 버스전용차로 단속카메라의 보완이 필요한 위치를 분석해보고자 한다. 활용한 데이터대전광역시_버스정류장 현황https://www.data.go.kr/data/15110461/fileData.do 대전광역시_시내버스 기반정보https://www.data.go.kr/data/15081730/fileData.do 대전광역시_자치구별 인구이동 현황https://www.data.go.kr/data/15062511/fileData.do 한국교통안전공단_대전광역시 ..
[Streamlit] Folium 라이브러리로 csv 파일 지도 데이터 분석하기
💡대전광역시 서구 일반음식점 현황 분석공공 데이터 포털에서 위도, 경도 지도 데이터를 포함하는 csv 파일을 Streamlit에서 folium 라이브러리를 활용하여 시각화하고, 분석해 보도록 하자. Folium 라이브러리Folium은 지리 공간 데이터를 시각화하는 데 사용되는 Python 라이브러리이다.leaflet.js 기반으로 이루어졌으며, 시각화에 활용할 수 있는 OpenStreetMap, Mapbox, Stamen과 같은 지도 이미지를 제공한다. 자세한 내용은 아래 공식 도큐먼트에서 확인할 수 있다.https://python-visualization.github.io/folium/latest/ Folium — Folium 0.1.dev1+gd6f04cb documentationFolium bui..
[R] 데이터마이닝의 이해: 선형 회귀 기반 데이터마이닝 분석
💡주택 데이터 분석주택 데이터 샘플TOTAL VALUETAXLOT SQFT YR BUILTGROSS AREA LIVING AREAFLOORSROOMSBEDROOMS FULL BATHHALF BATHKITCHENFIREPLACEREMODEL344.2433099651880243613522631110None412.65190659019453108197621042110Recent330.1415275001890229413712841110None498.66272137731957503226081951111None331.5417050001910237014382732010None337.4424451421950212410601631011Old359.4452150001954322019162731110None320.44030..
[R] 데이터마이닝의 이해: 10단계 분석 절차
💡데이터마이닝 분석 절차프로젝트 설정: 목적 설정과 전략 수립데이터 획득: 필요한 정보 확보와 다양한 소스 조사데이터 전처리: 이상치 처리와 형태 가공데이터 축소: 효율적인 분석을 위한 데이터 샘플링작업 결정: 분석 목적에 따른 데이터마이닝 작업 선택데이터 분할: 훈련, 검증, 평가 데이터로 나누기분석 기법 선택: 회귀분석, 의사결정 나무 등 다양한 기법 중 선택알고리즘 적용: 선택된 기법에 따라 모델 학습 진행결과 해석: 모델 결과를 이해하고 비즈니스에 적용할 수 있는 형태로 해석모델 적용: 실제 비즈니스에 모델 적용하여 성과 확인 1. 데이터마이닝 프로젝트 목적을 정확히 정의한다.프로젝트 목적: 고객 이탈을 예측하여 조기에 대응하여 이탈률을 감소시킨다.목적이 명확하지 않으면 프로젝트의 방향성을 제대..
[R] 데이터마이닝의 이해: BA와 BI, 기계학습, 지도학습과 비지도학습
💡비즈니스 애널리틱스 (Business Analytics, BA)비즈니스 애널리틱스는 데이터를 분석하는 도구와 기법을 의미하며, 데이터를 분석하여 정량적인 정보를 도출한다.온라인 분석처리(OLAP), 통계기법, 수리적 모델, 데이터마이닝을 통해 미래 예측에 필요한 인사이트를 얻으며, 의사결정자에게 필요한 정량적인 데이터를 산출하여 대응할 수 있도록 한다. 데이터마이닝 (Data Mining, DM)대량의 데이터 집합으로부터 유용한 정보를 추출하는 것 또는 의미있는 패턴과 규칙을 발견하기 위해서 자동화되거나 반자동화된 도구를 이용하여 대량의 데이터를 탐색하고 분석하는 과정을 의미한다.데이터마이닝은 계산, 기술통계, 리포팅, 그리고 비즈니스 규칙을 뛰어넘는 고급 분석 방법으로, 복잡한 데이터 속에서 숨겨진..
