일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- Set
- 다중공선성
- f-string
- 선형회귀
- 내배캠_학습기록
- Join
- AB테스트
- 아티클스터디
- 태블로
- SQLD
- 시각화
- 가설검정
- SQL
- 내일배움일지
- map
- 데이터전처리
- 프로그래머스
- 데이터시각화
- 통계학
- Til
- Max
- python
- Leetcode
- 이중for문
- 내일배움캠프
- 리스트
- 한줄for문
- DATE_SUB
- ★
- 반복문
- Today
- Total
목록통계학 (30)
노력에는 지름길이 없으니까요
머신러닝시계열 자체가 어려움 시계열 : 시계열로 적용한 프로젝트 Needs 발견MLops : 머신러닝, operation의 축약어로 Jupyternotebook에만 코딩하고 끝나는 것이 아닌 실제로 사내 operation 시스템에 적용하는 것을 목표 시계열 분석이란? 과거의 흐름으로 미래를 예측하는 방법론 어떤 교과과정 어디에 속해 있는가?통계학, 데이터 사이언스의 전공과목에서도 4학년 전공 선택으로 난이도가 높은 과목선형대수학 - 수리통계 과거의 트랜드로 미래를 예측할 수 있다는 매력적인 논리로 많은 회사들이 시계열 모델을 적용하고 있으며 Meta는 Prophet모델, 딥러닝에서는 LSTM, RNN, Transfomer등 다양한 시계열 모델들이 개발되었음 튜터님께서 추천해주신 링크들더보기확률&통계..
검증하기 위한 데이터는 반드시 따로 분리 해놓아야 함! (처음부터)학습용 데이터 / 평가용 데이터 -> 과적합 방! ☑️ 데이터 탐색과 검증 분리데이터 탐색을 통해 가설을 설정하고, 이를 검증하기 위해 별도의 독립된 데이터셋을 사용하는 것이는 데이터 과적합을 방지하고 결과의 신뢰성을 높임탐색 데이터와 검증 데이터를 히스토그램으로 나타냄데이터 탐색과 검증을 분리하면 탐색 과정에서 발견된 패턴이 검증 데이터에서도 유효한지 확인 가능검증 데이터는 철저하게 탐색 데이터와 구분되어져야 함 검증하기 위한 데이터가 따로 필요할 때데이터셋을 탐색용(training)과 검증용(test)으로 분리하여 사용from sklearn.model_selection import train_test_split# 데이터 생성np.ran..
원하는 결과가 나올 때 까지 자료를 수집하는 것을 조심! 자료수집 중단 시점 결정데이터 수집을 시작하기 전에 언제 수집을 중단할지 명확하게 결정하지 않으면, 원하는 결과가 나올 때까지 데이터를 계속 수집할 수 있음. 이는 결과의 신뢰성을 떨어뜨림.샘플 크기에 따른 평균값과 95% 신뢰구간을 나타낸 그래프데이터 수집을 언제 멈출지 결정하는 것은 결과에 영향을 미칠 수 있음이상적으로는 사전에 정해진 계획에 따라야 함 결과를 이미 정해놓고 그에 맞추기 위해 자료수집을 하고자 할 때50명의 데이터를 수집하기로 했으나, 원하는 결과가 나오지 않자 100명까지 추가로 수집-> 어떤 이유로 데이터 수집을 하고자 하는지 확실하게 하고 다음 단계로 넘어가기!
☑️ 선택적 보고유의미한 결과만을 보고하고, 유의미하지 않은 결과는 보고하지 않는 행위이는 데이터 분석의 결과를 왜곡하고, 신뢰성을 저하시킴☑️ 그림으로 확인하기!모든 결과와 선택적으로 보고된 결과를 히스토그램으로 나타냄 (일부만 채택해서 보고하는 것)전체 결과와 보고된 결과의 분포가 다르면 선택적 보고의 가능성을 시사2) 선택적 보고는 언제 조심해야하는가?☑️ 유의미한 결과만 공개 할 때다수의 데이터 분석 중 유의미한 결과가 나온 실험만을 보고서에 작성하여 발표☑️ 결과를 보면서 가설을 다시 새로 설정했는데 마치 처음부터 설정한 가설이라고 얘기할 때미리 가설과 실험 방법등에 대해서 설정을 한다음 연구를 수행하거나 연구하는 동안 얻어진 모든 변수와 결과에 대해서 공개하지 못할 때
인위적으로 p-값을 낮추지 않을 수 있도록 조심해야 한다.의도적으로... 수단과 방법을 가리지 않고 p값을 낮추기 위해 실험을 하는 것... ☑️ p-해킹데이터 분석을 반복하여 p-값을 인위적으로 낮추는 행위유의미한 결과를 얻기 위해 다양한 변수를 시도하거나, 데이터를 계속해서 분석하는 등의 방법을 포함☑️ 문제점p-해킹은 데이터 분석 결과의 신뢰성을 저하시킴 ☑️ 여러 가설 검정을 시도 할 때여러 가설 검정을 시도하여 유의미한 p-값을 얻을 때까지 반복 분석하는 것을 조심p-해킹은 유의미한 결과를 얻기 위해 p-값이 0.05 이하인 결과만 선택적으로 보고하는 행위를 조심데이터의 수를 늘리다보니 특정 데이터 수를 기록할때 잠깐 p값이 0.05 이하를 기록함으로 이를 바탕으로 대립가설 채택하는 것을 조심즉..
우연히 결과가 나오는 것이 아닌, 항상 일관된 결과가 나오는지 확인해야 한다. ☑️ 재현 가능성동일한 연구나 실험을 반복했을 때 일관된 결과가 나오는지 여부. 연구의 신뢰성을 높이는 중요한 요소.항상 일관된 결과가 나와야 실험이 의미 있어지는 것. -> 다시 벌어지지 않을 일... 의미가 없다고 할 수도 있다.ex) 신약을 개발할 때 실험실에서만 효과가 있는 것이 아니라 실제 상황에서도 일관된 결과가 나온다고 믿을 수 있기 때문에 개발 가능한 것 최근 p값에 대한 논쟁이 두드러지고 있다. (p값을 활용하여 재현가능성을 판단하고 있음)p값을 사용하지 않는 것이 좋다유의수준을 0.05에서 변경하는 것이 좋다 -> 이 숫자가 관습적으로 정해진 값이기 때문에... 더 낮춰야 의미가 있다는 의견이 현재 두드러지는..
비선형적인 상황에서 써볼 수 있음. 유명하진 않으나 언급해주셨음 범주형 데이터에 대해서도 적용할 수 있음! 상호정보 상관계수 (Mutual Information Coefficient)두 변수 간의 상호 정보를 측정변수 간의 정보 의존성을 바탕으로 비선형 관계를 탐지서로의 정보에 대한 불확실성을 줄이는 정도를 바탕으로 계산범주형 데이터에 대해서도 적용 가능상호정보 상관계수를 그림으로 확인해보기보라색 점들은 X와 Y 간의 비선형 관계를 나타냄상호 정보 값은 0.90으로 표시되어 있으며, 이는 두 변수 간의 강한 비선형 의존성을 의미 ☑️ 두 변수가 범주형 변수일 때☑️ 비선형적이고 복잡한 관계를 탐지하고자 할 때
모수 상관계수, 비모수 상관계수로 나뉘어지는데,대표적인 모수 상관계수가 피어슨 상관계수!그리고 비모수 상관계수의 대표로는 스피어만, 켄달의 타우 상관계수가 있다. 모수통계방법 : 어떤 분포를 알며 모수값(예를 들면 평균이나 분산) 또한 안다는 가정하에 분석하는 방법비모수통계방법: 모집단의 모수성을 가정을 하지 않고 하는 방법 정보가 없거나 모호할 경우에는 비모수 통계방법이 더 정확도가 높다. 두 번째 그래프가 스피어만 상관계수 그림!초록색 점들로 나타내었으며, X와 Y의 순위 관계를 보여줍니다.스피어만 상관계수는 두 변수의 순위 간의 상관 관계를 측정합니다.값은 -1에서 1 사이로 해석됩니다.세 번째 그래프가 켄달의 타우 비선형 상관계수빨간색 점들로 나타내었으며, X와 Y의 비선형 관계를 보여줍니다...
상관계수를 상세히 공부하는 파트다. 가장 대표적으로 많이 사용하는 상관계수! 데이터가 선형적 관계가 존재하며, 데이터가 정규분포로 존재한다는 전제가 충족되어야 한다.가장 왼쪽 그래프가 피어슨 상관계수 그래프!첫 번째 그래프는 파란색 점들로 나타내었으며, X와 Y의 선형 관계를 보여줍니다.그래프에서 점들이 직선적으로 퍼져 있으며, 상관계수는 0.99로 매우 강한 양의 선형 관계를 나타냅니다.피어슨 상관계수두 연속형 변수 간의 선형 관계를 측정하는 지표-1에서 1 사이의 값을 가지며1은 완전한 양의 선형 관계-1은 완전한 음의 선형 관계0은 선형 관계가 없음을 의미순서(등급)형 데이터에 대해서는 연속형 변수라고 할 수 없다. 선형적인 관계가 예상 될 때공부 시간과 시험 점수 간의 상관관계 분석 import..
☑️ 다항회귀독립 변수와 종속 변수 간의 관계가 선형이 아닐 때 사용. 독립 변수의 다항식을 사용하여 종속 변수를 예측.데이터가 곡선적 경향을 따를 때 사용합니다.비선형 관계를 모델링할 수 있습니다.고차 다항식의 경우 과적합(overfitting) 위험이 있습니다. ☑️ 스플라인 회귀독립 변수의 구간별로 다른 회귀식을 적용하여 복잡한 관계를 모델링구간마다 다른 다항식을 사용하여 전체적으로 매끄러운 곡선을 생성합니다.데이터가 국부적으로 다른 패턴을 보일 때 사용합니다.복잡한 비선형 관계를 유연하게 모델링할 수 있습니다.적절한 매듭점(knots)의 선택이 중요합니다. ☑️ 독립변수와 종속변수의 관계가 비선형 관계일 때 사용주택 가격 예측(면적과 가격 간의 비선형 관계) from sklearn.prepro..