일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
- Leetcode
- map
- 반복문
- 데이터시각화
- 가설검정
- 데이터전처리
- Til
- 리스트
- 선형회귀
- DATE_SUB
- Max
- 다중공선성
- 이중for문
- python
- 내일배움캠프
- Join
- ★
- AB테스트
- Set
- 한줄for문
- 통계학
- SQLD
- 아티클스터디
- 프로그래머스
- f-string
- 내배캠_학습기록
- 태블로
- 시각화
- 내일배움일지
- SQL
- Today
- Total
목록2024/08/06 (5)
노력에는 지름길이 없으니까요
검증하기 위한 데이터는 반드시 따로 분리 해놓아야 함! (처음부터)학습용 데이터 / 평가용 데이터 -> 과적합 방! ☑️ 데이터 탐색과 검증 분리데이터 탐색을 통해 가설을 설정하고, 이를 검증하기 위해 별도의 독립된 데이터셋을 사용하는 것이는 데이터 과적합을 방지하고 결과의 신뢰성을 높임탐색 데이터와 검증 데이터를 히스토그램으로 나타냄데이터 탐색과 검증을 분리하면 탐색 과정에서 발견된 패턴이 검증 데이터에서도 유효한지 확인 가능검증 데이터는 철저하게 탐색 데이터와 구분되어져야 함 검증하기 위한 데이터가 따로 필요할 때데이터셋을 탐색용(training)과 검증용(test)으로 분리하여 사용from sklearn.model_selection import train_test_split# 데이터 생성np.ran..
원하는 결과가 나올 때 까지 자료를 수집하는 것을 조심! 자료수집 중단 시점 결정데이터 수집을 시작하기 전에 언제 수집을 중단할지 명확하게 결정하지 않으면, 원하는 결과가 나올 때까지 데이터를 계속 수집할 수 있음. 이는 결과의 신뢰성을 떨어뜨림.샘플 크기에 따른 평균값과 95% 신뢰구간을 나타낸 그래프데이터 수집을 언제 멈출지 결정하는 것은 결과에 영향을 미칠 수 있음이상적으로는 사전에 정해진 계획에 따라야 함 결과를 이미 정해놓고 그에 맞추기 위해 자료수집을 하고자 할 때50명의 데이터를 수집하기로 했으나, 원하는 결과가 나오지 않자 100명까지 추가로 수집-> 어떤 이유로 데이터 수집을 하고자 하는지 확실하게 하고 다음 단계로 넘어가기!
☑️ 선택적 보고유의미한 결과만을 보고하고, 유의미하지 않은 결과는 보고하지 않는 행위이는 데이터 분석의 결과를 왜곡하고, 신뢰성을 저하시킴☑️ 그림으로 확인하기!모든 결과와 선택적으로 보고된 결과를 히스토그램으로 나타냄 (일부만 채택해서 보고하는 것)전체 결과와 보고된 결과의 분포가 다르면 선택적 보고의 가능성을 시사2) 선택적 보고는 언제 조심해야하는가?☑️ 유의미한 결과만 공개 할 때다수의 데이터 분석 중 유의미한 결과가 나온 실험만을 보고서에 작성하여 발표☑️ 결과를 보면서 가설을 다시 새로 설정했는데 마치 처음부터 설정한 가설이라고 얘기할 때미리 가설과 실험 방법등에 대해서 설정을 한다음 연구를 수행하거나 연구하는 동안 얻어진 모든 변수와 결과에 대해서 공개하지 못할 때
인위적으로 p-값을 낮추지 않을 수 있도록 조심해야 한다.의도적으로... 수단과 방법을 가리지 않고 p값을 낮추기 위해 실험을 하는 것... ☑️ p-해킹데이터 분석을 반복하여 p-값을 인위적으로 낮추는 행위유의미한 결과를 얻기 위해 다양한 변수를 시도하거나, 데이터를 계속해서 분석하는 등의 방법을 포함☑️ 문제점p-해킹은 데이터 분석 결과의 신뢰성을 저하시킴 ☑️ 여러 가설 검정을 시도 할 때여러 가설 검정을 시도하여 유의미한 p-값을 얻을 때까지 반복 분석하는 것을 조심p-해킹은 유의미한 결과를 얻기 위해 p-값이 0.05 이하인 결과만 선택적으로 보고하는 행위를 조심데이터의 수를 늘리다보니 특정 데이터 수를 기록할때 잠깐 p값이 0.05 이하를 기록함으로 이를 바탕으로 대립가설 채택하는 것을 조심즉..
우연히 결과가 나오는 것이 아닌, 항상 일관된 결과가 나오는지 확인해야 한다. ☑️ 재현 가능성동일한 연구나 실험을 반복했을 때 일관된 결과가 나오는지 여부. 연구의 신뢰성을 높이는 중요한 요소.항상 일관된 결과가 나와야 실험이 의미 있어지는 것. -> 다시 벌어지지 않을 일... 의미가 없다고 할 수도 있다.ex) 신약을 개발할 때 실험실에서만 효과가 있는 것이 아니라 실제 상황에서도 일관된 결과가 나온다고 믿을 수 있기 때문에 개발 가능한 것 최근 p값에 대한 논쟁이 두드러지고 있다. (p값을 활용하여 재현가능성을 판단하고 있음)p값을 사용하지 않는 것이 좋다유의수준을 0.05에서 변경하는 것이 좋다 -> 이 숫자가 관습적으로 정해진 값이기 때문에... 더 낮춰야 의미가 있다는 의견이 현재 두드러지는..