p-hacking
p-value hacking.
p-hacking refers to the misuse and abuse of analysis techniques and results in being fooled by false positives.
Types
- Multiple testing problem: 실험을 계속 반복하면 특이한 관찰이 나타날 가능성이 점점 높아지는 문제. 이 문제를 피하려면? See False discovery rate
- p-value가 기대하는 값(예: 0.05)보다 아슬아슬하게 큰 경우, p-value가 낮아지길 기대하며 데이터를 좀 더 추가해보기. 이 문제를 피하려면 실험 전에 적절한 표본 크기를 미리 계산할 것. 참고: 검정력