Amplitude를 통한 실험 최적화

대상: 이 과정은 실험 역량을 향상시키려는 Amplitude 실험 사용자를 위해 설계되었습니다.

구조화된 테스트 계획을 설계하고, 통계 설정을 구성하며, 실험 결과를 확신을 갖고 분석하는 방법을 알아봅니다. MDE, 검정력 수준, 신뢰 구간, 세분화(segmentation) 등의 개념을 살펴보고, 테스트가 유효하고 실행 가능한 것인지 파악합니다. 수업 마지막에는, 더 효과적인 실험을 실행하고, 결과를 정확하게 해석하며, 제품 성장을 이끄는 데이터 기반의 결정을 내릴 수 있게 됩니다.

사전 요구사항: 이 과정에서 다루는 정보를 최대한 활용하려면 Amplitude 실험 학습 과정을 먼저 완료해야 합니다.

이 과정을 마치면 여러분은 다음을 수행할 수 있습니다.

• 상세한 테스트 계획을 수립하여 견고한 실험을 설계합니다.
• 명확한 가설을 중심으로 실험을 실시합니다.
• 실험에서의 통계 설정의 위치와 세부 내용을 식별합니다.
• 본페로니 교정, CUPED, 테스트 유형, 윈저라이제이션(winsorization), MDE, 통계적 검정력 설정, 사용자 지정 노출 설정, 신뢰 수준을 포함한 통계 설정이 실험에 어떤 영향을 미치는지 파악합니다.
• 예상 실험 기간을 단축하기 위해 실험의 통계 환경설정을 설정합니다.
• 실험 결과를 분석합니다.
• 실험이 통계적으로 유의미하지 않는 경우에도 실험 종료 후 다음 단계를 결정합니다.
• Amplitude 분석을 사용하여 결과를 세분화하고, 공유 및 향후 참조를 위해 저장합니다.

소요 시간: 75분

다음과 같은 경우 이 강좌를 수강하는 것이 좋습니다.
Amplitude에서 실험을 실행하는 데 이미 익숙하며, 향후 우수한 테스트를 설계하고, 통계 설정을 구성하며, 결과를 분석하는 능력을 향상하고 싶은 경우.