A/B 테스팅은 뭔가가 될 필요가 지금 하고 있는—특히 작은 개선의 말을 1%2% 생산할 수 있는 인상적인 수익 개선을 아래 온다.
A/B 테스트 란 무엇입니까?
하기 전에 우리는 구체적으로 놀라운 A/B 테스트 프레임워크,그냥 다시 한 걸음을 확인 우리는 모두 동일한 페이지에 대해 이야기 할 때는 A/B 테스트에서는 일반적이다., A/B 테스트에서는 디지털 마케팅 전환 최적화,또한 철자 A/B 테스팅으로,또는 A/B 테스트,프로세스의 테스트는 두 가지 버전 웹 페이지의 앱으로 제어된 차이점이 있습니다.
페이지가 무작위로 사용자에게 표시됩니다. 성능 데이터가 수집됨에 따라 페이지를 분석하여 어떤 버전이 더 잘 수행되는지 확인합니다.
a/B 테스트의 이점은 무엇입니까?
테스의 변화는 웹 사이트 또는 응용 프로그램과 통계적인 엄격함할 수 있습을 측정하고 최적화하는 당신의 페이지할 수 있도록을 극대화합니다., 당신은 테스트를 변경하는 헤더 또는 단지 색상의 버튼에 의존하지 않은 이론을 안내하는 이러한 결정을 테스트할 수 있도록 허용하기 위해 데이터를 결정을 내릴 수 있습니다.
의 그것이 가질 수있는 영향의 그림을 그리는 몇 가지 빠른 수학을 할 수 있습니다.
귀하의 제품이$100 에 판매되고 귀하의 웹 페이지에 한 달에 10,000 회의 방문이 있다고 상상해보십시오. 그 중 3%가 변환되어 해당 제품에 대해 3 만 달러의 수익을 창출합니다.
당신에게 A/B 테스트는 일부를 변경 페이지의 테스트는 새로운 페이지의 버전을 개선하는 전환율 3%(그래서 지금 당신은 당신을 변환하 3.09%의 방문자)., 0.1%미만의 추가 전환은 그다지 들리지 않지만 한 달에 900 달러의 수익을 추가로 창출했습니다. 는 경우에도 당신이 중지 테스트 해당 지점에서 추가$10,800 연례 수익
경우에 당신은 유지하 테스트,그리고 테스트를 두 번 이상과 같은 결과의 3%개선에서 전환 평가,변환 평가에 의해 진행 9.3% (1.03 * 1.03 * 1.03). 그것은 컴 파운딩 관심과 같은 많은입니다. 새로운 전환율로 첫 달에는 2,782 달러의 증분 전환 가치가 있습니다. 1 년 동안,이것은 증분$33,382 를 초래할 것입니다.,
이 특정 예에서 테스트는 한 달 이상의 증분 수익을 창출했습니다.이것은 트래픽이 일정하게 남아있는 상태에서 수행된다는 점에 유의해야합니다. 당신이 투자하지 않았으로 높은 볼륨의 광고,더 많은 콘텐츠 배포 이메일 사이트 SEO,또는 다른 것 성장할 것이라는 당신의 트래픽이다. 당신은 단지 당신이 이미 얻고있는 교통량에서 더 많은 가치를 얻고 있습니다. 각 방문자의$-가치에 대해 최적화하고 있습니다.
어떤 유형의 A/B 테스트가 결과를 제공합니까?
수많은 측정 항목과 탐색 할 데이터 영역이 있습니다., 여기에 우리가 가능한 최고의 전환율을 보장하기 위해 분할 테스트를 채택 할 수있는 3 가지 방법이 있습니다.
가격 실험
7 로 끝나는 가격이 실제로 다른 숫자보다 더 잘 변환된다는 마케팅 이론이있었습니다. 왜? 0(제로)으로 끝나는 가격을 갖는 것이 너무 일반적이며 충분히 구체적이지 않은 것으로 입증 되었기 때문에 9 가 일반적으로 사용되었습니다. 그런 다음 9 로 끝나는 가격이 너무 일반적이되어 더 이상 주목할만한 긍정적 인 반응을 자극하지 않으며 전환율에 영향을 미치지 않습니다. 그렇다면 왜 지금 7 로 끝나는 가격을보고 있다고 생각합니까?,
7 은 원래 a/B 테스트로 입증되었으며,가격은 최상의 최적화 지점을 찾기 위해 테스트되었습니다. 그것이 데이터가 제안한 것이며 일부 SaaS 가격 책정에서 여전히 볼 수 있습니다.
이것은 귀하의 웹 사이트 및 청중에게 적합한 권장 사항이 아닐 수 있습니다. 자신의 테스트를 실행하고,특히 당신을 위해 가장 잘 변환되는 번호를 찾는 것이 좋습니다. 모범 사례 및 업계 지식을 사용하여 시도한 내용을 안내하지만 자신의 A/B 테스트 데이터가 결정을 유도하도록하십시오.,
색상 이론
웹 사이트 또는 특정 페이지의 A/B 버전을 테스트하는 또 다른 예는 CTA 의 색상입니다.
노란색은 오랫동안 인기있는 즐겨 찾기였습니다. 다시 B 테스트 덕분에 데이터는 노란색 버튼이 더 잘 변환되었음을 보여주었습니다. 그 이후로 업계에서는 색상을 더 많이 테스트했습니다.
보다 심층적 인 테스트의 데이터는 배경과 CTA 간의 대조와 더 관련이 있음을 시사합니다. 반드시 cta 가 페이지의 컨텍스트 내에서 얼마나 눈을 사로 잡는 지 노란색 일 필요는 없습니다., 그러나 변형을 테스트하고 특정 브랜딩의 맥락에서 특정 CTA 에 적합한 것을 보는 것이 항상 좋은 생각입니다.
마우스 추적
웹 페이지에서 사용자의 여정을 추적하는 것만 큼 간단한 것은 큰 실행 가능한 CRO 데이터로 이어질 수 있습니다. 방문객들은 시간과 관심을 어디에 집중합니까? 그들이 떠나기로 결정할 때 페이지에 어디로 가야합니까?
의 다양한있다 마우스 추적 및 열도는 소프트웨어는 곳을 보여주는 정확하게 페이지에서 당신의 사용자 대부분의 시간을 보낸다,그들은 어디에 있습니다., 을 테스트하여 사용자의 상호작용으로 귀하의 웹사이트 이 방법으로,당신은 허용할 수 있는 데이터를 결정하는 기능 레이아웃,CTA 게재,등등.
이러한 유형의 지식을,당신이 할 수있는 교육을 결정을 디자인하는 테스트 및 측정의 결과는 그 변경합니다.
선험적 분석
하기에는 충분하지 않 디자인은 좋은 웹페이지 또는 앱;페이지는 또한 설득하려는 관객을 완료하는 원하는 작업입니다.
휴리스틱은 과거에 테스트되었으며 UX 디자인을 생성하기 위해 구현 된 경험적 엄지 규칙 또는 모범 사례입니다., 그러나 각 페이지,제품 및 서비스는 고유합니다. 보다는 그냥 없는 당신의 페이지에 맞는 업계 최상의 방법,즉 최고의 연습에서 오는 다른 사람의 테스트,그것은 테스트와 같은 요소를 귀하의 전화를 조치 배치 및 전환율제 실시 시간입니다. 귀하의 웹 사이트의 디자인을 데이터 중심으로하자.
A/B 테스트 프레임 워크 사용의 중요성
당신은 단지 a/B 테스트에 돌입 할 수 없습니다. 우연한 접근은 실패로 이어질 것입니다.,
경우에 당신은 대부분의 기업과 마찬가지로,당신은 너무 많은 자원이 그렇게 많은 돈을,그래서 당신은 우선 순위에 대해 알아보십시오—가끔은 무자비하게. 당신이 할 수 없다면,당신의 성장은 결국 정체되거나,당신은 줄어들 기 시작할 것입니다. A/B 테스팅은 가장 빠른,가장 쉽고 가장 비용 효과적인 방법을 발견하는 방법을 더 많은 트래픽,더 많은 리드를 생성,만들기 더 판매합니다. A/B 테스트로 성공하기를 원한다면 미리 전략과 우선 순위를 개발해야합니다.
여기에서 McGaw.io,우리는 VICE A/B 테스트 프레임 워크라고 부르는 것을 설계했습니다., 이 프레임 워크를 사용하면 전략과 조직 부족으로 인해 발생하는 일반적인 A/B 테스트 실패를 많이 피할 수 있습니다.
이 게시물에서 우리는 VICE 프레임 워크를 거쳐 정확히 어떻게 작동하는지 분해 할 것입니다. 우리는 방법을 찾아 사용할 수 있습니다 부회장 접근 방식을 극대화하는 목표(같은 수익 또는 사용자 로그인 ups)하지 않고 더 많은 돈이에서 트래픽. 결국 A/B 테스트가 제공하는 모든 혜택을 누릴 수 있도록 자신의 비즈니스에서이 프레임 워크를 사용하는 방법을 이해하게됩니다.,
의 중요성을 만들기 가설
보는 경우에만주의를 개척.io 블로그를 볼 수 있는 우리는 이미 적용의 기초를 어떻게 시작할 수 있습 A/B 테스트처럼 무엇을 테스트하고 무엇을 도구를 사용합니다.
의 초점은 이 게시물을 어떻게 탐구를 수행할 수 있습 A/B 테스트는 더 많은 것을 생산할 가능성이 유익한 결과를 달성하는 것은 우리의 부사 프레임워크와 템플릿에 대한 A/B 테스트합니다.
어떤 a/B 테스트에 뛰어 들기 전에 먼저 몇 가지 가설을 세워야합니다.,
가설은 본질적으로 특정 변경의 결과로 일어날 것이라고 생각하는 것입니다.
VICE 프레임 워크를 사용할 때 가설을 출발점으로 활용합니다. 가설을 생성하는 것은 그것들이 없으면 당신의 실험은 방향이 부족할 것이기 때문에 중요합니다. 미리 광범위한 가설을 생각해내는 것이 좋습니다. 는 다양한 가설을 줄이 개선하는 능력을 신속하게 구현 시험,미래에 증가하는 속도는 당신을 올릴 수 있습 웹사이트됩니다.,테스트하려는 페이지의 각 요소에 대해 적어도 하나의 가설을 만들어야합니다.
프로 팁:주어진 시간에 페이지의 하나 이상의 요소를 테스트하는 A/B 를 삼가하십시오. 한 번에 페이지의 여러 요소를 테스트하면 어떤 변경 사항이 실제로 특정 결과로 이어 지는지 파악하기가 어렵습니다.
프로 팁:주어진 시간에 페이지의 하나 이상의 요소를 테스트하는 A/B 를 삼가하십시오. 한 번에 페이지의 여러 요소를 테스트하면 어떤 변경 사항이 실제로 특정 결과로 이어 지는지 파악하기가 어렵습니다.,
Pro Tip:지만 그것이 도움이 될 수 있는 대한 배경 지식을 갖추고 있어야에 관한 지식을 작동하는 무엇이 잘 테스트를 실행할 때,당신은 항상 필요가 없을 따라 가장 좋습니다. 어떤 경우에는 급진적 인 변화를 일으키고 모범 사례에 반대하는 것이 실제로 더 나은 전환으로 이어진다는 것을 알 수 있습니다.
부통령 접근법
A/B 테스트에 관해서는 벨트 아래에서 빠른 승리를 얻는 것이 중요합니다.
이 기능을 사용하지 않을 경우 낮은 과일 당신이 더 나은 위치에 시간을 보내에 더 많은 도전적인 실험을 당신을 발굴하고 싶습니다., Plus,빨리 당신이 몇 가지 승리하게 A/B 테스트,더 얻을 수 있에서 합성 개선으로 오는 변환 개선.
Pro Tip:는 경우에 당신이 하고 있는 클라이언트를 생성,빠른 승리할 수 있도 더 중요하기 때문에,당신에게 기회를 제공합을 증명하는 A/B 테스트에 초점을 가치가있다.
그 마음으로,어떻게 확인할 수 있습니 저렴한 과일에 매달려고 결정하는 실험 또는 가설은 가능성이 가장 높은 작동합니까?
물론,수정 구슬이 여기에 도움이 될 수도 있지만 확률은 당신이 가지고 있지 않다는 것입니다.
그럼에도 불구하고 여기 McGaw 에서.,io,우리는 다음으로 가장 좋은 것,즉 부통령 접근법을 가지고 있다고 생각합니다.
그 의미:
- V 속도
- 나는 영향
- C–신뢰
- E–성
여기에서 아이디어는 당신이 당신의 점수를 가지 가설을 0-10(10 가장 높은/이 가장 바람직하다),과 관련하여 위의 각 요소입니다. 피>그런 다음”총을 가지고 있도록이 점수를 집계.”
여기서 VICE 프레임 워크 템플릿을 가져옵니다!,
이 총계는 데 도움이 작품의 가능성을 가설 또는 실험 결과를 생산에 비하면 다른 모든 테스트에서 실행하려는 사이트 또는 페이지입니다. 당신을 생성하는 일부 빠른 승 도움이 될 수 있습의 우선 순위를 테스트하는 가장 높은 점수가 있습니다.
여기에 대한 개요 우리의 프레임 워크처럼 보이는 액션과 함께,그 섹션의 강조 표시된:
경로 확대해 에서 자세히 살펴보십시오,당신은 당신이 볼 수 있는 방법을 우리는 형태로 가설 점수를 각각의 카테고리,그리고 집계 최대의 합계.,
이러한 각각의 카테고리를 나타내는 다른 요인을 고려해야 실행하는 경우는 A/B 테스트입니다. 가능한 한 정확한 점수를 줄 수 있도록 각각을 자세히 살펴 보겠습니다.
Velocity
Velocity 는 테스트를 실행할 수있는 속도입니다.
의 속도 점수를 기반으로해야에서는 다음 두 가지 주요 요소:(1)얼마나 많은 트래픽을 페이지를 얻고(2)어떻게 눈에 띄는 변화 될 것입니다.
얼마나 많은 트래픽
일반적으로 웹 사이트의 트래픽이 많을수록 테스트를 더 빨리 실행할 수 있습니다., 더 많은 트래픽을 더 많은 데이터,그리고 더 많은 데이터가 의미하는데 걸리는 더 적은 시간을 밖으로 작동하면 결과가 통계적으로 유의한(뭔가가 우리가 다룰 것이 나중에).
때 우리는 점수를 위한 속도,우리는 통합 Google 웹로그 분석을 가장 정확한 숫자를 가능하다(우리가 원하는 통합 그 프레임워크 구글,저희에게 연락하십시오.). 속도는 페이지를 통과하는 트래픽 양에 따라 설정됩니다. 한 페이지가 주당 5 만명을 얻는다면 통계적 유의성에 꽤 빨리 부딪 힐 수 있습니다., 만약 페이지만 점점 500hits per week,그것은 더 이상 당신을 위해 충분한 데이터에 대해 걱정할 필요가 없습니다 결과
대담의 변경
도달하는 통계적 의미하지 않는 방법에 대해 많은 사람들이 와서 당신의 웹 사이트입니다. 그것은 또한 당신이 테스트하고있는 변화가 얼마나 크거나 눈에 띄는 지에 관한 것입니다. 적은 눈에 띄는 변화,가능성이 적은 영향을 미칠 사용자 행동,그래서 시간이 오래 걸리에 대한 테스트에 도달하는 통계적 의미를 갖는다., 예를 들어,업데이트하는 경우 탐색 텍스트를 굵은 글꼴,아마 하지 않습니다 증가한 금액의 클릭 수를 얻을 극적으로—그래서 그것이 더 오래 걸릴 수준에 도달할 수 있는지 확인 변경은 변화를 일으키고 있습니다. 그러나 극적인 변화를 일으키면 통계적 유의성에 더 빨리 도달 할 수 있습니다. 예를 들어,사용자가 통지를 새로운 브랜드를 호출 버튼,그래서 당신이 가야하기에 충분한 데이터를 신뢰할 수 있는 결과를 짧은 양의 시간입니다.,
처럼 생각하다면 테스트가 더 극적이거나 편광하는 사용자의 경험에,당신은 기대 속도 높은 것으로 볼 것이기 때문에 당신이 차이가 빠르다.
기타 요인.
그것은 또한 중요하다 보면 트래픽에서 숫자와 관련하여 어떻게 많은 옵션에는 특정 페이지입니다. 더 많은 옵션(링크와 같은)이있을수록 일반적으로 테스트를 완료하는 데 더 오래 걸릴 것입니다. 귀하의 비즈니스 또는 판매주기에 따라 고려해야 할 다른 요소가 있습니다., 예를 들어,제품 중 하나에 대한 판매주기가 6 주 길면 일주일 만에 작은 테스트조차도 완료 할 수 없습니다.
속도를 득점 할 때 개별 비즈니스 제약 조건을 고려하려고합니다.
Impact
Impact 는 변화가 전환의 개선에 얼마나 기여할 것인가입니다.
특정 가설을 제시하기 위해 어떤 영향 점수를 고려할 때 먼저 목표를 생각하는 것이 중요합니다. 귀하의 목표는 사용을 증가시키는 음료의 모든 변경 사항에는 무료 평가판 페이지 얻을 것이 더 높은 점수에 영향을., 을 높이려면 이메일을 캡처를 제공의 영업팀은 더 이르게,더 높은 점수를 제공하는 가설을 영향을 미칠 가능성이있는 지역입니다.
일단 당신이 당신의 마음에 목표를,다른 세가지 요소를 고려한다:(1)대담의 변경,(2)위치에 있는 페이지의 깔때기,(3)분석 데이터입니다.
변화의 대담
위의 Velocity 에서 언급했듯이 사용자에게 변화가 눈에 띌수록 행동에 영향을 줄 가능성이 높아집니다., 극적인 변화를 일반적으로 높은 영향을 점수이기 때문에 사용자가 더 가능성이 그들을 통지하고,따라서 그들은 더 많은 영향을 미칠 가능성이 전환 비율.
깔때기에 배치
페이지가 깔때기에있는 위치를 고려하는 것도 중요합니다. 일반적으로,페이지 근처의 최고 깔때기의 것입니다 종종 더 많은 영향을 미칠 그들보다 아래에서 간단하기 때문에 더 사용됩니다. 따라서 예를 들어 홈페이지를 변경하면 서비스 페이지보다 높은 영향 점수를 얻을 수 있습니다.
일반적으로 높은 영향 점수를 얻는 다른 유형의 페이지는 체크 아웃 및 가격 책정 페이지입니다., 영향 점수는 사용자가 당신에게 돈을 주려고하는 모든 장소에 대해 더 높아야합니다. 당신은 그 과정을 가능한 한 쉽게 만들고 싶습니다.
한 분석 데이터를
마지막으로,당신이 보고 싶지 분석 데이터를하는 데 도움 당신은 점수에 미치는 영향(도움이 필요하고 분석 데이터를 저희에게 연락). Google 웹 로그 분석(그리고 있어야 함)과 Google 전자 상거래를 사용하는 경우 퍼널에서 페이지의 가치를 볼 수 있습니다. Google 웹 로그 분석에서 페이지 값이 높을수록 영향 점수가 높아야합니다.,
을 얻고 싶은 경우에는 정말 멋지다,우리는 우리의 비밀 그 프레임 워크 통합할 수 있습으로 직접 구글 분석 계정에서 속도 광고 충격에 따라 숫자를 구분합니다. 놀랍고 싶다면 저희에게 연락하십시오.
자신감
자신감은 주어진 가설이 유리한 결과를 낳을 가능성에 대해 어떻게 느끼는지입니다.
이 유형의 테스트에 대해 더 많이 알수록 신뢰 등급을 미리 규정 할 때 더 정확해질 것입니다., 는에도 불구하고 있기 때문에 A/B 테스팅을 작동하는 경향이있 on a case-by-case basis,당신은 당신을 찾을 수있을 것이 일반적인 문제는 자주 사용하여 해결 될 일반적인 솔루션입니다. 이것의 예는 방문 페이지에 증명서의 포함이 될 수 있습니다.
당신이 테스트에 아주 새로운 경우에,그것을 overthink 그것에게 당신의 제일 추측을 주지 말라. 를 만드는 과정을 통해 가설과 당신의 자신감,당신은 신속하게 더 잘 파악하는 테스트는 가능성이 높은 성공했다.,
을 시작으로 예측을,도움이 될 수 있습 추적을 유지하는 방법은 당신과 당신의 팀을 하고 있을 때는 그것에 관해서 예측으로 몇 가지 종류의 처벌(A/B 테스트할 수 있습 까다로운 심지어에 대한 전문가)지만,교육 기회입니다. 종종 신뢰 점수에서 패턴을 볼 수 있습니다. 어쩌면 당신의 팀에 누군가가 항상 과대한 영향을의 컬러,또는 다른 사람의 중요성을 과소 평가 홈페이지에 있습니다.,
경우 누군가가 지속적으로 점점 더 많은 올바른 추측한 다음의 나머지 팀을,그것도 좋을 아이디어를 제공한 약간 높은 수의 테스트는 그들은 높은 자신감니다.
이후로 우리는 회사 데이터에 의해 구동되는,우리는 건물 모델는 지난 성능으로 계정을 자동으로 감소시키거나 혹 우리 팀의 점수를 필요합니다. 대부분의 회사에게는 조금 배 밖으로 나올 수도 있지만 수식으로 정량화 할 필요없이 일반적인 원칙을 적용 할 수 있습니다., 이 새로운 도구의 베타 테스터가되고 싶다면 알려주십시오:)
Ease
Ease 는 변경해야 할 기술적 인 기술의 수준입니다.
휴. 우리는 거의 끝났습니다. 운 좋게도 용이함은 일반적으로 점수를 매기는 가장 쉬운 카테고리입니다. 당신은 단지 당신이 변화를 만들기 위해 필요한 사람과 얼마나 많은 시간이 걸릴지 고려해야합니다. 을 요청하는 경우 자신의 조정에 관련된 특정한 실험에 의해 만들 수 있습니다 누군가가 팀에 또는 당신을 가져올 필요가 개발자 혹은 디자이너습니다.,
분 테스트와 같은 도구 Optimizely 또는 Visual 웹 사이트 최적화 프로그램을 쉽게 마케팅에 대한 간단히 변경하는 다음과 같 제거하거나 버튼을 변경하는 제목입니다. 그러나 페이지의 전체 스타일을 수정하거나 심지어 웹 사이트에 새 페이지를 추가하는 것이 훨씬 더 복잡 할 수 있습니다.
이러한 변경 내용은 아마의 도움을 요구하고 개발자 그리고 어쩌면 광 일을 제대로 이루어집니다. 그(것)들을 안으로 반복하고 여기에서 더 정확한 점수를 얻는 것을 두려워하지 말라.주어진 테스트를 실행해야하는 사람을 결정했으면 얼마나 오래 걸릴지 고려하십시오., 만약 당신이 지불하는 개발자에 대한 시간과 작업 시간,또는 고용한 외부 계약자,또는 잃고 구성원의 마케팅 팀에서 일주일을 제공,시험 낮은 쉽게 점수입니다. 시간이 많이 걸리지 않고 팀원 한 명만 필요하면 더 높은 점수를주십시오.
유효 성공
부사 프레임워크를 사용하여 많은 쉽게 이동하는 과정을 적절하게 A/B 테스트하는 다양한 요소의 웹사이트를 받지 않고 압도했다., 그러나 프레임 워크는 실험이 성공했는지 아닌지를 결정하려고 할 때 할 수있는 판단의 오류로부터 당신을 보호 할 수 없습니다.
어떤 경우에는 볼 수 있습니다 비록 당신이 향상 변환,그러나 시간이 지남에 따라,변하지 못할 수 있습을 생산 일관성이 증가됩니다. 이러한 상황으로부터 자신을 보호하기 위해서는 결과가 통계적으로 유의미한 것으로 간주되도록해야합니다.
하지 않는 경우 통계적으로,당신이 무슨 생각을 개선할 수 있는 사실에는데 그래서는 팬 결과입니다., 이상적으로,당신의 실험은 적어도 95%의 통계적 유의성을 가져야합니다. 을 확인하여 통계적 유의성의 결과를 보장하는 그들은 점수를 위 95%,할 수 있습이 안정적으로 결정하는 경우 승리의 변화에서 당신의 손을 경우 변경 가치가 있는 것입니다.
자,당신이 수학적으로 기울어지지 않거나 통계적 유의성의 개념이 당신을 두려워한다면-걱정하지 마십시오. 우리는 Effin A/B 테스트 계산기를 만들었습니다. 이 간단한 크롬 확장 프로그램은 결과가 통계적으로 유의미한지 여부를 결정하는 데 사용할 수 있습니다.,나는 그것을 사용하기가 매우 쉽다는 것을 알았습니다. 당신이해야 할 모든 트래픽과 변환 번호에 넣고 도구는 결과를 표시합니다. 복잡한 수식으로 주위를 엉망으로 만들 필요가 없습니다! 물론 다른 도구와 방법을 자유롭게 사용할 수 있습니다. 당신이 무엇을 할지 확인,당신은 항상 확인하는 통계적 유의성의 결과를 결정하기 전에 우승하는 변화.
결론
A/B 실험을 수행하면 매우 빠르게 매우 압도적으로 될 수 있습니다. 그러나 우리의 부통령 접근 방식을 사용하면이를 막을 수 있습니다., 제공하는 당신은 시간을 보낼 필요한 올 가설이,당신이해야 할 모든 당신이 사용하는 부사장 접근이 그 어디에 집중해야한다.
테스트와 관련된 일부 데이터를 생성 한 후에는 통계적 유의성을 확인하십시오. 반환 된 결과에 따라 변경 사항을 유지할 가치가 있는지 알 수 있습니다. A/B 테스트는 가능한 한 빨리 수행하기를 원할 것이므로 빨리 배운 것을 시도하고 조치를 취하십시오.
확인되지 않을 수도 있습을 얻을 올바르게 하는 것이 무엇보다 주위에 처음으로—그러나 그 방법은 확실히 잘라의 확률은 실패하고 낭비되는 노력이다., 피>