ABテストの割合は絶対に

• 余程の理由がない限りABテストの比率は揃えた方が良い
• 少ない側のテストパターンでも短期間で有意差がつく時のみ比率を変えても良いくらいで考えたい
• 有意差つくまで期間が伸びるので他の施策や時期の影響を受けやすくなって
• 特に累積の数で有意差を見るようとすると
• 途中の期間で数字が変動するようなことが起こった場合大きい集団の方が影響の実数が多くでるので
• 累積した時の数字に影響が出て誤った判断をしてしまう可能性がある
• リスク低減などで割合少なくしてパターンを試したいとした時もよく考えた方が良い