Website ít traffic đừng vội A/B test: phép tính 40.000 lượt truy cập mà ít ai nói với bạn

Lời khuyên nghe nhiều nhất về tối ưu chuyển đổi là: "Đừng đoán, hãy A/B test."

Nghe rất khoa học. Hai phiên bản, chia đôi khách truy cập, xem bên nào thắng. Công cụ có sẵn, kéo thả vài phút là chạy. Các case study kiểu "đổi màu nút, doanh thu tăng vọt" thì đầy trên mạng.

Tôi sẽ nói điều mà người bán công cụ A/B test ít khi nói: với phần lớn website doanh nghiệp nhỏ ở Việt Nam, A/B test kiểu kinh điển là tung đồng xu có tốn phí. Không phải vì phương pháp sai. Phương pháp rất đúng. Vấn đề là bạn không có đủ người để phương pháp đó cho ra câu trả lời đáng tin.

Và một câu trả lời không đáng tin còn tệ hơn không có câu trả lời. Không có kết quả, bạn biết mình chưa biết. Có một "chiến thắng" giả, bạn tự tin triển khai một thay đổi chẳng có tác dụng gì, rồi đi kể với cả đội rằng mình đã "tối ưu bằng dữ liệu".

Phép tính dưới đây sẽ cho bạn thấy vì sao.

Phép tính mà công cụ A/B test không đặt lên trang chủ

Lấy một kịch bản rất bình thường:

• Trang sản phẩm hoặc trang dịch vụ có tỷ lệ chuyển đổi 2% (cứ 100 người vào thì 2 người đặt hàng hoặc gửi form).
• Bạn muốn biết phiên bản mới có nâng tỷ lệ đó thêm 20% hay không, tức là từ 2% lên 2,4%. Mức tăng 20% đã là một cải thiện đáng kể. Phần lớn thay đổi nhỏ không đạt được mức này.
• Dùng thiết lập chuẩn của ngành: mức ý nghĩa 5%, độ mạnh thống kê (power) 80%.

Đưa các con số này vào máy tính cỡ mẫu của Evan Miller, công cụ được giới làm thử nghiệm dùng làm chuẩn tham chiếu nhiều năm nay, kết quả là: khoảng 19.800 lượt truy cập cho mỗi phiên bản.

Hai phiên bản nghĩa là gần 40.000 lượt truy cập vào đúng trang đang test. Không phải 40.000 lượt vào toàn website, mà là 40.000 lượt vào riêng trang đó.

Giờ đặt con số đó cạnh lượng truy cập thật của trang:

Tính theo công thức của máy tính Evan Miller: tỷ lệ gốc 2%, chia 50/50, mức ý nghĩa 5%, power 80%.

Nếu muốn bắt được mức tăng 10%, loại cải thiện mà phần lớn các thay đổi "tinh chỉnh" hướng tới, bạn cần khoảng 78.000 lượt mỗi phiên bản, tức hơn 150.000 lượt cho một bài test.

Hãy thành thật với chính mình: trang dịch vụ quan trọng nhất của bạn có bao nhiêu lượt truy cập mỗi tháng? Với nhiều website doanh nghiệp, đó là vài trăm đến vài nghìn. Ở mức đó, một bài A/B test đúng chuẩn kéo dài hơn một năm. Trong một năm, mùa vụ thay đổi, quảng cáo thay đổi, đối thủ thay đổi. Kết quả cuối cùng đo nhiều thứ khác chứ không chỉ đo phiên bản của bạn.

Một "chiến thắng" giả ra đời như thế nào

Đây là kịch bản tôi gặp nhiều nhất. Chủ doanh nghiệp chạy test hai tuần. Mỗi phiên bản có 150 lượt truy cập. Phiên bản cũ có 3 đơn, phiên bản mới có 6 đơn.

Báo cáo ghi: phiên bản mới tăng 100%. Ai nhìn cũng muốn triển khai ngay.

Nhưng chạy kiểm định thống kê cho hai con số đó (kiểm định z cho hai tỷ lệ, chuẩn mà hầu hết công cụ dùng), p-value xấp xỉ 0,31. Nói dễ hiểu: nếu hai phiên bản hoàn toàn giống nhau về hiệu quả, bạn vẫn có khoảng 31% khả năng thấy chênh lệch lớn cỡ đó chỉ do may rủi. Ba đơn hàng chênh lệch có thể đến từ một khách quay lại mua lần hai, một ngày có đợt quảng cáo, hay một người bạn của chủ shop.

Còn một cái bẫy tinh vi hơn: nhìn kết quả mỗi ngày và dừng khi thấy thắng. Evan Miller đã chỉ ra trong bài viết kinh điển How Not To Run an A/B Test rằng kiểm tra ý nghĩa thống kê lặp đi lặp lại luôn làm tăng tỷ lệ dương tính giả. Trong ví dụ của ông, với một thay đổi hoàn toàn không có tác dụng, nếu dừng test ngay lần đầu thấy "có ý nghĩa", tỷ lệ báo thắng sai lên tới 26,1% thay vì 5% như bạn nghĩ. Lời khuyên của ông rất thẳng: chốt cỡ mẫu từ trước và chờ đến khi test kết thúc.

Cộng thêm một sự thật khó chịu nữa. Ngay cả ở những tổ chức làm thử nghiệm giỏi nhất thế giới, phần lớn ý tưởng không thắng. Microsoft công bố rằng khi đưa ý tưởng vào thử nghiệm có kiểm soát, chưa đến một phần ba ý tưởng cải thiện được chỉ số mà nó nhắm tới, và ở một sản phẩm đã tối ưu kỹ như Bing, tỷ lệ đó còn thấp hơn (Bing Search Blog, 2013).

Ghép ba điều lại: ý tưởng phần lớn không thắng, mẫu nhỏ tạo dao động lớn, và thói quen dừng sớm khuếch đại dao động đó. Kết quả là trên một website ít traffic, phần lớn những "chiến thắng" bạn thấy rất có thể chỉ là nhiễu.

Kết quả giả, chi phí thật

"Test thử thì có mất gì đâu?" Có đấy. Mất ở bốn chỗ:

1. Công làm phiên bản. Mỗi biến thể cần thiết kế, lập trình, kiểm tra trên điện thoại và máy tính, gắn tracking. Đó là giờ công thật, dù bạn tự làm hay thuê.
2. Thời gian chờ. Mấy tháng chờ một bài test không bao giờ đủ mẫu là mấy tháng những lỗi hiển nhiên trên website vẫn nằm đó, tiếp tục đuổi khách đi.
3. Triển khai một thay đổi vô dụng, hoặc có hại. Một kết quả giả không chỉ báo "thắng" khi không có gì. Nó có thể báo thắng cho một phiên bản thực ra tệ hơn một chút, và bạn khóa cái tệ hơn đó vào website.
4. Học sai bài học. Đây là cái giá đắt nhất. Cả đội tin rằng "nút đỏ bán tốt hơn nút xanh", rồi áp dụng niềm tin đó vào ba dự án tiếp theo. Một kết luận sai được đóng dấu "đã kiểm chứng bằng dữ liệu" rất khó gỡ.

Tôi đã chạy hơn 150 test cho Neighborly. Đó chính là lý do tôi viết bài này.

Tôi cần nói rõ để bạn không nghĩ tôi chống A/B test. Tôi đã chạy chương trình thử nghiệm cho Neighborly, một thương hiệu dịch vụ gia đình lớn ở Mỹ: hơn 150 bài A/B test, tỷ lệ đặt lịch tăng 35%, tạo thêm 2,8 triệu USD doanh thu (xem dự án). A/B test là một trong những công cụ tôi tin nhất.

Nhưng tôi phải thừa nhận một phản xạ nghề nghiệp sai: sau ngần ấy test, mỗi khi nhìn một website, ý nghĩ đầu tiên của tôi là "cái này nên test". Với một website nhỏ, phản xạ đó sai.

Chương trình ở Neighborly hiệu quả vì nó có đủ ba thứ mà website nhỏ thường thiếu: lượng truy cập lớn để mỗi bài test đủ mẫu trong thời gian hợp lý, hệ thống đo lường được kiểm tra kỹ để con số đáng tin, và đủ nhiều bài test để những mức tăng nhỏ cộng dồn lại thành kết quả lớn. Con số 35% không đến từ một bài test thần kỳ. Nó là kết quả của cả một chương trình.

Ron Kohavi, người từng dẫn dắt mảng thử nghiệm ở Microsoft và Airbnb, cũng nêu ba điều kiện tương tự trong một cuộc trò chuyện về thử nghiệm: làm trong lĩnh vực dễ thay đổi như website, có đủ người dùng, và có kết quả đáng tin. Bài tóm tắt cuộc trò chuyện ghi rằng khi có hàng chục nghìn người dùng, bạn mới bắt đầu thử nghiệm được ở quy mô.

Sao chép quy trình của một thương hiệu lớn lên một website vài nghìn lượt truy cập mỗi tháng cũng giống như mang giáo án của vận động viên marathon cho người mới tập chạy. Giáo án không sai. Nó chỉ không dành cho bạn, ít nhất là chưa.

Ít traffic thì làm gì: 5 việc theo thứ tự

Không chạy A/B test kinh điển không có nghĩa là quay về đoán mò. Nó có nghĩa là dùng đúng công cụ cho đúng lượng dữ liệu bạn có. Đây là thứ tự tôi khuyên.

1. Sửa những lỗi hiển nhiên trước, không cần test

Form gửi bị lỗi trên iPhone. Nút "Liên hệ" bị che trên màn hình nhỏ. Trang tải 6 giây trên 4G. Giá không hiển thị. Những thứ này không cần A/B test. Chúng cần được sửa. Không ai A/B test xem cửa hàng có cửa kẹt có bán ít hơn không.

Tốc độ là ví dụ rõ nhất. Nghiên cứu Milliseconds Make Millions do Deloitte thực hiện (Google đặt hàng) trên 37 thương hiệu châu Âu và Mỹ ghi nhận: khi tốc độ trang trên di động nhanh hơn 0,1 giây, tỷ lệ chuyển đổi ở các trang bán lẻ tăng 8,4% và giá trị đơn hàng trung bình tăng 9,2%. Bạn không cần 40.000 lượt truy cập để quyết định làm trang nhanh hơn.

Và trước khi tin bất kỳ con số chuyển đổi nào, hãy chắc rằng nó đo đúng. Nếu GA4 đang đếm trùng đơn hoặc đếm cú bấm nút thay vì form thật, mọi so sánh trước–sau đều vô nghĩa. Bài 7 lỗi GA4 và GTM thường gặp là chỗ để bắt đầu.

2. Nghiên cứu định tính: xem khách thật dùng website thế nào

Khi ít traffic, bạn không có đủ số liệu để biết cái gì tốt hơn. Nhưng bạn hoàn toàn có thể biết vì sao khách bỏ đi, và câu hỏi đó thường đáng tiền hơn.

• Ghi lại phiên truy cập và bản đồ nhiệt. Microsoft Clarity có ghi lại phiên (session recording) và heatmap, miễn phí vĩnh viễn, không giới hạn lượng truy cập theo chính trang hỏi đáp của Microsoft. Xem 20–30 phiên của những người vào trang dịch vụ mà không gửi form. Bạn sẽ thấy họ cuộn tìm giá, bấm vào một hình không bấm được, hay bỏ đi ngay ở ô "Số điện thoại".
• Phỏng vấn hoặc quan sát 5 người. Nielsen Norman Group, một trong những tổ chức nghiên cứu trải nghiệm người dùng uy tín nhất, chỉ ra rằng một nghiên cứu với 5 người dùng đã tìm ra khoảng 85% vấn đề về khả năng sử dụng, và khuyên chia ngân sách thành nhiều vòng nhỏ 5 người thay vì một vòng lớn. Nhờ 5 khách hàng thật (không phải nhân viên) thử đặt lịch trên website trong khi bạn ngồi im quan sát. Đó là buổi chiều có giá trị nhất của quý.
• Hỏi những người đã mua. "Điều gì suýt làm anh chị không liên hệ?" Một câu hỏi, gửi qua tin nhắn sau khi chốt đơn. Câu trả lời lặp lại nhiều lần chính là danh sách việc cần sửa.

3. Nếu thay đổi, hãy thay đổi lớn

Nhìn lại bảng ở trên: để phát hiện mức tăng 50% thay vì 20%, cỡ mẫu giảm từ khoảng 19.800 xuống khoảng 3.300 lượt mỗi phiên bản. Hiệu ứng càng lớn, càng cần ít người để thấy nó.

Vì vậy, với website ít traffic, đừng test màu nút. Hãy thay đổi những thứ có khả năng tạo khác biệt lớn: cách trình bày lời chào hàng, có hay không có bảng giá, rút form từ 9 ô xuống 3 ô, thay trang chủ chung chung bằng thông điệp nói đúng vấn đề của khách. Nếu một thay đổi nhỏ đến mức cần 150.000 lượt truy cập mới đo được, thì với doanh nghiệp của bạn lúc này, nó cũng không đáng để đo.

4. So sánh trước–sau, nhưng có kỷ luật

Khi không chia đôi được lượng truy cập, cách thực tế là so sánh giai đoạn trước và sau khi thay đổi. Cách này yếu hơn A/B test, và bạn cần biết nó yếu ở đâu:

• Mùa vụ: so tháng trước Tết với tháng sau Tết là so hai thị trường khác nhau. Hãy so cùng kỳ, hoặc ít nhất là cùng số tuần, cùng ngày trong tuần.
• Nguồn truy cập: nếu tuần sau bạn chạy thêm quảng cáo, tỷ lệ chuyển đổi đổi vì khách khác, không phải vì trang khác. So riêng từng nguồn.
• Một thay đổi mỗi lần: đổi cùng lúc tiêu đề, form và giá thì có tăng cũng không biết nhờ cái gì.
• Ghi lại ngày triển khai: một dòng ghi chú trong GA4 hoặc một file chung. Ba tháng sau sẽ không ai nhớ.

Coi kết quả trước–sau là tín hiệu định hướng, không phải bằng chứng. Tín hiệu rõ và khớp với những gì bạn thấy trong nghiên cứu định tính, cứ giữ thay đổi. Tín hiệu mơ hồ, đừng kể với ai rằng nó "đã được chứng minh".

5. Chỉ test ở nơi có traffic, và đo chỉ số gần hơn

Nếu muốn chạy A/B test thật, hãy chọn một trang có nhiều lượt truy cập nhất, thường là trang chủ, trang đích quảng cáo hoặc trang danh mục chính. Đừng rải test ra mười trang, mỗi trang vài trăm lượt.

Bạn cũng có thể đo một chỉ số nằm gần hơn trong hành trình khách hàng. Tỷ lệ bấm nút "Đặt lịch" thường cao hơn nhiều so với tỷ lệ đặt lịch thành công. Với tỷ lệ gốc 10% thay vì 2%, phát hiện mức tăng 20% chỉ cần khoảng 3.600 lượt mỗi phiên bản thay vì 19.800. Đổi lại, bạn phải chấp nhận một giới hạn: nhiều người bấm hơn không chắc là nhiều người mua hơn. Hãy theo dõi cả chỉ số cuối để chắc phiên bản thắng không chỉ đẩy thêm người vào một form mà họ bỏ dở.

Khi nào A/B test bắt đầu đáng tiền

A/B test không phải thứ để bỏ hẳn. Nó là thứ để chờ đến đúng lúc. Bạn đã sẵn sàng khi trả lời "có" cho cả năm câu này:

• Máy tính cỡ mẫu cho thấy trang cần test đủ mẫu trong khoảng 4–6 tuần với mức tăng bạn thực sự kỳ vọng.
• Tracking chuyển đổi đã được đối soát với số đơn hoặc số form thật, không chỉ "thấy GA4 có số".
• Giả thuyết đến từ nghiên cứu (recording, phỏng vấn, dữ liệu), không phải từ một bài viết "10 mẹo tăng chuyển đổi".
• Bạn chấp nhận chốt cỡ mẫu trước và không dừng sớm, kể cả khi tuần đầu trông rất đẹp.
• Bạn có kế hoạch cho nhiều bài test liên tiếp, vì giá trị nằm ở chương trình, không nằm ở một bài test đơn lẻ.

Thiếu câu nào, hãy quay lại năm việc ở phần trên. Chúng không phải giải pháp tạm. Chúng chính là nền móng mà mọi chương trình A/B test nghiêm túc đều phải có trước.

Nếu bạn mới làm quen với khái niệm này, bài A/B testing là gì giải thích từ đầu, không dùng thuật ngữ.

Cái giá thật của việc làm theo phong trào

Quay lại câu "đừng đoán, hãy A/B test". Câu đó đúng, nhưng chỉ đúng với người có đủ dữ liệu. Với website ít traffic, phiên bản trung thực hơn là: đừng đoán, hãy quan sát, sửa những gì đã rõ ràng, và để dành A/B test cho lúc con số đủ sức trả lời.

Doanh nghiệp làm theo phong trào sẽ tốn vài tháng, một khoản tiền công cụ và công làm phiên bản, để nhận về một "chiến thắng" mà không ai dám chắc không phải là may rủi. Doanh nghiệp làm đúng thứ tự sẽ dùng chính khoảng thời gian đó để sửa form hỏng, làm trang nhanh hơn và nói rõ lời chào hàng hơn. Những thay đổi đó không cần thống kê để chứng minh, vì khách hàng sẽ chứng minh giúp bạn.

Nếu bạn muốn biết website của mình đã đủ traffic để test chưa, hoặc nên sửa gì trước, hãy xem dịch vụ A/B testing và tối ưu chuyển đổi. Tôi sẽ bắt đầu bằng phép tính cỡ mẫu, không phải bằng một công cụ. Còn nếu muốn gửi luôn số liệu để tôi xem, liên hệ ở đây.

---

Nguồn tham khảo:

• Evan Miller — Sample Size Calculator (các cỡ mẫu trong bài được tính bằng chính công thức của công cụ này: mức ý nghĩa 5%, power 80%, kiểm định hai phía)
• Evan Miller — How Not To Run an A/B Test
• Bing Search Blog — Large Scale Experimentation at Bing (08/2013)
• Wingify — 1,000 Experiments Club: A Conversation With Ronny Kohavi
• Deloitte — Milliseconds Make Millions
• Microsoft Learn — Clarity: Frequently asked questions
• Nielsen Norman Group — Why You Only Need to Test with 5 Users