5 người hay 500 người: một nghiên cứu cần bao nhiêu người tham gia?

Giả sử có hai bài nghiên cứu cùng nói về trải nghiệm học tập của sinh viên.

Bài thứ nhất phát một Google Form và nhận được 500 câu trả lời. Bài thứ hai chỉ làm việc với 5 người, nhưng mỗi người được phỏng vấn trong một giờ, được hỏi tiếp khi câu trả lời chưa rõ và được quan sát trong đúng tình huống mà nghiên cứu quan tâm.

Nếu chỉ nhìn vào số lượng, bài đầu tiên có vẻ đáng tin hơn hẳn. Năm trăm rõ ràng lớn hơn năm. Nhưng nếu 500 người đều đến từ cùng một lớp, tự nguyện bấm vào đường dẫn vì vốn quan tâm đến chủ đề, trong khi người viết lại kết luận về toàn bộ sinh viên Việt Nam, con số lớn đó chưa chắc cứu được cách chọn mẫu.

Ở chiều ngược lại, 5 cuộc phỏng vấn có thể cho biết rất nhiều về trải nghiệm của 5 người ấy. Nhưng nếu 3 người trong số họ đồng ý với một nhận định, nghiên cứu cũng không thể từ đó tuyên bố 60% sinh viên đều nghĩ như vậy.

Ban đầu, tôi cho rằng một nghiên cứu có càng nhiều người tham gia thì kết quả càng đáng tin. Sau khi đọc thêm, tôi vẫn thấy số lượng rất quan trọng, đặc biệt với khảo sát định lượng. Tuy nhiên, bản thân con số không cho biết nghiên cứu tốt đến đâu.

Điều cần hỏi là: với cách chọn những người này và loại dữ liệu đang thu, nghiên cứu được phép kết luận đến đâu?

Phương pháp và phạm vi bài viết

Bài viết này dựa trên việc đọc và đối chiếu một số công trình về cỡ mẫu trong khảo sát định lượng, phỏng vấn định tính và kiểm tra khả năng sử dụng của sản phẩm. Đây không phải nghiên cứu do tôi trực tiếp thu thập dữ liệu.

Ba loại nghiên cứu trên không quyết định số người tham gia theo cùng một cách. Một khảo sát muốn ước lượng tỷ lệ dân số không thể dùng chung tiêu chuẩn với một cuộc phỏng vấn sâu. Một vòng kiểm tra giao diện để tìm lỗi cũng không cần trả lời những câu hỏi giống một cuộc điều tra xã hội.

Vì vậy, bài viết không cố tìm ra một con số chung cho mọi đề tài. Nó tập trung vào ba trường hợp dễ bị đánh đồng: khi mẫu nhỏ thực sự quá nhỏ, khi ít người vẫn tạo ra dữ liệu hữu ích và khi một mẫu rất lớn vẫn dẫn đến kết luận sai.

5 câu trả lời không giống 5 cuộc phỏng vấn

Một trong những nhầm lẫn phổ biến nhất là gom mọi người tham gia vào cùng một cách đếm.

Năm người tích vào một form lựa chọn trong hai phút chỉ tạo ra năm dòng dữ liệu ngắn. Năm người tham gia phỏng vấn sâu có thể tạo ra nhiều giờ ghi âm, hàng chục trang bản chép lời và nhiều lần người nghiên cứu hỏi tiếp để hiểu nguyên nhân phía sau câu trả lời. Năm người cùng thực hiện một nhiệm vụ trên ứng dụng lại cung cấp một loại dữ liệu khác: người nghiên cứu có thể nhìn thấy họ mắc ở đâu, bấm nhầm chỗ nào và hiểu sai hướng dẫn ra sao.

Số người đều là năm, nhưng lượng thông tin và mục đích sử dụng không giống nhau.

Một khảo sát định lượng thường muốn biết bao nhiêu người có một đặc điểm, tỷ lệ ủng hộ là bao nhiêu hoặc hai nhóm khác nhau đến mức nào. Phỏng vấn định tính thường quan tâm đến việc một trải nghiệm diễn ra ra sao, vì sao người tham gia suy nghĩ như vậy và một vấn đề có thể mang những ý nghĩa gì. Kiểm tra khả năng sử dụng chủ yếu tìm xem sản phẩm đang gây khó ở đâu để nhóm thiết kế sửa rồi thử lại.

Nếu dùng năm cuộc phỏng vấn để ước lượng một tỷ lệ trong cộng đồng, nghiên cứu đã yêu cầu dữ liệu trả lời một câu hỏi mà nó không đủ sức trả lời. Nhưng nếu dùng một form 500 người chỉ gồm những lựa chọn có sẵn để tìm hiểu sâu một trải nghiệm phức tạp, số lượng lớn cũng chưa chắc cung cấp đúng loại thông tin cần tìm.

Khi 3 trong 5 người được viết thành 60%

Trong 5 người trả lời, giả sử có 3 người chọn “đồng ý”. Kết quả có thể được viết thành 60%, trông khá giống một con số thống kê hoàn chỉnh.

Vấn đề là mỗi người trong mẫu đang chiếm tới 20 điểm phần trăm. Chỉ cần một người đổi lựa chọn, kết quả lập tức chuyển từ 60% xuống 40% hoặc lên 80%. Tỷ lệ dao động mạnh không phải vì cộng đồng ngoài kia vừa thay đổi, mà vì mẫu quá nhỏ.

Nếu tạm coi 5 người được chọn ngẫu nhiên, các câu trả lời độc lập và không có nguồn sai lệch nào khác, khoảng tin cậy 95% theo phương pháp Wilson cho tỷ lệ 3 trên 5 trải từ khoảng 23% đến 88%. Khoảng này rộng đến mức con số 60% không còn giúp xác định tỷ lệ thực trong cộng đồng nằm ở đâu một cách hữu ích.

Cũng là 60%, nhưng nếu có 60 trên 100 người đồng ý, khoảng ước lượng thu hẹp còn khoảng 50% đến 69%. Với 600 trên 1.000 người, nó còn khoảng 57% đến 63%.

Đây chỉ là phép minh họa trong điều kiện lấy mẫu tương đối lý tưởng. Nó chưa tính đến việc form có được gửi đúng người hay không, ai đã từ chối tham gia, câu hỏi có bị hiểu sai hoặc người trả lời có chọn đại hay không. Dù vậy, ví dụ vẫn cho thấy một vai trò rất thật của cỡ mẫu: khi có thêm những quan sát phù hợp, kết quả thường bớt phụ thuộc vào một vài cá nhân tình cờ xuất hiện trong mẫu.

Với mẫu 5 người, cách viết trung thực hơn là “3 trong 5 người tham gia đồng ý”, thay vì tách riêng dòng “60% đồng ý” rồi đặt nó lên biểu đồ. Phép tính không sai, nhưng cách trình bày thứ hai dễ khiến một quan sát ban đầu trông giống kết quả đã đại diện cho cả cộng đồng.

Daniël Lakens cho rằng cỡ mẫu trong nghiên cứu định lượng cần được giải thích dựa trên mục tiêu suy luận. Nếu muốn ước lượng một tỷ lệ hoặc mức ảnh hưởng, người thực hiện có thể lên kế hoạch dựa trên độ chính xác mong muốn. Nếu muốn kiểm định một giả thuyết, cỡ mẫu có thể được tính bằng phân tích lực thống kê trước khi thu thập dữ liệu.

Tiền bạc, thời gian và khả năng tiếp cận người tham gia đương nhiên vẫn giới hạn một nghiên cứu. Nhưng “tôi chỉ tìm được 5 người” mới giải thích hoàn cảnh thu thập dữ liệu, chưa chứng minh được 5 người là đủ.

Có lúc một nghiên cứu nhỏ vẫn đáng làm. Khi đối tượng là người mắc một bệnh cực hiếm, toàn bộ nhóm có thể vốn đã rất ít. Khi đó, điều cần làm không phải giả vờ rằng mẫu lớn hơn thực tế, mà là thu hẹp câu hỏi và nói rõ nghiên cứu này có thể cung cấp điều gì.

Hàng trăm nghìn người vẫn có thể cho một đáp án sai

Nếu mẫu nhỏ tạo ra kết quả thiếu ổn định, phản ứng tự nhiên là cố thu càng nhiều người càng tốt. Cách này giải quyết được một phần vấn đề, nhưng không giải quyết tất cả.

Bradley và cộng sự từng phân tích ba khảo sát về tỷ lệ tiêm liều vaccine COVID-19 đầu tiên tại Hoa Kỳ. Delphi–Facebook nhận khoảng 250.000 phản hồi mỗi tuần. Household Pulse Survey của Cục Điều tra Dân số Hoa Kỳ nhận khoảng 75.000 phản hồi mỗi hai tuần.

Đây đều là những con số rất lớn. Tuy nhiên, vào tháng 5 năm 2021, hai khảo sát lần lượt ước lượng tỷ lệ tiêm cao hơn mốc đối chiếu đã cập nhật của Trung tâm Kiểm soát và Phòng ngừa Dịch bệnh Hoa Kỳ khoảng 17 và 14 điểm phần trăm.

Trong cùng phân tích, một khảo sát Axios–Ipsos chỉ có khoảng 1.000 phản hồi mỗi tuần lại cho kết quả đáng tin cậy hơn. Khác biệt không nằm ở việc 1.000 lớn hơn 250.000. Nó nằm ở cách khảo sát được thiết kế, tuyển người và điều chỉnh mẫu.

Cỡ mẫu khổng lồ khiến biên sai số lấy mẫu quanh kết quả của hai khảo sát lớn trở nên rất nhỏ. Nhìn trên báo cáo, các ước lượng có vẻ cực kỳ chính xác. Nhưng chúng đang chính xác quanh một đáp án bị lệch.

Một chiếc cân bị lệch 2 kg sẽ không đúng hơn chỉ vì chúng ta đứng lên nó 10.000 lần.

Thêm người thường giúp giảm dao động do may rủi của việc chọn mẫu. Nhưng nếu cách tuyển người đã bỏ sót một nhóm quan trọng, nếu người đồng ý trả lời khác người từ chối hoặc nếu form chỉ được lan truyền trong một cộng đồng nhất định, việc tiếp tục thu thêm những người tương tự không tự sửa được sai lệch đó.

Giả sử một form về trí tuệ nhân tạo được đăng trong nhóm dành cho sinh viên yêu thích công nghệ. Ngay cả khi có 5.000 người phản hồi, kết quả trước hết vẫn mô tả những người đã nhìn thấy form và tự chọn tham gia trong cộng đồng ấy. Nó không tự động trở thành ý kiến của toàn bộ sinh viên.

Bởi vậy, một con số người tham gia lớn chỉ thực sự có ý nghĩa khi chúng ta còn biết họ đến từ đâu, ai có cơ hội được chọn, ai đã không trả lời và kết luận cuối cùng đang nói về nhóm nào.

Khi ít người lại là một lựa chọn hợp lý

Mẫu 5 người rất yếu nếu dùng để ước lượng tỷ lệ. Nhưng với một câu hỏi khác, năm người vẫn có thể tạo ra dữ liệu đáng giá.

Trong nghiên cứu dựa trên phỏng vấn, mục tiêu có thể không phải xác định bao nhiêu phần trăm cộng đồng có một đặc điểm. Crouch và McKenzie lập luận rằng một số nghiên cứu định tính với ít hơn 20 trường hợp có thể giúp nhà nghiên cứu duy trì quan hệ gần với người tham gia và phân tích sâu từng tình huống.

Lập luận này thường bị rút gọn thành “nghiên cứu định tính không cần nhiều người”. Cách hiểu đó thiếu mất phần quan trọng nhất: nhóm tác giả đang nói về những nghiên cứu tìm hiểu đặc điểm, quá trình và ý nghĩa của một tình huống, chứ không phải đo tỷ lệ của các đặc điểm trong dân số.

Malterud, Siersma và Guassora đề xuất dùng khái niệm “sức mạnh thông tin” để suy nghĩ về cỡ mẫu phỏng vấn. Một mẫu có thể cần ít người hơn khi mục tiêu rất hẹp, người được chọn đặc biệt phù hợp với đề tài, cuộc đối thoại đủ sâu và cách phân tích tập trung kỹ vào từng trường hợp.

Chẳng hạn, nếu muốn hiểu quy trình làm việc của đúng một nhóm năm nhân viên đang sử dụng một công cụ nội bộ, phỏng vấn cả năm người có thể là một thiết kế hợp lý. Nhưng nếu muốn mô tả toàn bộ khó khăn của người lao động trẻ tại Việt Nam, năm cuộc phỏng vấn khó bao phủ được sự khác biệt về nghề nghiệp, khu vực, giới tính, thu nhập và hoàn cảnh sống.

Mẫu nhỏ không tự động làm nghiên cứu kém. Nó trở thành vấn đề khi câu hỏi quá rộng, người tham gia được chọn tùy tiện hoặc kết luận chạy xa hơn những gì dữ liệu thực sự cho thấy.

Trường hợp tôi thấy gần với những form thông thường hơn là nghiên cứu thử. Trước khi phát bảng hỏi cho hàng trăm người, người thiết kế có thể nhờ một nhóm nhỏ giống đối tượng thật đọc và làm trước.

Lúc này, chỉ một người hiểu sai câu hỏi quan trọng cũng đã cung cấp thông tin hữu ích: câu đó có nguy cơ gây nhầm và cần được kiểm tra lại. Người nghiên cứu có thể hỏi vì sao họ hiểu như vậy, phần hướng dẫn nào thiếu rõ ràng và phương án trả lời nào chưa phù hợp.

Năm người được quan sát kỹ trước khi phát form đôi khi hữu ích hơn việc vội vàng thu 500 câu trả lời bằng một công cụ đang có lỗi. Nhưng năm người ấy được dùng để sửa form, không phải thay thế mẫu của nghiên cứu chính.

“Chỉ cần 5 người” đến từ đâu?

Con số năm thường xuất hiện trong lĩnh vực kiểm tra khả năng sử dụng của website hoặc ứng dụng.

Năm 1993, Nielsen và Landauer xây dựng một mô hình về số vấn đề usability được phát hiện khi tăng số người dùng thử hoặc người đánh giá. Dựa trên 11 nghiên cứu, họ mô tả hiện tượng lợi ích giảm dần: những người đầu tiên thường tìm thấy nhiều lỗi mới, trong khi những người sau bắt đầu gặp lại các lỗi đã xuất hiện.

Trong một ví dụ về chi phí và lợi ích ở mức trung bình, tỷ lệ lợi ích trên chi phí đạt tối đa tại bốn lượt đánh giá. Tuy nhiên, mô hình vẫn ước tính 16 lượt đánh giá là còn đáng so với chi phí bỏ ra. Chi tiết thứ hai ít khi xuất hiện trong những phiên bản rút gọn của “quy tắc 5 người”.

Cách thử với một nhóm nhỏ có lý do thực tế. Nếu ba người đầu tiên đều không tìm thấy nút thanh toán, nhóm thiết kế không nhất thiết phải chờ thêm 97 người cùng mắc lỗi mới bắt đầu sửa. Họ có thể sửa giao diện sớm, rồi thử một vòng mới.

Tuy nhiên, năm không phải con số thần kỳ.

Năm 2003, Laura Faulkner kiểm tra 60 người dùng rồi rút ngẫu nhiên nhiều nhóm nhỏ từ dữ liệu đó. Trong những nhóm gồm 5 người, có nhóm tìm được 99% vấn đề đã biết, nhưng cũng có nhóm chỉ tìm được 55%. Khi tăng lên 10 người, mức thấp nhất tăng lên 80%; với 20 người, mức thấp nhất là 95%.

Nhóm 5 người có thể hoạt động rất tốt nếu họ tình cờ gặp được phần lớn vấn đề. Nó cũng có thể bỏ sót gần một nửa số lỗi nếu năm người được chọn có trải nghiệm quá giống nhau hoặc một số lỗi chỉ xuất hiện với nhóm người dùng khác.

Nếu sản phẩm có người dùng mới và người dùng lâu năm, người trẻ và người lớn tuổi, người dùng điện thoại và máy tính, người có và không có khuyết tật, năm người thuộc cùng một nhóm không thể đại diện cho tất cả những cách sử dụng ấy.

Ngoài ra, usability testing không phải khảo sát dùng để ước lượng tỷ lệ dân số. Quan sát ba trong năm người không tìm được nút thanh toán có thể đã đủ để nhóm thiết kế kiểm tra lại giao diện. Nhưng kết quả đó không chứng minh chính xác 60% toàn bộ khách hàng sẽ gặp lỗi.

Cùng một dữ liệu, nhưng mức kết luận được phép đưa ra hoàn toàn khác.

Phỏng vấn bao nhiêu người mới đủ?

Ngay cả trong nghiên cứu định tính, “5 người là đủ sâu” hay “cứ dưới 20 là được” vẫn quá đơn giản.

Một tổng quan của Wutich, Beresford và Bernard công bố năm 2024 cho thấy số người cần thiết thay đổi theo loại phân tích. Trong những nghiên cứu được tổng hợp, việc nhận diện các chủ đề chính có thể đạt bão hòa ở khoảng 9 cuộc phỏng vấn trong một số thiết kế. Để hiểu thêm chiều sâu, sắc thái và sự biến đổi về ý nghĩa của các chủ đề, con số được đề xuất có thể vào khoảng 24 cuộc. Một số hướng phân tích khác cần 20–30 cuộc hoặc hơn, trong khi có phương pháp gần như chưa có hướng dẫn cỡ mẫu rõ ràng.

Những con số này không phải định mức để chép vào mọi đề cương. Chủ đề càng rộng, nhóm người tham gia càng đa dạng và nghiên cứu càng muốn so sánh nhiều hoàn cảnh thì khả năng cần thêm dữ liệu càng lớn.

Khái niệm “bão hòa” thường được dùng khi dữ liệu mới không còn tạo ra chủ đề đáng kể. Nhưng điểm dừng ấy phải được theo dõi trong quá trình thu thập và gắn với cách phân tích cụ thể. Không thể phỏng vấn trước năm người, thấy các câu trả lời hơi giống nhau rồi mặc định nghiên cứu đã bão hòa.

Nếu một bài chỉ có 5 cuộc phỏng vấn, số lượng đó không nhất thiết khiến bài mất giá trị. Tôi sẽ quan tâm hơn đến việc vì sao đúng năm người này được chọn, mỗi cuộc phỏng vấn tạo ra loại dữ liệu gì, nhóm trải nghiệm nào chưa xuất hiện và tác giả có giữ kết luận trong phạm vi của mẫu hay không.

Một mẫu nhỏ được giải thích rõ vẫn đáng tin hơn một con số lớn được chọn theo cảm tính rồi để người đọc tự đoán nó có đủ hay không.

Nhớ nhanh: mỗi loại nghiên cứu được phép nói gì?

Nếu chỉ thử trước một form, vài người có thể giúp phát hiện câu khó hiểu, lỗi rẽ nhánh hoặc thời gian làm không đúng như dự kiến. Kết quả này chưa cho biết các lỗi đó phổ biến đến đâu trong toàn bộ nhóm mục tiêu.

Nếu kiểm tra usability theo từng vòng, một nhóm nhỏ đúng đối tượng có thể tìm ra những điểm vướng rõ ràng để sửa sản phẩm. Đừng từ đó biến số người gặp lỗi trong nhóm thử thành tỷ lệ của toàn bộ người dùng.

Nếu phỏng vấn sâu một nhóm rất cụ thể, mẫu nhỏ có thể giúp mô tả trải nghiệm, quá trình và nguyên nhân. Mức độ đầy đủ còn phụ thuộc vào phạm vi câu hỏi, cách chọn người, chất lượng đối thoại và phương pháp phân tích.

Nếu khảo sát để ước lượng tỷ lệ hoặc so sánh nhóm, cỡ mẫu cần được lên kế hoạch dựa trên độ chính xác, lực thống kê và cách lấy mẫu. Năm câu trả lời thường chỉ nên được xem là dữ liệu thử hoặc mô tả đúng năm người ấy.

Nếu đã có hàng trăm hoặc hàng nghìn phản hồi nhưng người tham gia tự chọn vào từ một đường dẫn tiện lợi, kết quả vẫn nên được viết là “trong số những người trả lời”. Số lượng lớn không tự cấp quyền nói thay cho cả cộng đồng.

Vậy nên chọn 5 người hay 500 người?

Tôi không nghĩ nên bắt đầu bằng một con số dễ nhớ.

Trước khi phát form, người thực hiện cần xác định mình muốn mô tả ai. “Sinh viên” là một nhóm rất rộng. Sinh viên năm nhất của một khoa, người đã sử dụng một dịch vụ trong ba tháng gần nhất hoặc toàn bộ nhân viên vận hành một hệ thống nội bộ là những nhóm có ranh giới rõ hơn.

Tiếp theo là loại kết luận. Nếu bài muốn nói về tỷ lệ, mức trung bình, sự khác biệt hoặc mối liên hệ, nghiên cứu đang đi theo hướng định lượng. Nếu muốn hiểu một trải nghiệm diễn ra như thế nào và vì sao, phỏng vấn hoặc quan sát có thể phù hợp hơn.

Nghiên cứu thử cũng nên được tách khỏi nghiên cứu chính. Nhóm đầu tiên có thể giúp sửa công cụ. Nhóm sau mới được dùng để trả lời câu hỏi nghiên cứu. Việc gom cả hai giai đoạn vào nhau chỉ vì “đằng nào cũng có dữ liệu” dễ làm thiết kế trở nên lộn xộn.

Cỡ mẫu nên được giải thích trước khi thu thập, thay vì đợi form đóng rồi mới tìm lý do để nói số người hiện có là đủ. Nếu nguồn lực chỉ cho phép tiếp cận một mẫu nhỏ, câu hỏi và kết luận cũng cần được thu hẹp tương ứng.

Cuối cùng là cách viết. Với mẫu rất nhỏ, số đếm thường trung thực hơn phần trăm. Với mẫu tự nguyện hoặc thuận tiện, nên nói về “những người đã trả lời” thay vì gọi họ là đại diện cho sinh viên, khách hàng hay người Việt Nam nói chung.

Những cách viết này có thể làm tiêu đề bớt kêu. Đổi lại, người đọc biết chính xác dữ liệu đã nói được điều gì và phần nào vẫn còn chưa chắc chắn.

Kết luận

Với khảo sát định lượng dùng để ước lượng tỷ lệ trong một cộng đồng lớn, 5 người thường là quá ít. Mỗi câu trả lời làm kết quả thay đổi mạnh và khoảng bất định còn quá rộng.

Trong phỏng vấn sâu, nghiên cứu thử hoặc kiểm tra usability, một nhóm nhỏ vẫn có thể phát hiện vấn đề và cung cấp dữ liệu hữu ích. Nhưng kết quả khi đó chủ yếu dùng để tìm hiểu trải nghiệm, sửa công cụ hoặc nhận diện lỗi, không phải để tính tỷ lệ đại diện cho cộng đồng.

Ở chiều ngược lại, hàng trăm nghìn phản hồi vẫn có thể dẫn đến một ước lượng sai nếu cách chọn mẫu bị lệch. Số lượng lớn giúp kết quả ổn định hơn, nhưng không tự sửa được những sai lệch đã tồn tại trong quá trình tuyển người.

Số người tham gia chỉ có ý nghĩa khi nó đủ để nâng đỡ đúng mức kết luận mà nghiên cứu muốn đưa ra.