Chúng tôi đã thực hiện công việc này như thế nào

Các phương pháp chúng tôi đã dùng để tổ chức và phân tích các cuộc trò chuyện về AI

Dự án Tác động của AI đối với công việc có hai giai đoạn. Ở giai đoạn đầu, bất kỳ người dân California nào cũng có thể chia sẻ quan điểm qua một khảo sát mở trực tuyến. Ở giai đoạn hai, chúng tôi mời những người trả lời khảo sát quan tâm tham gia các buổi thảo luận trực tiếp.

Cân bằng từng nhóm một cách công bằng

Chúng tôi cần quyết định mời ai. Và chúng tôi cần chọn một cách công bằng, đồng thời tạo ra các nhóm cân đối.

Vì vậy, chúng tôi dùng một phương pháp gọi là rút thăm (sortition), tương tự cách tòa án chọn bồi thẩm đoàn. Phương pháp này dựa trên hai ý tưởng quan trọng như nhau:

  • Tính đại diện: Chúng tôi đặt ra các mục tiêu nhân khẩu học dựa trên ước tính dân số California. Điều này giúp danh sách người được mời cuối cùng phản ánh sự đa dạng của tiểu bang. Các tiêu chí gồm tuổi, địa lý và lĩnh vực làm việc.
  • Tính ngẫu nhiên: Trong phạm vi các mục tiêu đó, mọi người đủ điều kiện đều có cơ hội được chọn như nhau.

Những nguyên tắc này đảm bảo chúng tôi không chỉ nghe từ những người trả lời sớm nhất. Chúng giúp chúng tôi xây dựng một danh sách được chọn công bằng, phản ánh gần đúng người dân California nói chung.

Nhân khẩu học

Xem chúng tôi đã tiến gần đến các mục tiêu nhân khẩu học đến mức nào. Nhấp vào menu thả xuống để xem số liệu theo:

  • Khu vực
  • Chủng tộc / sắc tộc
  • Giới tính
  • Lĩnh vực làm việc
  • Tuổi

Nhân khẩu học của khảo sát so với thảo luận

Rút thăm giúp chúng tôi tiến gần hơn đến nhân khẩu học cân đối trong các buổi thảo luận.

Biểu đồ cột so sánh người tham gia khảo sát và thảo luận với các mục tiêu nhân khẩu học, tính bằng điểm phần trăm so với mục tiêu.

Nguồn của các mục tiêu

  • Khu vực: Mỗi khu vực được đảm bảo có tiếng nói (ít nhất 6 người). Chúng tôi phân bổ số chỗ còn lại theo tỷ lệ dân số California năm 2026 dựa trên ước tính của Khảo sát Cộng đồng Hoa Kỳ (ACS).

Xếp hạng các ý tưởng chính sách

Trong các buổi thảo luận, người tham gia đề xuất các ý tưởng chính sách, rồi bỏ phiếu theo nhóm.

Chúng tôi tổng hợp tất cả các ý tưởng nhận được ít nhất một phiếu trong một buổi thảo luận. Sau đó, chúng tôi nhóm các ý tưởng tương tự lại và viết tóm tắt cho mỗi nhóm. Đây trở thành 26 ý tưởng chính sách. Mỗi ý tưởng chính sách bao gồm từ 1 đến 12 đề xuất chính sách riêng lẻ.

Để xếp hạng các ý tưởng chính sách, chúng tôi đánh giá từng ý tưởng dựa trên 2 yếu tố:

  • Tần suất: Một ý tưởng chính sách xuất hiện bao nhiêu lần trong 14 buổi thảo luận. Số lần dao động từ 1 đến 8.
  • Sự ủng hộ: Ý tưởng chính sách có lọt vào nhóm được bỏ phiếu cao nhất trong một buổi thảo luận hay không. Để lọt vào nhóm này, ý tưởng phải nhận đủ phiếu để nằm trong một phần ba trên cùng. Số lần dao động từ 0 đến 5.

Chúng tôi sắp xếp danh sách các ý tưởng chính sách theo tần suất. Sau đó chia thành hai nửa gần bằng nhau và gắn nhãn nửa trên là "tần suất cao". Một ý tưởng được coi là "tần suất cao" nếu xuất hiện trong 5 buổi thảo luận trở lên.

Sau đó, chúng tôi sắp xếp các ý tưởng chính sách theo sự ủng hộ. Chúng tôi gắn nhãn một ý tưởng là "ý tưởng hàng đầu" nếu các ý tưởng liên quan của nó nằm trong 3 chủ đề hàng đầu xuyên suốt tất cả các phiên.

Thứ tự các ý tưởng có ý nghĩa nhất định, nhưng không tuyệt đối. Với mỗi yếu tố, chúng tôi tính thứ hạng của ý tưởng so với tất cả các ý tưởng khác. Sau đó cộng các thứ hạng này lại để cho mỗi ý tưởng một điểm số. Chúng tôi đặt các ý tưởng có điểm cao nhất lên đầu. Khi các ý tưởng chính sách bằng điểm, chúng tôi dùng thứ tự bảng chữ cái.

Tải tất cả các ý tưởng chính sách

Quý vị có thể tải về và đọc tất cả các chính sách mà mọi người đề xuất trong các buổi thảo luận. Chúng ở dạng tệp CSV.

Chúng tôi đã sử dụng AI như thế nào

Nhân viên của chúng tôi đã dùng AI để hỗ trợ xem xét và phân tích các buổi thảo luận này.

Ví dụ về việc sử dụng AI gồm:

  • chuyển âm thanh buổi thảo luận thành bản ghi,
  • tạo bản tóm tắt tổng quan các phản hồi thảo luận và khảo sát, và
  • gắn thẻ các phần của cuộc trò chuyện với những ý tưởng được đề cập.

AI không chọn người chúng tôi mời tham gia thảo luận. Chúng tôi chọn người được mời bằng cách rút thăm. Chúng tôi đảm bảo nhóm người được mời phản ánh nhân khẩu học California. Chúng tôi cũng dùng AI để đánh giá thái độ của người trả lời về AI. Điều này mang lại cho chúng tôi sự đa dạng quan điểm.

Chúng tôi bảo vệ những gì người tham gia chia sẻ. Toàn bộ công việc với AI diễn ra trong môi trường dữ liệu bảo mật của tiểu bang. Chúng tôi không bao giờ chia sẻ bản ghi hay phản hồi khảo sát với các nhà cung cấp AI. Không có nội dung nào được dùng để huấn luyện các mô hình AI.

AI không bao giờ thay thế phán đoán của con người, và không bao giờ viết hay chỉnh sửa lời của người tham gia. Mọi trích dẫn trong báo cáo này đều là lời người tham gia đã nói. Chúng tôi đối chiếu với bản ghi và để nhân viên xem xét.

Nhân viên của chúng tôi tự xác định các ý tưởng chính sách và chủ đề được nêu bật trong báo cáo này. Họ xem xét các bản ghi và phản hồi khảo sát mà không cần AI hỗ trợ. Khi AI hỗ trợ phân tích, chúng tôi yêu cầu nó đưa ra trích dẫn chính xác. Nhân viên kiểm tra các nhận định đó trước khi dựa vào chúng.

Trong quá trình thử nghiệm, chúng tôi so sánh bản tóm tắt của AI với ghi chép của người ghi chép. Chúng tôi thấy chúng bao quát cùng nội dung mà không bịa đặt.