이 작업을 진행한 방법

AI가 업무에 미치는 영향 프로젝트는 두 단계로 진행되었습니다. 1단계에서는 모든 캘리포니아 주민이 온라인 공개 설문조사를 통해 의견을 낼 수 있었습니다. 2단계에서는 관심 있는 설문 참여자를 실시간 토론에 초대했습니다.

각 그룹을 공정하게 구성하기

누구를 초대할지 정해야 했습니다. 그리고 균형 잡힌 그룹을 만들면서도 공정하게 선택해야 했습니다.

그래서 법원이 배심원을 선정하는 방식과 비슷한 추첨(sortition) 방식을 사용했습니다. 이 방식은 똑같이 중요한 두 가지 원칙에 기반합니다:

대표성: 캘리포니아 인구 추정치를 바탕으로 인구통계 목표를 정했습니다. 이를 통해 최종 초대자 명단이 주의 다양성을 반영하도록 했습니다. 기준에는 연령, 지역, 직종 등이 포함되었습니다.
무작위성: 그 목표 안에서 조건에 맞는 모든 사람이 공정하게 선정될 기회를 가졌습니다.

이 원칙 덕분에 먼저 응답한 사람들의 의견만 듣는 일을 피할 수 있었습니다. 캘리포니아 주민 전체를 대략적으로 반영하는, 공정하게 선정된 명단을 만들 수 있었습니다.

인구통계

인구통계 목표에 얼마나 근접했는지 확인해 보세요. 드롭다운 메뉴를 클릭하면 다음 기준별 측정치를 볼 수 있습니다:

지역
인종 / 민족
성별
직종
연령

설문조사와 토론의 인구통계 비교

추첨 덕분에 토론의 인구통계가 더 균형에 가까워졌습니다.

설문조사와 토론 참여자를 인구통계 목표와 비교한 막대그래프, 목표 대비 퍼센트포인트 단위.

목표 출처

지역: 모든 지역에 최소 6명의 발언권을 보장했습니다. 나머지 자리는 미국 지역사회 조사(ACS) 추정치를 사용해 2026년 캘리포니아 인구에 비례해 배정했습니다.

추첨에 관해 더 알아보기

저희의 추첨 코드
Sortition Foundation, 왜 추첨 알고리즘인가? (영어)

정책 아이디어 순위 매기기

토론에서 참여자들은 정책 아이디어를 제안한 뒤 그룹으로 투표했습니다.

토론에서 한 표 이상 받은 아이디어를 모두 모았습니다. 그런 다음 비슷한 아이디어를 묶고 각 그룹에 대한 요약을 작성했습니다. 이것이 26개의 정책 아이디어가 되었습니다. 각 정책 아이디어는 1개에서 12개의 개별 정책 제안을 포함했습니다.

정책 아이디어의 순위를 매기기 위해 두 가지 요소로 각각을 평가했습니다:

빈도: 14개 토론에서 정책 아이디어가 얼마나 자주 나왔는지. 1회에서 8회까지였습니다.
지지: 정책 아이디어가 토론에서 상위 득표에 들었는지. 상위에 들려면 상위 3분의 1에 드는 표를 얻어야 했습니다. 0회에서 5회까지였습니다.

정책 아이디어 목록을 빈도순으로 정렬했습니다. 그런 다음 대략 절반으로 나누어 상위 절반을 "고빈도"로 표시했습니다. 5회 이상의 토론에서 나온 아이디어가 "고빈도"였습니다.

그다음 정책 아이디어를 지지순으로 정렬했습니다. 관련 아이디어가 모든 세션에서 상위 3개 주제에 들었다면 "최상위 아이디어"로 표시했습니다.

아이디어의 순서에는 어느 정도 의미가 있지만 절대적이지는 않습니다. 각 요소에 대해 다른 모든 아이디어와 비교한 순위를 계산했습니다. 그런 다음 이 순위를 합산해 각 아이디어에 점수를 매겼습니다. 점수가 가장 높은 아이디어를 맨 위에 두었습니다. 정책 아이디어의 점수가 같을 때는 알파벳 순서를 사용했습니다.

모든 정책 아이디어 다운로드

토론에서 제안된 모든 정책을 다운로드해 읽어보실 수 있습니다. CSV 파일로 제공됩니다.

아이디어 다운로드

AI를 활용한 방법

저희 직원들은 이 토론을 검토하고 분석하는 데 AI의 도움을 받았습니다.

AI 활용의 예는 다음과 같습니다:

토론 음성을 녹취록으로 변환,
토론과 설문 응답의 개요 요약 작성, 그리고
대화의 각 부분에 해당 아이디어를 태그 지정.

AI가 토론 초대자를 고르지는 않았습니다. 초대자는 추첨으로 선정했습니다. 초대자 그룹이 캘리포니아의 인구통계를 반영하도록 했습니다. 또한 응답자의 AI에 대한 인식을 평가하는 데 AI를 활용했습니다. 이를 통해 다양한 관점을 확보했습니다.

참여자들이 공유한 내용을 보호했습니다. 모든 AI 작업은 주의 보안 데이터 환경 안에서 이루어졌습니다. 녹취록이나 설문 응답을 AI 공급업체와 공유한 적이 없습니다. 어떤 콘텐츠도 AI 모델 학습에 사용되지 않았습니다.

AI는 결코 인간의 판단을 대체하지 않았으며, 참여자의 말을 쓰거나 편집한 적도 없습니다. 이 보고서의 모든 인용문은 참여자가 실제로 한 말입니다. 녹취록과 대조해 검증하고 직원이 검토했습니다.

이 보고서에서 강조한 정책 아이디어와 주제는 저희 직원들이 직접 찾아냈습니다. AI의 도움 없이 녹취록과 설문 응답을 검토했습니다. AI가 분석을 도울 때는 정확한 출처를 제시하게 했습니다. 직원들은 이를 근거로 삼기 전에 해당 진술을 확인했습니다.

테스트에서는 AI 요약을 사람이 작성한 기록과 비교했습니다. 내용을 지어내지 않고 같은 범위를 다루고 있음을 확인했습니다.