[검증 대상] 유튜브 ‘언론 알아야 바꾼다’ 채널 “여론조사의 보수 과표집이 심하다”
여론조사 편향성에 대한 논란이 분분하다.
정치권에선 여론조사 업체의 전문성과 공정성을 담보하기 위해 선관위의 관리·감독이 더 강화돼야 한다는 목소리도 나왔다. 여론조사 결과가 여론을 움직이는 데 상당한 영향력을 행사하는 만큼 민감하게 바라보고 있는 것이다.
이런 가운데 지난 14일 구독자 61만여 명의 진보성향 정치 유튜버 ‘언론 알아야 바꾼다’는 ‘여론조사의 보수 과표집이 심하다’는 주장을 제기했다.
이 유튜버는 “촛불시위 10만명 나오는 것보다 여론조사 10% 더 떨어뜨리는 게 훨씬 더 중요하다”며 “우리(진보) 표집이 너무 안 잡힌다. 여론조사 응답들 좀 많이 해주셨으면 좋겠다”고 덧붙였다.
그렇다면 ‘여론조사의 보수 과표집이 심하다’는 해당 유튜버의 주장은 사실일까? 중부일보가 이에 대해 팩트체크했다.
[검증 방법]
▶수학 사전 정의 참고
▶중앙선거여론조사심의위원회 공개 자료 참고
▶‘여론m’ 데이터 참고
▶한국조사협회(KORA) 김춘석 대변인 유선 인터뷰
▶윤광일 숙명여대 교수 인터뷰
[검증 내용]
검증에 앞서 ‘언론 알아야 바꾼다’ 채널에 ‘과표집’의 의미를 문의했으나 답변을 받을 수 없었다. 따라서 과표집을 사전적 정의와 발언의 맥락인 ‘응답자 이념 성향’으로 구분해 검증했다.
◇학문적 기준으로 보면 ‘이념 성향’은 과표집 여부 알 수 없어
표집에 대해 수학 사전은 ‘모집단에서 표본을 확보하는 작업 과정‘이라고 정의하고 있다. 여기서 모집단은 ‘일정한 속성을 가진 개체의 확정된 집합’을 말한다.
따라서 통상 대한민국 국민을 대상으로 실시하는 여론조사는 모집단의 크기가 광범위해 일정한 속성을 가질 수 없는 만큼 표집의 여부를 판단하는 것이 불가능하거나 비효율적이다.
김춘석 한국조사협회(KORA) 사회조사위원장은 “원론적으로 모집단이 존재하는 기준 변수에 한정해 과표집 여부를 판단할 수 있다”며 “기준 변수는 해당하는 성별·연령·지역을 제외한 조사 참여자의 이념 성향은 시기와 상황에 따라 계속 변하기 때문에 여론조사 응답자의 ‘이념 성향’을 근거로 과표집 여부를 판단할 수는 없다”고 말했다.
이어 “시기별, 조사기관별 여론조사에 따른 비교분석을 통해 결과를 도출해 낼 수는 있지만 이념 성향에 대해서는 가중치를 둘 수도, 과표집 여부를 확인할 수도 없다”고 덧붙였다.
◇2023년 여론조사 분석해보니… 보수성향 응답자 많은 조사 비율 높아
해당 발언의 맥락을 살펴보면 유튜버 ‘언론 알아야 바꾼다’는 과표집을 ‘이념 성향 응답자 비율’과 혼용해서 쓰는 것으로 보인다. 이에 따라 ‘과표집’을 ‘이념 성향에 따른 응답자 비율’로 상정해 확인해봤다. 중부일보는 이를 위해 2023년 전체 여론조사 중 ‘응답자 이념 성향’을 수집한 자료와 MBC와 서울대 국제정치데이터센터가 개설한 ‘여론M’ 자료를 근거로 여론조사 결과를 분석했다.
여론조사 분석 결과, 2023년 한 해 동안 실시된 여론조사 중 ‘응답자 이념 성향’ 항목이 있는 여론조사는 총 152개로 나타났다. 이에 따르면 가중치를 적용한 총 151개의 여론조사 중 보수 성향이라고 응답한 사람이 많았던 조사는 33개, 진보 성향이라고 응답한 사람이 많았던 조사는 4개로, 약 8배 이상 차이가 났다.
◇방식에 따라 과표집 가능성 있으나 응답률만으로 단정 짓기 힘들어
전문가는 대부분 여론조사가 ARS 방식인 만큼 이념 성향에 대한 응답자 답변으로 특정 이념이 과표집 됐다고 판단하기 어렵다고 분석했다.
한국정당학회 회장을 역임한 윤광일 숙명여대 교수(정치외교학)는 “조사방식과 표집 방법에 따라 다르지만 대체로 ARS 방식의 여론조사는 보수 과표집 경향이 있다고 알려져 있다”고 설명했다.
그러나 “151건의 여론조사 분석 자료는 특정 시점의 이념 분포를 보여주는 결과로 해석할 수 있지만, 특정 이념 성향이 많다고 해당 성향이 과표집 된 것이라 단정 짓기는 어렵다”고 밝혔다.
[검증 결과]
사전적 의미와 전문가 의견을 종합하면 표집은 일정한 속성을 가진 개체의 집합인 모집단에서 표본을 확보하는 것을 말한다. 따라서 모집단의 범위가 광범위해 일정한 속성을 가질 수 없는 여론조사는 표집의 여부를 판단하는 것이 불가능하거나 비효율적이다.
다만 해당 유튜버의 ‘과표집’ 발언을 ‘이념 성향에 따른 응답자 비율’로 상정하고 올해 실시된 정당지지도 여론조사를 분석한 결과, 보수 성향이라고 답한 사람이 우세한 조사가 진보 성향이라고 답한 사람이 우세한 조사 보다 8배 이상 많은 것으로 나타났다.
따라서 두 분야로 나눠 진행한 검증의 내용이 일치하지 않으므로 “여론조사의 보수 과표집이 심하다”는 검증문은 ‘판단유보’라고 판단한다.
박지환 인턴기자
※중부일보는 2023년 1월 1일부터 5월 15일까지 중앙선거여론조사심의위에 등록된 여론조사 내용 중 ‘이념 성향’에 대한 질문이 있는 152개 여론조사를 근거로 자체조사했다. 응답자들의 ‘이념 성향’ 차이와 우세한 이념 성향 여론조사 숫자를 분류했다. 조사 결과는 중부일보 팩트인사이드 페이지를 통해 확인 가능하며 여론조사에 대한 자세한 사항은 중앙선거여론조사심의위원회 홈페이지를 통해 확인하면 된다.
<<중부일보 팩트인사이드팀은 팩트체크 소재에 대한 시민들의 제안을 받고 있습니다. 이메일([email protected])로 제안해 주시면 됩니다.>>
[근거자료]
5.한국조사협회(KORA) 김춘석 대변인 유선 인터뷰
6.숙명여대 윤광일 교수 유선 인터뷰