대전일보 「정청래 서울 6대 2」, 76~260명에게 물은 결과였다

대전일보가 8월 14일 「서울 여론조사 정청래 6대 2승, 김민석 호남만 믿다가는 '폭망'」이라는 기사를 냈다. 여론조사 8건이 근거다. 그중 가장 격차가 큰 값은 여론조사꽃 ARS의 서울 정청래 47.6% 대 김민석 28.4%다. 뉴탐사가 이 조사의 결과표를 중앙선거여론조사심의위원회 등록본에서 확인했다. 서울 응답자는 76명이었다. 76명에게 물어 나온 이 값은 오차범위를 넣으면 동률일 가능성이 남는다. 같은 기준으로 계산할 수 있는 나머지 여섯 건도 마찬가지였다.

76명에게 물으면 20%p 차이도 동률일 수 있다

여론조사에는 오차범위가 있다. 응답자가 적을수록 그 폭이 커진다. 전국 1000명을 조사하면 오차범위는 3%p 안팎이다. 그런데 그 1000명 중 서울 사람만 떼어내면 100명 안팎으로 줄고, 거기서 다시 민주당 지지층만 남기면 더 줄어든다. 대전일보가 인용한 서울 값들이 이렇게 만들어진 값이다.

여론조사꽃 ARS 서울이 그 예다. 가중치를 반영한 서울 응답자가 76명이다. 이 표본으로 계산하면 오차범위가 위아래로 24%p씩 벌어진다. 조사값은 정청래가 22.6%p 앞서는 것으로 나온다. 그러나 오차범위를 감안하면 실제로는 동률일 수도 있다. 47.6% 대 28.4%로 두 배 가까이 벌어져 보여도 정청래 우세를 확신할 수 없다.

같은 방식으로 나머지도 계산했다. 없음·모름을 뺀 세 후보 기준으로, 투표권자에 가까운 민주당 지지층과 무당층 기준으로 통일했다. 8건 가운데 이 기준으로 값을 낼 수 있는 것은 일곱 건이다. 일곱 건 모두 오차범위를 감안하면 동률일 수 있다. 서울에서 누가 앞선다고 말할 수 있는 조사가 한 건도 없다. 대전일보 기사에는 오차범위가 한 번도 나오지 않는다.

이미 채점해본 결과도 있다. 개표가 끝난 네 권역의 실제 결과에 조사 열일곱 건의 지역값을 대조했다. 여론조사를 하나도 보지 않고 네 곳 모두 동률이라고 찍었을 때의 평균 오차가 3%p였다. 열일곱 건 가운데 열여섯 건이 그보다 부정확했다. 가장 많이 빗나간 건 21%p대였고, 개표 하루 전에 실시된 조사였다. 다만 개표된 네 곳이 마침 접전이라 동률 찍기가 유리했던 조건은 함께 봐야 한다.

80명 조사와 390명 조사를 같이 비교

6 대 2라는 숫자가 나온 방식에도 문제가 있다. 8건은 물어본 대상이 서로 다르다.

넷은 전국 성인 전원에게 물었다. 스픽스 의뢰 에이스리서치, 코리아정보리서치, 미디어토마토, 뉴시스 의뢰 에이스리서치다. 여기에는 국민의힘 지지자도, 정치에 관심 없는 사람도 다 들어 있다. 전당대회 투표권이 없는 사람들이다. 나머지 넷은 민주당 지지층과 무당층만 뽑았다. 성격이 다른 두 종류를 한데 묶어 6:2가 나왔다.

대전일보도 이 구분을 알고 있었다. 기사 앞부분에는 "민주당 지지층+무당층 대상 조사를 보면"이라고 못 박고 리얼미터·조원씨앤아이·여론조사꽃 세 곳만 들었다. 그런데 뒤에서 8건을 번호로 나열할 때는 전국 성인 전체 값이 함께 들어갔다. 여섯 대 둘을 이루는 여섯 건 가운데 넷이 그 값이다.

코리아정보리서치는 사정이 더 특수하다. 이 조사의 당대표 문항 결과표에는 지역별 값과 지지정당별 값이 따로 실려 있다. 둘을 교차한 표는 없다. 전국에서 민주당 지지층이 몇 %인지는 알 수 있지만, 서울 응답자 198명 가운데 민주당 지지층이 어떻게 답했는지는 알 수 없다. 이 조사에서 뽑아 쓸 수 있는 서울 값은 전국 성인 전체 기준 하나뿐이다. 정청래 38.2%, 김민석 22.9%로 오차범위를 벗어난 우세가 나온다. 다만 이 값에는 전당대회 투표권이 없는 응답자가 함께 들어 있다.

대상을 바꾸면 앞서는 후보가 바뀐다. 뉴시스 의뢰 에이스리서치 서울이 그렇다. 전국 성인 전원 기준으로는 정청래가 15.5%p 앞선다. 민주당 지지층과 무당층으로 좁히면 1.7%p로 줄어든다. 민주당 지지층만 놓고 보면 김민석이 2.5%p 앞선다. 같은 조사, 같은 지역, 같은 문항인데 결과가 뒤집힌다. 여섯 대 둘이라는 숫자도 결국 어느 수치를 인용했느냐에 달려 있다.

다만 이 지적으로 기사의 결론이 뒤집히지는 않는다. 값이 있는 일곱 건을 민주당 지지층과 무당층으로 통일해도 정청래 5 대 김민석 2다. 서울에서 정청래 우세를 말하는 조사가 더 많다는 사실은 성립한다. 다만 그 우세가 오차범위를 벗어나는 조사는 하나도 없다. 여섯 대 둘이든 다섯 대 둘이든, 승패가 전부 오차범위 안에서 벌어진 일이다.

믿지 말라던 호남이 유일하게 승패가 갈린 곳

기사 제목이 지목한 호남을 보면 상황이 정반대다.

민주당 지지층과 무당층을 대상으로 한 호남 조사 9건은 전부 김민석 우세다. 그중 다섯 건은 오차범위를 넣어도 우세가 유지된다. 당원을 대상으로 한 호남 조사 2건도 둘 다 그렇다. 서울에서 그런 조사가 한 건도 없는 것과 대비된다. 호남만 따로 1000명을 뽑은 조사도 있다. 조원씨앤아이가 7월 18일과 19일 실시한 조사에서 민주당 지지층과 무당층 803명 기준 김민석이 20.2%p, 권리당원 304명 기준 20.4%p 앞섰다. 다만 이 조사는 고민정·김보미가 포함된 5인 구도라 선택 맥락이 다르다.

기사가 정확하게 쓴 대목도 있다. 권리당원 부분이다. 에이스리서치 정청래 48.1% 대 김민석 40.1%, 조원씨앤아이 정청래 43.9% 대 김민석 47.0%를 나란히 실었다. 방향이 반대인 두 조사를 다 제시하고 "두 후보가 접전을 벌이고 있는"이라고 썼다. 두 값을 계산해봐도 차이가 오차범위 안이다. 접전이라는 표현이 맞다.

호남 서술도 마찬가지다. 기사에는 "호남에서는 김 후보가 확실히 우세하게 나오지만"이라고 적혀 있다. 결과표와 맞는 서술이다. 확실하다고 인정한 그 호남을 믿으면 안 된다는 것이 기사의 결론이다. 그런데 근거로 세운 서울 조사로는 승패를 가릴 수 없다.

리얼미터 서울 값이 같은 기사 안에서 두 개

결과표와 대조해보니 기사에 적힌 사실 세 건이 어긋났다.

리얼미터 서울이 첫 번째다. 기사 ④번 항목에는 서울 210명 기준 김민석 39.9%, 정청래 35.2%로 적혀 있다. 결과표의 정청래 값은 34.5%다. 35.2%는 같은 조사의 전국 값이고, 기사에도 전국 1053명 기준 정청래 35.2%가 따로 나온다.

이 대목은 결과표를 따로 열어보지 않아도 확인된다. 기사에는 리얼미터 결과표 캡처가 함께 실려 있다. 그 표의 서울 줄에 조사완료 210명, 가중 175명, 김민석 39.9%, 정청래 34.5%, 송영길 5.1%로 찍혀 있다. 본문 바로 옆에 붙은 이미지가 본문 수치와 다르다. 기사 앞부분에도 리얼미터 서울이 정청래 34.5% 대 김민석 39.9%로 맞게 적혀 있다. 한 기사 안에서 같은 수치가 두 개로 적혀 있다.

여론조사꽃 ARS 서울이 두 번째다. 기사에는 서울 송영길이 8.2%로 적혀 있다. 결과표에는 8.9%로 적혀 있다. 8.2%는 같은 표 바로 아랫줄인 인천·경기 값이고, 기사에도 인천·경기 송영길이 8.2%로 나란히 실려 있다. 두 값 모두 김민석과 정청래의 격차를 바꾸지는 않는다. 다만 결과표와 다른 수치가 그대로 나갔다. 두 오류는 성격이 같다. 바로 옆이나 아래에 있는 다른 수치가 들어갔다.

조사기간도 하나 틀렸다. 기사에는 여론조사꽃 ARS 조사가 8월 8일과 9일 실시된 것으로 적혀 있다. 결과표 4면 조사설계표에는 8월 7일부터 8일까지로 적혀 있다. 같은 기관의 전화면접 조사도 같은 기간이다. 두 조사는 같은 날 실시돼 같은 날 등록됐다.

하루 전에 나온 김민석 앞선 NBS 조사는 제외

기사가 근거로 든 8건에 전국지표조사(NBS)는 없다. 그런데 이 조사가 서울에서 김민석이 앞선 것으로 나온 조사다. 서울에서 김민석 19%, 정청래 18%, 송영길 7%다. 세 후보 기준으로 김민석이 2.3%p 앞선다. 기사에 인용된 8건 가운데 서울에서 김민석 우세를 말한 조사는 리얼미터와 조원씨앤아이 둘뿐이었다. 여기에 NBS가 들어갔다면 6대 2가 아니라 6대 3이 된다.

빠진 조사가 변변찮은 조사도 아니다. NBS 186차는 8월 10일부터 12일까지 사흘간 1001명을 면접원이 전화로 조사했다. 응답률은 20.4%다. 한국리서치·케이스탯리서치·코리아리서치인터내셔널·엠브레인퍼블릭 네 곳이 함께 실시했다. 기사가 인용한 8건은 대부분 자동응답 방식이고, 응답률이 2.2%에서 7.5% 사이다.

시간도 있었다. 중앙선거여론조사심의위원회 등록 정보에는 최초 공표·보도 지정일시가 8월 13일 오전 11시로 적혀 있다. 실제로 경향신문이 같은 날 오전 11시 23분에 결과를 보도했고, 다른 매체 보도도 그날 낮에 이어졌다. 대전일보 기사가 입력된 것은 그로부터 19시간 뒤인 14일 오전 6시 5분이다.

다만 NBS 서울 값도 승패를 가리지는 못한다. 소수점 없이 정수로만 공표해 오차범위가 더 넓다. 이 조사를 근거로 서울에서 김민석이 앞선다고 말할 수도 없다. 투표권자에 가까운 기준으로 계산할 수 있는 서울 조사 가운데 방향을 확정하는 것은 여전히 하나도 없다.

이 문제는 한 매체의 실수로 끝나지 않는다. 이번 주에 공표된 서울 조사는 응답자가 가장 많은 것이 260명이다. 어느 매체가 어느 조사를 인용하든 서울에서 승패를 가릴 수는 없다. 전국 조사에서 서울만 떼어낸 값으로 서울 경선을 예측하는 방식 자체가 성립하지 않는다.

이미 채점해본 결과도 있다. 뉴탐사는 8월 12일 방송에서 개표가 끝난 네 권역의 실제 결과에 조사 열일곱 건의 지역값을 대조했다. 여론조사를 하나도 보지 않고 네 곳 모두 동률이라고 찍었을 때의 평균 오차가 3%p였다. 열일곱 건 가운데 열여섯 건이 그보다 부정확했다. 가장 많이 빗나간 건 21%p대였고, 개표 하루 전에 실시된 조사였다. 다만 개표된 네 곳이 마침 접전이라 동률 찍기가 유리했던 조건은 함께 봐야 한다.

뉴탐사도 값을 내렸다. 8월 11일 방송에서 서울과 경기 판세를 계산해 내놨다가 13일 방송에서 거둬들였다. 계산에 넣은 지난해 호남 시도별 투표율이 공표된 적 없는 자료였기 때문이다. 같은 재료를 쓴 값 두 개도 함께 내렸다. 13일 방송에서 서울 조사 여덟 건을 열어보고 내린 결론은 예측불가였다. 대전일보 기사가 나오기 전날이다.

12개 시도 순회경선 누적 득표는 김민석 9만5821표, 정청래 9만2735표, 송영길 1만9715표다. 격차는 3086표, 1.48%p다. 호남 선거인단은 50만369명, 서울과 경기는 58만1933명이다. 둘을 합치면 전체의 71.3%다. 호남은 8월 15일, 서울과 경기는 8월 16일 개표된다.