뉴스

1배경: 뉴스 서비스와 이용자 선택권

2023년 12월 말 다음뉴스는 언론사가 직접 운영하는 편집판으로 구성한 ‘언론사탭’을 전면에 배치하고, ‘주요뉴스’ 배열을 추가하는 서비스 개편을 단행했습니다. 이용자 선택의 폭을 넓혀 다양한 뉴스를 접하고, 자신의 필요와 취향에 맞는 매체를 선택할 수 있도록 한 기획 의도입니다. 이에 따라 개편 초기에는 다음과 같은 유의미한 결과가 나타났습니다.

관련

다음뉴스 설명서-제3장 배열선택권 2.0

하지만 시간이 흐를수록 기사 노출 및 클릭, 구독, 피드 사용성 등 전반적인 이용자 활동성이 낮아지거나 둔화되는 현상이 나타났습니다. 이는 2022년 다음뉴스에 구독 모델을 첫 도입한 당시(My뉴스탭)에도 나타난 현상으로, 저희는 그 원인을 3가지로 판단합니다.

첫째, 새로운 채널 유입의 부재

뉴스제휴평가위원회(이하 제평위)에 매체 입점 권한을 넘긴 2015년부터 다음뉴스에는 연 1~2개 정도의 신규 매체가 입점하였습니다. 즉, 사용자는 근 10년간 매체 구성에 거의 변화가 없는 서비스를 이용하였고, 이는 곧 신규 탭(언론사탭)에서조차 활동성 하락을 낳은 원인으로 보입니다.

둘째, 대동소이한 언론사 편집판

‘천편일률적인 뉴스가 홍수처럼 쏟아지고 있다’는 지적은 학계 뿐만 아니라 고객 불만사항으로도 심심찮게 인입되고 있습니다. 포털 뉴스의 다양성이 부족하다는 목소리 또한 일맥상통한 평가입니다. 대다수의 언론사가 동일한 사안들로 편집판을 채운다면 사용자 역시 ‘언론사탭 피드를 내려도 비슷하다’는 인상을 받게 되고, 이는 자연스럽게 ‘구독 및 활동량’ 둔화로 나타날 수 밖에 없겠습니다.

셋째, 구독 이후 추가적인 유익 부족

사용자가 특정 언론사 채널을 구독한 전후, 즉 사용자 경험(UX)이 달라진다면 이에 따른 활동성도 기대해 볼 수 있겠으나 현시점에는 그런 유익이 부족한 것이 사실입니다. 구독을 통한 추가적인 유익이 언론사 뿐만 아니라 사용자에게도 명확히 제공하는 서비스 기획이 필요할 수 있겠습니다.

물론 뉴스 서비스가 통상적인 인식과 달리 ‘구독형 모델’에 적합하지 않을 수 있으며, 오랜 기간 포털 뉴스 기존 사용법에 익숙한 이용 패턴 때문일 수도 있습니다. ¹ 하지만 오랜 기간 변화 없는 매체수, 특히 카테고리별로 다채로운 전문 매체의 인입이 이뤄지지 못했던 대목은 분명 이용자 선택권을 저해하는 요소임은 확실해 보입니다. 따라서 언론사탭 사용성을 높이고 활성화하기 위해서는 기존 입점 방식을 재검토할 필요가 있습니다.

3 준비과정: ‘100% 투명하고 정량화된’ 입점 모델 가능할까?

제평위 중단 이후, 다음뉴스는 자문기구(뉴스투명성위원회)는 물론, 개별 언론사, 언론 유관단체의 의견을 수렴하고, ‘제평위 5년간의 공과’ 세미나에서 나온 연구진의 보고서를 검토하여 ‘100% 공개 가능하고(투명성), 100% 측정 가능한(정량화)’ 입점 모델을 구축해 보자는 목표를 세웠습니다. 이는 전에 없는 새롭고 신선한 접근 방식을 기대하는 사회의 기대에 기술기업이 화답하는 방식이기도 합니다.

측정 가능한 평가 항목을 확인하기 위해 그동안 심의위원회(제평위)의 입점 평가표를 비롯 매체, 기사, 기자, 이용자 피드백 등 주요 기사 구성요소에서 추출 가능한 지표를 하나하나 검토하여, 그 중 30가지 이상의 항목을 추려내고, 이중 일부를 정량화하고 조합하는 모델링 작업을 진행하였습니다.

물론 모델링 작업 과정이 마냥 순조롭지는 않았습니다. 정량화가 사실상 불가능한 평가항목도 있었고, 유의미한 측정값을 도출했더라도 요소별 가중치에 따라 결과가 급격히 변하는 경우도 발견했습니다. 예로, ‘사회적 가치성’, ‘윤리적 요소’는 저널리즘 관점에선 필수적인 평가 항목이지만 기계적 판단의 대상이 되기 힘들어 다른 방식으로 보완해야 함을 확인하였고, ‘보도의 공정성’, ‘정확성’, ‘객관성’은 기사 내용을 평가해야 하는 대목으로 플랫폼이 판단할 수 없는 영역이라 보았습니다. 무엇보다 제평위 심사방식이 여러 유형의 언론사 -지역지, 전문지, 방송사, 종합일간지 등-를 하나의 동일 잣대로 점수화하고 평가했던 탓에 언론사의 다양성을 반영하지 못한다는 문제점도 제기되었습니다.

4 새로운 입점-제재 모델의 세가지 원칙(방향성)

<신문 등의 진흥에 관한 법률(이하 신문법)> 제2조(정의) 2호² 에는 인터넷뉴스의 자격을 규정하는 핵심 개념을, 신문법 시행령 제2조(인터넷신문)에는 좀 더 자세하게 기준 요건을 명시하고 있습니다. 요약하면, 정치ㆍ경제ㆍ사회ㆍ문화 등 전체 혹은 특정 분야에 관한 독자적 기사 생산과 지속적인 발행을, 특히 주간 전체 기사의 30% 이상을 자체 생산기사로 게재할 것을 주문하고 있습니다. 수십 가지의 평가요소와 이를 배합한 다양한 모델링이 나올 수 있겠으나, 결국 ‘사회적 합의’, 즉 명문화된 법조항에서부터 모델 수립을 시작하는 것이 적절하다고 보았습니다. 특히 ‘생성형 AI’ 기술의 발달을 통해 손쉽게 뉴스를 찍어낼 수 있는(일명 처널리즘 churnalism³) 요즘의 환경에서 매체의 자체생산력은 그 어느 때보다 중요한 자격 요건이라 할 수 있습니다.

또한, 정량화하기 어려운 요소는 공신력을 갖춘 언론/기자 유관단체 소속 여부와 회원사로서 정관 및 윤리조항 준수 여부를 확인하는 방식으로 진행합니다. 이를 통해 아래와 같은 세가지 원칙에 입각한 모델링을 구축하고, 이를 실시간으로 분석 - 대응하고 리포트를 배포할 수 있는 ‘뉴스 분류시스템(KNOTS : Kakao News Organizing & Tagging System)’을 만들게 되었습니다.

첫째, 목표에 부합한 ‘핵심 요소’에 집중합니다.

전 과정의 투명성과 절차적 공정성을 목표로 한 만큼, 새로운 입점 모델은 언론사를 ‘평가’하는 개념을 배제하고 관련 법이 규정한 기준을 ‘충족’하는지 확인하는 절차로 구성합니다. 여러 평가항목을 하나하나 점수를 매겨 합산하는 방식을 지양하고, 핵심 요소(자체 생산력, 전문성, 지속성)의 충족 여부를 Pass/Fail로 판단합니다.

둘째, 입점 이후에도 지속적으로 준수 여부를 추적합니다.

입점 시 충족한 기준이 입점 이후에도 ‘유지’될 수 있도록, 즉, ‘핵심 요소’ 준수 여부를 시스템을 통해 실시간 확인하고 피드백을 제공합니다. 이를 통해 입점에서 제재(퇴출)까지 일관된 정책을 수립함은 물론, 구독자를 비롯한 다음뉴스 이용자의 만족도를 높이고 건강한 언론 생태계 유지에 플랫폼이 기여하고자 합니다.

셋째, 더 나은 입점 시스템을 위해 끊임없이 개선합니다.

제평위 운영에 관한 사회적 지적사항을 해결하는 데 초점을 맞춘 만큼, 보다 가치중립적이고도 투명성을 높이는 방향으로 시스템을 지속적으로 보완하고자 합니다. 이를 위해 외부 자문 기구(뉴스투명성위원회)를 통한 정기적인 감수를 받고, 다양한 언론 유관 조직의 의견을 정기적으로 청취하여 개선점을 점검합니다.

5 베타 테스트: 총선 특집 페이지 지역 언론사 입점

이러한 모델링 구축 이후 실제로 잘 동작하는지 확인하는 과정이 필요했습니다. 대학신문 입점 등 여러 아이디어가 있었으나, 시기적으로 22대 국회의원 선거 특집페이지 내 새로운 입점 모델을 테스트하는 것으로 결정하였습니다. 총선 특성상 지역 현안을 가장 잘 전달할 수 있는 지역 언론의 입점은 그 자체로 이용자에 유익한 특집이기도 하였습니다.

2024년 2월부터 서울을 제외한 6개 권역(인천/경기, 강원도, 충청도, 전라도, 경상도, 제주특별자치도)으로 모집 공고를 내고 총 30개의 지역 언론사의 입점 신청을 받았습니다. 평가 항목은 자체 기사와 전문 분야(지역) 기사 비율을 확인하는 방식이었으며 그 결과 신청 언론사 모두가 기준을 충족하여 입점을 하게 되었습니다.

4개월간 서비스를 하면서, 자체 기사와 전문 분야 기사 비율은 입점 판단요소로 적절했다는 대내외적 평가와 더불어 일부 평가항목은 지역 매체 현실을 반영하지 못했다는 지적도 있었습니다. 단신 기사 비중이 높아 평가 대상에서 제외되는 기사가 많은 경우도 있어 분류 시스템의 개선도 필요하였습니다.

다음 장부터는 이러한 개선점을 반영한 카카오만의 두 가지 정량평가 항목에 대해 자세히 소개하겠습니다.

6 정량 평가 1: ‘자체 기사’ 생산 비율

앞에서 언급 드린 신문법과 시행령은 독자적인 취재를 통한 자체 기사 생산을 인터넷신문의 핵심 자격으로 명시하고 있습니다만 무엇이 ‘자체 기사’인지 별다른 정의를 내리고 있지 않습니다. 학계에서도 해당 개념을 어떻게 규정할 것인지 논의가 거의 없고⁴, 정부 부처 및 공공 기관에서 진행한 인터넷신문 실태조사에서도 딱히 구체적인 규정을 제시하지 않은 채 진행했음을 알 수 있습니다.

관련

참고 기사

따라서 시행령 ‘주간 게재 기사 건수의 100분의 30 이상을 자체적으로 생산한 기사로 게재할 것’ 규정을 충족했는지 확인하기 위해서는 ‘자체 기사' 분류 규정과 방식을 자체적으로 만들어야 했습니다.⁵ 다만 뉴스는 학술논문, 출판도서 등 다른 지적 생산물과 달리 사실에 관한 기록을 기본으로 하고 또한 ‘공공재라는 측면에서’ 저작권이 느슨하게 인정되고⁶ 현장에서 뛰고 있는 기자들조차 ‘자체 생산기사' 인식이 제각각인 점⁷, 플랫폼은 언론사의 취재 과정을 직접 확인할 도구나 데이터, 제도적 장치가 없는 이유로 직접적으로 자체 기사를 찾아 그 비율을 계산하는 방식보다는 (사실상) 완전히 동일한 문장으로만 구성된 기사를 복제기사로 분류하고, 이를 제외한 나머지를 ‘자체 기사’로 판단하기로 하였습니다

이제 복제기사를 분류하기 위해서는 아래 두가지 질문을 해결해야 합니다.

1) 복제 문장, 즉, 완전히 동일한 문장이란?
2) 복제 기사, 즉, 완전히 동일한 문장이 기사 전체의 어느 정도여야 하는가?

1) 완전히 동일한 문장(이하 복제 문장)

복제 문장을 판단하기 위해서는 문장 간 유사도를 비교하는 알고리즘이 필요합니다. 이를 위해, 다음뉴스는 뉴스 데이터에서 추출한 문장쌍을 대상으로 0~5까지 총 6가지 레이블링을 진행 하고, 이를 학습한 언어 모델을 개발하였습니다. 레이블링의 기준은 아래와 같습니다.

이 언어 모델은 기사 내의 각 문장을 하나의 벡터로 변환하여 두 벡터 간 유사도를 0~1 사이의 값으로 나타냅니다. 자체 기사 판단 과정에서는 문장 간 유사도가 0.9 초과일 경우 복제 문장이라고 판단합니다. 모델은 레이블링 결과를 모사하도록 파인튜닝되어 있으므로, 문장 간 유사도 0.9 초과는 레이블링 기준에서 4.5 이상의 의미를 가진다고 볼 수 있습니다.

언론사의 기사가 다음뉴스에 인입되면 그 시점에서 이전 한 달간 송고된 모든 기사의 문장과 비교 분석을 진행합니다. 평균적으로 한 달간 입고되는 유의미한 기사 문장은 약 6백만 개인데(기사 본문이라 할 수 없는 문장, 예로 바이라인, 반복되는 언론사 문구, 그리고 길이가 매우 짧은 문장은 제외), 이 모든 문장과의 유사도를 매번 하나하나 비교하는 것은 비효율적입니다. 따라서 유사한 문장을 빠르고 정확하게 찾는 기술(HNSW⁸)을 활용해 비교할 문장을 선별하는 작업을 진행합니다.

2) 완전히 동일한 문장(복제 문장)의 기사 내 비중

자체 기사를 구분하려면 하나의 완결된 기사에서 복제 문장의 점유 정도, 즉 ‘기사 내 비중’을 정의해야 합니다. 뉴스 기사는, 앞에서도 언급한 특수성 -보도의 자유와 국민의 알 권리, 언론기관 상호의존의 필요성⁹ 등-을 이유로 학위 및 학술지 등과 같은 잣대로 볼 수 없다고 보았고(통상 각 대학원 학위논문의 경우 5~20% 이하로 표절률 기준이 제시되고 있습니다.), 따라서 수년간 다음뉴스에 인입된 기사를 토대로 다양한 시뮬레이션 해보는 신중한 접근이 필요했습니다.

이를 통해, 복제 문장이 0 혹은 100%에 가까울수록 기사 분포가 급속도로 많아짐을 확인하였습니다. 이는 다음뉴스에 인입된 기사들이 주로 자체 기사(거의 대부분의 문장이 자체 문장)이거나 복제 기사(거의 대부분의 문장이 복제 문장)로 구성되어 있음을 의미합니다. 또 복제 문장 비중을 달리해가며 변화를 살펴본 결과, 복제 문장의 비중 60%부터는 언론사별 자체기사 비중이 크게 변화하지 않는 점을 파악할 수 있었습니다. 따라서 60%를 기준으로 이를 초과한 복제 문장이 있으면 ‘복제 기사’로, 이를 넘지 않으면 ‘자체 기사’로 구분하기로 합니다.

7 정량 평가 2: 전문 기사 생산 비율

두 번째 핵심 평가요소는 전문 기사 생산 비율입니다. 제평위의 경우, ‘뉴스 콘텐츠 제휴' ‘뉴스 검색 제휴' 두 가지 트랙으로 입점 심사를 진행하였는데, 이는 뉴스와 검색, 즉 서비스별로 지원하여 입점 평가를 하는 구조입니다. 외견상 문제가 될 게 없는 입점 방식이지만, 언론사마다 다루는 전문 분야, 취재 커버리지, 콘텐츠 형식, 발행 주기 등이 다른데 심사는 동일한 잣대로 받게 되다 보니¹⁰ 해가 갈수록 ‘모든 분야를 다루는' 종합형 매체로 수렴하는 경향을 보이게 됩니다. 쉽게 비유하자면, 체급이 다른 선수가 같은 링 위에서 겨루는 꼴이 되다보니 다들 체격을 억지로 키우고 있다고 할까요?

결과적으로 이런 현상을 재조정하고 ‘이용자 선택권'을 높이는 방향으로 가려면, 입점 시점부터 다른 접근이 필요하다고 보았습니다. 즉, 새로운 다음뉴스 입점 모델은 한 번에 입점 심사를 진행하는 과거의 방식에서 벗어나 지역, 생활 경제, 환경, 테크(IT) 등과 같은 전문 분야별로 입점을 진행하면서, 해당 입점 분야의 기사 비중을 입점의 핵심 요소로 설정하는 것입니다.이를 통해 각 분야별로 전문성을 갖춘 다양한 언론사를 입점시켜 사용자의 선택권을 강화하고, 입점 시의 기준이 유지되는지 지속적으로 모니터링 하고자 합니다. 전문 분야의 기사가 지속적으로 유입된다면 그간 지적된 획일화 현상도 점차 개선되리라 생각합니다.

전문 기사 생산 비율을 확인하려면, 기사가 어떤 분야인지 분류하는 작업이 필요합니다. 이를 위해 언어 모델을 활용한 ‘카테고리 분류기’를 구축하게 되었고, 이를 통해 사회·정치·경제 등 기존 분류를 포함한 총 60가지 카테고리로 세분화하여 분류하였습니다. 이 분류는 다양한 사회 변화에 맞춰 새 분류가 필요한 경우 신규 학습 데이터를 통해 지속적으로 추가되며 그 정확도를 높이고자 주기적으로 작업이 진행됩니다.

8 마치며

‘포스트-팬데믹 시대’.
즉, 코로나19의 공포가 사그라든 이 시점, 이용자의 뉴스 소비는 다시 그 이전으로 돌아갔지만 ‘신뢰할 수 있는’ 뉴스가 필요한 순간이 오면 어김없이 뉴스 이용량이 증가하는 것을 확인하게 됩니다. 한반도와 멀리 떨어진 지역에서의 전쟁이 우리 밥상-생활 물가에까지 영향을 미칠 때, 온난화를 넘어 지구 열대화(Global Boiling) 현상으로 인한 경험해보지 못한 기후현상을 맞닥뜨릴 때, 대형 사건사고, 올림픽 등 주요 국민적 관심사가 있을 때 이용자는 다시금 뉴스를 찾고 있습니다. 이런 이유로 다음뉴스는 뉴스기사를 일반 콘텐츠와 구분하여 유통할 필요성을 여전히 느끼고 있으며, 이런 기조를 유지하면서도 ‘이용자 선택권’ 또한 증진시킬 방안을 찾는 여정을 지속하고 있습니다.

2015년부터 햇수로 9년간 외부 독립기구(제평위)에게 맡겼던 입점 방식을 변경하는 첫해입니다. 입점 기준 및 방식, 활용 기술, 절차, 결과 등 모든 것을 투명하게 공개하여 진행하는 만큼 어떤 예상치 못한 부작용이 나올지 알 수 없으나, 지속적으로 관련 기술을 개선해 나갈 뿐만 아니라 참여 언론사는 물론 다양한 목소리를 귀담아듣고 발전시켜 나갈 것을 약속드립니다.

사람과 사회를 이해하는 기술로 ‘사회적 필요’를 개선하는데 온 힘을 다하는 다음뉴스가 되겠습니다. 감사합니다.