뉴스

C. 이용자 ‘배열 선택권’ 제공

이용자에게 배열 선택권을 제공합니다.

다음뉴스 기사 배열 방식은 공급받는 기사 다양성을 넘어 이용자 기사 소비 다양성에 초점을 맞춥니다. 다음뉴스는 이용자가 직접 기사 소비 방식을 선택할 수 있도록 ‘최신순, 개인화순, 탐독순’ 3가지 배열 선택권을 제공합니다.

3가지 배열 선택권은 다음과 같은 기준을 고려했습니다.
첫째, 배열 내에서 기사 간 맥락적 가치가 드러나는가? 둘째, 이용자에게 배열 간 차별화된 리스트를 제공할 수 있는가? 셋째, 이용자의 기존 배열 사용성을 고려하였는가? 입니다.

C-1. 최신순

언론사가 기사를 입력하면 다음뉴스 콘텐츠 운영 시스템에 최종 송고한 시점을 기준으로 ‘발행 시각’을 기록합니다.
시의성에 초점을 맞춘 ‘최신순’은 현시점에서 일어나는 이슈를 시간순으로 배열한 것이 아닌, 언론사가 다음뉴스에 송고한 발행 시각 순으로 배열한 것이며 이용자는 이렇게 배열한 순서대로 기사를 만날 수 있습니다.

단, 조간/석간 등 언론사가 자체적으로 정한 기사 송고 시간과 송고 패턴은 다음뉴스 기사 노출 시간과 비중에 영향을 줄 수 있으며, 언론사가 다량의 기사를 지속적으로 송고하면 특정 언론사 기사가 연속적으로 보일 수 있습니다.

참고

유사 기사 묶음

“이용자에게 다양한 기사를 제공하기 위해 유사한 기사는 ‘묶음 처리’ 합니다.”

복수 언론사는 사안에 따라 사실상 동일한 내용의 기사를 비슷한 시간대에 송고합니다. 다음뉴스는 유사한 기사를 ‘유사 그룹’으로 묶고 이용자에게 그룹의 ‘대표 기사’를 노출해 효율적인 기사 소비를 돕고자 합니다.

유사 기사 기준은 기사 제목과, 본문에 쓰인 텍스트가 얼마나 유사한지를 주요하게 보는 것이며 이 외에도 기사 본문 내 이미지 간 유사도, 이미지 내 인물 인식, 기사 카테고리 등을 그룹화 기준으로 활용하고 있습니다.

이렇게 만들어진 유사 그룹 중 서비스 활용을 위한 대표 기사를 선정하는데, 대표 기사는 그룹 내 ‘최신 기사’로 선정합니다. 만약, 이용자가 구독한 언론사 기사가 유사 그룹 안에 있다면 우선적으로 선정합니다.

유사 그룹은 최신순뿐만 아니라 3가지 배열 선택권에 ‘공통’으로 적용합니다.

C-2. 개인화순

‘개인화순’에서는 이용자 기사 소비 이력을 기반으로 이용자가 소비할 만한 기사를 제공해 만족도를 높이고자 합니다.
추천 알고리즘 과정 설명에 앞서 이해를 돕기 위해 기본적인 콘셉트를 먼저 설명드리겠습니다.

<개인화 추천이란? 콘셉트 이해하기>

개인화 추천이 되지 않는다는 것은, 곧 모든 이용자가 동일한 배열을 본다는 의미입니다.
예를 들어, 체류시간이 높은 기사 순으로 추천된다고 가정하면 모든 이용자에게는 기사 (나)→기사 (다)→기사 (가) 순서로 노출됩니다.
그렇다면 새 기사가 들어왔을 때 해당 기사의 체류시간은 어떻게 알아낼 수 있을까요?
신규 유입된 기사를 추천 결과에 낮은 확률로 포함시켜본 뒤, 이용자 반응이 좋으면 노출 빈도를 올리고 반응이 나쁘면 노출 빈도를 줄이는 전략을 쓰고 있습니다.
구체적으로는 ‘톰슨 샘플링(Thompson Sampling)’ 알고리즘을 사용하고 있습니다.

톰슨 샘플링(Thompson Sampling)이란? :

기댓값(보상)의 분포를 추정 후 샘플링한 값을 기준으로 보상을 계산하는 확률적 알고리즘으로, 피드백을 수용해 기댓값의 분포를 업데이트함.

개인화순 기사 배열의 목적은 이용자의 서비스 만족도를 최대화하는 것입니다. 다음뉴스는 이용자의 체류시간이 높아지면 이용자의 서비스 만족도가 높아지는 것이라고 판단합니다.

다음뉴스는 이용자들을 많은 수의 그룹으로 나눈 뒤, 각 그룹별로 체류시간이 높을 것으로 예상되는 기사를 우선 추천합니다. 그리고, 추천 결과 중간중간에는 이용자 반응을 확인하기 위한 신규 기사도 함께 노출됩니다.

이용자별 그룹을 나눌 때는, 이용자별 기사 소비 행태 데이터 기반 클러스터링 기술을 사용합니다. 이 과정에서 기사의 주제 및 내용, 언론사에 대한 이용자의 호불호는 반영하지 않습니다.

실제 서비스에서는 이용자를 1개의 그룹에만 속하도록 모델링 하진 않고, 다수의 그룹에 각각 속할 확률을 모델링합니다. 또한, 이용자의 소비 행태에 따라 그 확률 값은 지속적으로 변화합니다. 클러스터링 기술로는 확률 잠재 의미 인덱싱(probabilistic latent semantic indexing, pLSI) 기술을 사용하고 있습니다.

각 항목을 좀 더 구체적으로 설명드리겠습니다.

1) 실시간 최적화

실시간 최적화는 실시간으로 업데이트되는 기사 중 어떤 기사를 이용자에게 추천하면 좋을지 측정하는 탐색(exploration)과 탐색 과정에서 측정된 기대 성과에 따라 기사를 실제로 추천하는 활용(exploitation) 과정으로 이루어집니다.

• 각 기사에 대해 ‘성과’가 측정됩니다. 성과는 기사의 기대 체류시간보다 실제 체류시간이 길어질수록 높은 값을 갖습니다. 기대 체류시간은 기사의 길이가 짧으면 작은 값으로 예측되고, 기사의 길이가 길거나 이미지를 포함한 경우는 큰 값으로 예측됩니다. 이렇게 예측된 기대 체류시간 대비, 이용자가 더 머무는 기사는 성과가 높게 평가되며 덜 머무는 기사는 성과가 낮게 평가됩니다. 성과가 높은 기사는 이용자에게 노출될 기회를 더 많이 얻게 되며, 성과가 낮은 기사는 이용자에게 노출될 기회를 점차 잃게 됩니다.
• 신규 유입 기사를 추천 결과에 일부 포함시켜 기사 소비 정도(기사를 노출했을 때 얼마나 클릭하는지, 기사에 얼마나 오래 머무르는지)를 측정하고 기사별 성과를 예상합니다. 이를 기사별 기대 성과(α)라 정의하며, 이 과정을 탐색(exploration) 한다고 합니다.
• 탐색(exploration)은 이용자 기사 소비 성향 클러스터 별로 이루어지며, 같은 기사더라도 클러스터 별로 각기 다른 기대 성과를 가지게 됩니다.
• 탐색(exploration) 과정에서 측정된 기사별 기대 성과에 기반해 기사가 제공되는 활용(exploitation) 과정이 이루어집니다. 하지만, 추천 결과의 모든 기사가 성과 기반으로만 나가게 되면 새로 유입되는 기사의 성과를 측정할 수 없습니다. 그렇기 때문에 추천 결과에는 신규 유입 기사가 일부 포함됩니다. 탐색(exploration)과 활용(exploitation)이 하나의 추천 결과 안에서 모두 이루어진다고 볼 수 있습니다.

2) 이용자 기사 소비 성향 클러스터링

이용자별로 개인화된 기사 제공을 위해서는 이용자 모델링이 필요합니다. 다음뉴스는 이용자를 기사 소비 행태에 기반해 모델링하며, 그 과정에서 클러스터링 기술을 사용합니다.

• 클러스터링은 이용자 피드백 정보를 기반으로 이용자의 기사 소비 성향을 (가) 클러스터, (나) 클러스터, (다) 클러스터 등 여러 개의 클러스터로 분류합니다.
• 또한 각 클러스터는 여러 개의 카테고리, 주제, 인물이 포함되며 이를 별도로 정의하지 않습니다. 이 역시 유동적으로 변화되며 이용자 개개인의 정치·사회적 성향이나 가치관 등을 반영하지 않습니다.

3) 이용자별 추천 결과 생성

앞서 설명한 실시간 최적화, 이용자 기사 소비 성향 클러스터링 기술을 바탕으로 각 이용자에게 개인화된 추천 결과를 만드는 과정입니다.

• 이용자가 어느 클러스터에 어느 정도 성향을 가지고 있는지 예측한 것을 ‘이용자 클러스터별 선호도 확률 값(β)’이라고 정의합니다. 이때 이용자는 어느 한 개의 클러스터에 속하는 것이 아닌 여러 클러스터에 대한 선호도를 확률 값(β)으로 가지게 됩니다. 가령, 이용자 A의 (가) 클러스터 선호도는 10%지만, (나) 클러스터 선호도는 70%이며 (다) 클러스터 1%, (라) 클러스터 7%, (마) 클러스터 12%를 선호할 것이라는 확률 값을 가집니다. 이 또한 이용자 A의 기사 소비에 따라 확률 값은 계속 변합니다.
• 실시간 최적화에서 구한 각 클러스터 별 기사 기대 성과(α)에 이용자 클러스터 별 선호도 확률 값(β)을 가중치로 두어 이용자 개인별로 높은 성과가 예상되는 순서대로 기사를 제공하게 됩니다.

기사는 새로운 주제를 가지고 끊임없이 변경되며 이용자의 성향 또한 계속해서 변화해 갑니다. 이렇게 실시간으로 바뀌는 환경에 맞춰 다음뉴스의 개인화순 또한 수학적인 알고리즘에 기반해 실시간으로 반영될 수 있도록 하고 있으며, 다음뉴스는 이용자의 성향을 고정하거나 특정 언론사나 특정 기사를 별도로 정의하지 않습니다.

덧붙이는 글 :

개인화순은 복잡한 추천 알고리즘의 내용을 텍스트로 전달하는데 한계가 있다는 언론학회의 의견에 따라, 이용자 눈높이에 맞춰 멀티미디어를 활용한 설명을 준비하고 있습니다.

C-3. 탐독순

다음뉴스는 이용자가 기사 본문에 체류한 시간을 기반으로 기사 내용이 얼마나 유용했는지 측정하는 방법을 고민했습니다. 이용자에게 제공하는 기사가 한정적일 수밖에 없을 때, 기사 제목과 섬네일 중심 정보는 언론사에게 클릭률이 높은 기사 제공을 부추기기 때문입니다.

다음뉴스에 언론사가 보내온 기사는 본문 길이, 이미지 개수, 영상 유무에 따라 담고 있는 정보량이 모두 다릅니다. 다음뉴스 ‘탐독 지수(DRI)’는 이러한 기사 정보량을 고려해 도출한 이용자의 예상 체류시간을 실제 체류시간과 비교해 이용자가 얼마간 기사 본문에 머물렀는지 측정합니다. 이때, 기사 본문에 머무른 시간이 다른 기사에 비해 상대적으로 높을수록 이용자의 기사에 대한 정보 유용성이 높을 것이라 가정합니다.

탐독 지수 측정 기준은, 일정 수 이상의 이용자가 소비한 기사를 대상으로 최근 4일 치까지만 계산하며 10분 단위로 업데이트합니다. 또한 이용자 체류시간이 극단적으로 짧거나 긴 이상치가 주는 영향력을 억제하기 위해 평균값이 아닌 중앙값을 사용합니다.

‘탐독순’은 이렇게 측정한 값을 기반으로 탐독 지수가 높은 기사를 우선해 배열합니다.