[랭킹 알고리즘] - Hacker News Algorithm

개요

공개된 Ranking Algorithm에는 가장 인기 있는 게시글을 선별하거나, 추천수를 바탕으로 순위를 매기는 알고리즘, 평점에 따라 순위를 결정하는 알고리즘 등 다양한 방식의 랭킹 알고리즘이 존재합니다. 이 중에서도 Hacker News Ranking Algorithm, Reddit Ranking Algorithm, 그리고 Highly Rated가 대표적인데, 이번 글에서는 이들 중에서도 조회수를 바탕으로 간편하게 적용할 수 있는 Hacker News Algorithm에 대해 자세히 알아보도록 하겠습니다.
 
 

Hacker News Algorithm이란?

Hacker News Algorithm은 Y Combinator가 운영하는 뉴스 공유 사이트인 Hacker News에서 사용하는 랭킹 알고리즘입니다. 이 알고리즘은 게시물의 순위를 결정하는 데 사용되며, 사용자가 게시물에 '추천(upvote)'을 하는 행동과 게시물이 생성된 시간을 중심으로 하는데 공식은 아래와 같습니다.

각 변수는 다음과 같은 의미를 가집니다. 변수 p는 추천으로 한정했지만 조회수, 댓글 수 등 다양한 요소가 들어갈 수 있습니다.

• p: 게시물에 대한 추천 수. 1을 빼는 이유는 작성자 자신의 글을 추천하는 경우를 제외하기 위함
• t: 게시물이 게시된 시간과 현재 시간 사이의 차이. 이 값은 시간 단위로 표시되며, 게시물이 2시간 전에 게시되었다면 t는 2가된다.
• G: 중력 계수로, 시간이 지남에 따라 게시물의 순위가 어떻게 변화할지를 결정한다. Hacker News에서는 기본적으로 1.8의 값을 사용

Hacker News의 랭킹 알고리즘은 단순히 추천을 많이 받는 것만이 아니라, 시간의 흐름에 따른 순위 변동을 고려하여 더욱 공정한 순위를 제공합니다. 중력 계수의 값을 조정함으로써 시간이 지날수록 게시물의 순위가 어떻게 변할지를 결정할 수 있습니다.
 
 

왜 사용할까?

"인기 게시글"이라는 개념을 생각해 보면 단순히 게시글의 조회수가 높은 것을 의미하는 것이 아니라 그 순간 가장 많은 관심을 받고 있는 게시글을 의미합니다.

이런 관점에서, 인기순 게시글을 조회수를 기준으로 TOP 3를 선정한다고 가정해 봅시다. 그리고 이전에 작성된 게시글 중에서 조회수가 TOP1인 게시글이 100, TOP2가 50, 그리고 TOP3가 30이라고 해봅시다. 이때 지금 막 큰 인기를 끌기 시작 한 새로운 게시글이 등장했고, 금방 조회수가 10이 되었다고 가정해 봅시다. 이 게시글은 짧은 시간 동안 큰 관심을 받았음에도 불구하고, 조회수만을 기준으로 하면 아직 TOP3인 30을 넘지 못해 이 게시글은 TOP3에 포함되지 못합니다.

이런 방식은 실시간으로 인기 있는 게시글을 사용자들에게 보여주는 데 제한이 됩니다. 또한 이전에 작성된 게시글들은 지속적으로 노출되면서 조회수가 지속적으로 증가하게 되기에, 결과적으로 인기 게시글 순위는 유동적이지 않고 고정되어 버리게 됩니다.

이런 문제를 해결하기 위해 Hacker News Algorithm이 사용됩니다. 이 알고리즘을 적용하면 단순히 조회수만을 기준으로 하지 않고, 게시글의 작성 시간도 고려함으로써 실시간으로 인기 있는 게시글을 사용자에게 제공할 수 있습니다.
 
 

시각화 확인

아래는 제가 실험을 위해 작성한 코드입니다. 파이썬은 익숙치 않아 그래프를 살펴보는 용도로 작성했음을 감안해 주시면 감사하겠습니다. 파이썬 온라인 IDE에서 아래 코드를 실행하시면 손쉽게 확인하실 수 있습니다.

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

# 해커뉴스 점수 계산 함수
def calculate_hn_score(views, hours_since_posted, gravity):
    return (views - 1) / pow((hours_since_posted + 2), gravity)

# 조회수 값
view_counts = [30, 60, 100]  # 기존 게시글들

# 중력 가속도 값
gravity_value = 0.8

# 점수 계산을 위한 DataFrame 생성 (0시간부터 48시간까지, 4시간 간격)
score_data = pd.DataFrame(index=np.arange(0, 49, 4))  # 0시간부터 48시간까지, 4시간 간격

# 기존 게시글들의 점수 계산
for views in view_counts:
    score_data[f'Views={views} with Algorithm'] = calculate_hn_score(views, score_data.index, gravity_value)
    score_data[f'Views={views} without Algorithm'] = views

# 새 게시글 조회수 및 점수 계산 (12시간 이후부터 시작)
new_item_views = 40
for time in score_data.index:
    if time >= 12:
        hours_since_new_item_posted = time - 12
        score_data.loc[time, f'New Item (Views={new_item_views}) after 12 hours'] = calculate_hn_score(new_item_views, hours_since_new_item_posted, gravity_value)
    else:
        score_data.loc[time, f'New Item (Views={new_item_views}) after 12 hours'] = np.nan

# 그래프 그리기
plt.figure(figsize=(15, 8))

# 기존 게시글들의 그래프
for views in view_counts:
    plt.plot(score_data.index, score_data[f'Views={views} with Algorithm'], label=f'Views={views} with Algorithm', linewidth=2)
    plt.plot(score_data.index, score_data[f'Views={views} without Algorithm'], label=f'Views={views} without Algorithm', linestyle='--', linewidth=2)

# 새 게시글의 그래프
plt.plot(score_data.index, score_data[f'New Item (Views={new_item_views}) after 12 hours'], label=f'New Item (Views={new_item_views}) after 12 hours', linewidth=2, linestyle=':', color='red')

# x, y 레이블과 제목 설정
plt.xticks(np.arange(0, 49, 4))
plt.xlabel('Hours Since Submission')
plt.ylabel('Score')
plt.title('Comparison of Item Exposure With and Without Hacker News Algorithm (0-48 Hours Interval)')
plt.legend()
plt.grid(True)
plt.show()

• x축 (Hours Since Submission): 게시된 시간부터 현재까지의 경과 시간을 나타냅니다.
• y축 (Score): 게시글의 해커뉴스 점수를 나타냅니다. 점수는 해커뉴스의 알고리즘에 따라 계산됩니다.
• 실선: 각 실선은 조회수가 30, 60, 100인 기존 게시글들의 해커뉴스 점수를 나타냅니다. 이 점수는 게시 시간으로부터의 경과 시간에 따라 달라집니다.
• 점선: 각 점선은 알고리즘이 적용되지 않았을 때의 고정된 조회수를 나타냅니다. 이는 알고리즘 적용 전후의 점수 차이를 한눈에 비교하기 위해 추가했습니다.
• 파선: 이 선은 조회수가 40인 새 게시글의 점수 변화를 나타냅니다. 이 게시글의 점수 계산은 12시간 이후부터 시작되므로, 그 이전 시간에는 데이터가 없습니다.

실제로 파이썬을 이용하여 알고리즘을 적용한 결과를 시각화해 보면, 시간이 지날수록 모든 게시글의 점수가 점차 감소하며, 비교적 늦게 생성되었지만 처음부터 조회수가 40인 새로운 게시글이 생성된 직후에는 기존의 조회수가 30, 60, 100인 게시글을 모두 앞질러 TOP1이 된 것을 확인할 수 있습니다. 그리고 해당 게시글은 다시 시간이 지날수록 점점 처음의 순위로 돌아가는 것을 볼 수 있습니다.

아래는 밀집된 부분을 확대한 차트입니다.

 
 

마무리

정말로 인기 있는 게시글을 사용자에게 효과적으로 노출시키기 위해서는 개인화된 추천 알고리즘을 통한 추천 시스템이 필요합니다. 하지만 이는 전문적인 인력과 지식이 필요하며, 대부분의 프로젝트에 당장 도입하기는 어려울 것입니다. 그렇다고 단순히 특정 값, 예를 들어 조회수를 기준으로 게시글을 노출시키는 방식은 이전에 작성된 게시글들이 계속해서 노출되면서 웹 페이지가 정체될 가능성이 있습니다.

따라서 이럴 때 Hacker News Algorithm을 적용하는 것이 좋은 선택이 될 수 있습니다.
 
 

참고

• https://medium.com/hacking-and-gonzo/how-hacker-news-ranking-algorithm-works-1d9b0cf2c08d
• https://sungkee-book.tistory.com/10