《The wisdom of the few》读书笔记

  • 论文名称：
    The wisdom of the few: a collaborative filtering approach based on expert opinions from the web
  • published in
    Proceeding
    SIGIR ‘09 Proceedings of the 32nd international ACM SIGIR conference on Research and development in information retrieval
  • 文章链接
    the wisdom of the few
  • 文章组织架构
    摘要、介绍
    第二节：收集数据
    第三节：描述算法
    第四节：评估基于专家推荐在预测推荐的错误率和TOP-N推荐精度的指标
    第五节：模拟实际推荐过程中随机、用户cf和专家cf的推荐效果
  • 方法提出
    user-KNN是常见的协同过滤方法，但是它有以下缺点：
    数据稀疏：用户数量大，物品数量大，有些物品用户不一定会有接触产生评分，则所构成的矩阵存在许多零项；
    数据噪音：用户评分时候很容易受到其他用户评分的影响，无法真实地反馈结果
    冷启动问题：新物品入网时暂时未获得其他用户评分而无法产生推荐；
    可扩展性差：复杂度为 O(m2n) ，m为用户数，n为物品数
    为了解决这些问题（或者改善性能），文章提出了expert-KNN方法，主要思想是：用专家的评分来代替用户的评分。
    数据稀疏：相同领域中的物品，专家的评分相对完善
    数据噪音：专家的评分相对客观
    冷启动问题：专家的评分是推荐系统外的数据，新物品入网时不会受到影响
    可扩展性：复杂度为 O(m2n) ，专家数比用户数大幅减少
  • 数据采集
    user&item from Netflix
    expert from Rotten Tomatoes
    数据预处理：
    通过采集观察到有些专家懒于对物品进行评分，这样的数据不会使我们的方法和user-KNN有太大的差别（在数据稀疏方面），所以要对这种数据进行剔除。
    本文采用了设置一个阈值minimum ratings threshold p