沪ICP备06058754号-1
推荐系统体验模型探索-以视频推荐为例

李成,胡文丽

2019-08-27

用户体验 文集

2018年学术论文欣赏

本文段落精选

 

本研究尝试通过用户行为路径、用户体验模型探索和技术接受度模型三个用尝试建立对推荐系统的体验指标的探索和建立。通过探索推荐系统用户体验模型发现,用户对推荐系统的体验感知主要分为理性体感和感性体感,并且感性体感对推荐系统的满意度影响高于理性体感。

 

推荐系统优化过程中不能单纯地关注理性体感指标,更需要不断优化用户对推荐系统的感性体感指标,推荐系统的体感指标可以可以有效提升推荐系统的接受度,并进一步影响用户的意愿和行为。

 

 

推荐系统体验模型探索-以视频推荐为例

 

李成,胡文丽

广州市, 江西省南昌市, 中国,330000

 

 

摘要:

推荐系统是一个非常复杂的系统,里面涵盖各种算法、规则、策略、模型。为了监测优化推荐系统的效果,目前主要通过模型指标和业务指标来进行对比。虽然推荐系统中演进过程中,算法始终起着主导作用,单用户在产品使用产品的过程中对推荐系统的体验感知才应该是我们在优化推荐系统过程中的出发点和落脚点。本研究通过分析用户行为路径,随后探索用户体验感知模型,并采用技术接受度模型验证用户体感对推荐系统的影响。研究结果表明通用户对推荐系统的体验感知主要分为理性体感和感性体感,并且感性体感对推荐系统的满意度影响高于理性体感;进一步采用技术接受度模型结果表明:推荐系统的体感指标可以提升推荐系统的感知有用性和感知易用性,从而影响用户的意愿和行为。

 

一 研究背景

1.1 推荐系统中缺失的用户

推荐系统通过建立用户与产品之间的二元关系 ,利用用户已有的选择过程或相似性关系挖掘每个用户潜在感兴趣的对象进行个性化推荐 ,其本质就是信息过滤(Kitchenham, & Pfleeger, 2002; Hill, Stead, Rosenstein, & Furnas, 1995;刘建国, 周涛, & 汪秉宏,2009)。个性化推荐系统在互联网中应用越来越广泛,例如,购物推荐、商务推荐、娱乐推荐、学习推荐、生活推荐、决策支持、新闻推荐等。推荐系统有效连接了平台、内容和用户(图1),使得用户在面对过量信息时快速获取有效信息,可以很好的解决了用户信息过载的问题(曾春, 邢春晓, & 周立柱,2002)。

 

 

图1:推荐系统的连接作用

 

推荐系统中演进过程中,算法始终起着主导作用。而事实上,推荐系统虽然建立在算法和模型的基础上,但用户才应该是整个推荐系统应当关注的核心。推荐系统从本质上应该更多通过发掘和识别用户个体特质为期提供兴趣更强的服务推荐。用户在产品使用产品的过程中外在行为表现以及其内在的心理特质和动机应当是我们在优化推荐系统过程中的出发点和落脚点。用户对知识和事物的复杂认知(图2)才是构成推荐算法的基石,对于任何产品,服务的落脚点都是用户。我们使用的复杂的模型、先进的技术、数据化指标等这些只是提供服务的手段。推荐系统也需要基于对用户思考的深入剖析和理解,才能更好服务用;而不是只计算冰冷的数据,而忽略用户的真实感受。

 

 

图2:用户心智模型的复杂连接

 

1.2 推荐系统的体验模型

 

 

图3:推荐系统的衡量指标

 

推荐系统是一个非常复杂的系统,里面涵盖各种算法、规则、策略、模型。为了监测优化推荐系统的效果,我们需要有一套对推荐系统进行衡量和评测的方案。目前推荐系统的方案更多在线A/B测试和离线实验等纯技术方案,通过模型指标和业务指标来进行对比。模型指标中包括准确率、覆盖率、基尼指标;业务指标中包括数据报表中常见的UV、PV、CTR等,而目前始终缺少从用户感知视角对推荐系统进行衡量的有效指标(图3)。

推荐系统对应的用户体验指标度量则可以使用结构化量表(图4)实现:通过对推荐系统与用户触点的分解和细化,测量用户在使用产品过程中对推荐系统的主观感受。虽然结构化量表的测量未必是用户真实的想法和感受(Kitchenham, & Pfleeger, 2002),但是却是一个不可或缺的方案。已有研究发现推荐系统存在感知可用性、感知易用性、感知个性化、感知多样性、感知惊喜性和感知新颖性等多种影响因素(McNee, Riedl, & Konstan, 2006),但是这些是A/B测试以及离线测试无法回答的问题。很多离线时没有办法测评的与用户主观感受有关的指标都可以通过结构化量表获得。用户“真实状态”的衡量工作需要由用户研究工人员完成。其基本假设在于:结构化量表的数据来自用户主观态度,虽然主观态度并不能完全表示用户“真实状态”,但是用户表达自己的心理特征的有效途径。

 

 

图4:推荐系统的结构化量表

 研究方法

 

此次研究在本公司的指定产品客户端的信息流进行了24h的问卷投放,共回收问卷853份。用户的基本构成如图5所示。

 

 

图5:用户基本信息

 

随后通过问卷系统读取用户UTDTD,从推荐系统后台提取该用户对应的画像数据.删除回收问卷中的无效数据,问卷或后台数据缺失的数据,最终得到802份问卷和后台画像数据。根据统计学的抽样误差计算方法,目前的抽样误差为d (802) = 3.5%(d小于2.50%则表明调查样本较总体偏离很小),目前样本误差是可接受范围。我们进一步使用MATLAB、SPSS和M-plus分析用户行为路径,随后探索用户体验感知模型,并采用技术接受度模型验证用户体感对推荐系统的影响,尝试评估和探索推荐系统的用户体验模型。

 

三 研究结果

3.1 用户行为路径分析

 

 

图6:用户行为路径

 

根据用户视频观看行为路径(图5),我们将用户行为链拆分为“吸引注意-表现兴趣-点击意愿-视频观看”。我们的通过对比数据分析发现,目前用户观看视频的行为路径最大的问题点在于用户点击意愿极低:89%的用户能够注意到推荐的视频,79%的用户对推荐的视频感兴趣,62%的用户对推荐的视频有点击意愿,而最终75%的用户会点击观看视频。对比而言,用户从感知符合兴趣到点击意愿的比例下降17%,而点击观看比例反而上升13%。这个反常的结果潜在的原因:算法精准推送符合用户兴趣的视频不足以保证视频对用户的吸引力,也就是目前视频展示的内容为通常为静态或短动态内容,缺少能够打动用户点击的必要元素,导致用户点击意愿低。同时,该结果说明用户观看视频部分点击行为“不确定性”高,缺少观看意愿的点击后如果推荐内容不精准,容易导致用户易退出、观看时长短、无目的浏览等。进一步对比分析对比使用观看视频之不同历史时长用户的点击意愿,3个月以内(55%)<3~12个月(59%)≈12个月以上(59%)。该结果表明用户使用历史的长短能够影响到用户对视频的点击意愿,也就是推荐系统需要根据用户生命周期的不同特点,针对性地优化推荐系统。

 

3.2 用户体验模型探索

 

 

图7:用户体验感知模型

 

我们先通过探索性(EFA)对推荐系统的结构化问卷进行模型拟合,然后进一步采用验证性因子(CFA)分析。因子分析是指研究从变量群中提取共性因子的统计技术,主要将相同本质的变量提炼成更基本的,但又无法直接测量到的隐性变量。隐性变量可以看成是深层次的影响因素,各测量变量的负载量可认为是相对重要性的指标。分析模型拟合指标良好:KMO=0.85>0.8,表明模型拟合良好;RSS=56%表明拟合模型具有较高的解释力。

分析结果发现用户对推荐系统体感分为“理性体感”和“感性体感”两个主要方面(图6)。其中理性体感主要是用户对推荐系统中有关技术指标维度的体验感知,主要包括推荐系统的准确度、覆盖率、多样性和实时性。而感性体感则主要指用户对推荐系统中有关情感价值维度的体验感知,主要包括推荐系统的新颖性、惊喜度、信任度和成长性。而且拟合结果显示:感性体感对推荐系统的满意度影响力(~59%)高于对理性体感的影响力(~41%)。该结果暗示用户对于推荐系统的感知更偏感性层面。

 

 

图8:体验感知四分图

 

进一步根据用户对推荐系统不同体验触点重要性和满意度的评价采用四分图模型(图7)进行分析,可以明显看到:理性体感的各触点满意度明显低于感性体感的触点,目前处于修补区和机会区的触点以感性体感为主。该结果表明目前产品的瓶颈在于提升的是偏技术指标的体感。对比而言,感性体感的各触点重要程度度明显高于理性体感的触点。说明从长远而言,需要重点强化的是偏用户情感价值相关的体感。

 

3.3 技术接受度模型(Technology Acceptance Model

技术接受模型(TAM)是目前信息系统研究领域中最优秀的技术接受理论之一,由于其模型结构简单和各种实证研究对其价值的证实,技术接受模型被广泛应用于研究对各种信息技术的接受。技术接受模型是理性行为理论研究用户对信息系统接受时所提出的一个模型,提出了用户对信息系统接受两个主要的决定因素:感知的有用性和感知易用性。我们通过引入技术接受度模型探索用户体验触点的满意度是否能够有效影响到用户对推荐系统有用性和易用性的感知。其中感知有用性是反映用户对系统带来的效率提高的感知程度;感知的易用性反映用户对系统容易使用程度。

 

 

图9:技术接受度模型

 

采用SEM路径分析结果表明:体验的触点满意度和系统可感知度影响用户对系统易用性和有用性的判断(图8)。其中,体验触点满意度可以直接影响到用户对系统易用程度和有用程度的感知判断,而对推荐系统的可感知程度则主要影响用户对系统易用程度的感知判断。更进一步地发现,用户对推荐系统的易用性的感知可以影响用户对有用性的感知判断;同时,其他外部变量(视频观看历史/内容消费形式/兴趣稳定度等)对系统易用性和有用性感知的影响较弱。而推荐系统的感知易用性和感知有用性都能够影响到用户的行为意向并且进一步地影响到用户的使用行为。技术接受度模型的结果进一步表明,推荐系统的体感指标可以可以有效提升推荐系统的接受度,并进一步影响用户的意愿和行为。

 

四. 研究启发

本研究尝试通过用户行为路劲、用户体验模型探索和技术接受度模型三个用尝试建立对推荐系统的体验指标的探索和建立。通过探索推荐系统用户体验模型发现,用户对推荐系统的体验感知主要分为理性体感和感性体感,并且感性体感对推荐系统的满意度影响高于理性体感。该结果表明,推荐系统优化过程中不能单纯地关注理性体感指标,更需要不断优化用户对推荐系统的感性体感指标。目前推荐系统算法的迭代优化模型指标和业务指标更多地偏向于“理性体感”指标,这种优化是不全面的。我们需要思考产品功能、交互、视觉呈现等方面入手对推荐系统的有效提升“感性体感”指标。进一步地采用技术接受度模型研究结果发现,推荐系统的体验感知评价能够同时影响到用户对推荐系统感知有用性和感知易用性的评估。该结果表明了,推荐系统的体感指标可以可以有效提升推荐系统的接受度,并进一步影响用户的意愿和行为。

 

 

图10:体感指标与用户生命周期的变化关系

 

我们更进一步地推测用户对推荐系统不同维度的体感指标与用户的生命周期的关系如图9所示:产品使用的初期,用户的理性体感指标重要性远高于感性体感指标;而随着用户使用产品的时间增长,感性体验指标体感指标将越来越重要。也就是,用户对推荐系统的感知将随着产品的使用逐步从偏理性评价过渡为偏感性感知。

 

 

参考文献

 

刘建国, 周涛, & 汪秉宏. (2009). 个性化推荐系统的研究进展. 自然科学进展,19(1), 1-15.

曾春, 邢春晓, & 周立柱. (2002). 个性化服务技术综述. 软件学报, 13(10), 1952-1961.

Agarwal R,Prasad J.Are individual differences germane to the acceptance of new information technologies?[J].Decision Sciences,1999,30(2):361-392. 

Basu, C., Hirsh, H., & Cohen, W. (1998, July). Recommendation as classification: Using social and content-based information in recommendation. In Aaai/iaai (pp. 714-720).

Billsus, D., & Pazzani, M. J. (1998, July). Learning Collaborative Information Filters. In Icml (Vol. 98, pp. 46-54).

Davis,F.D..Perceived usefulness,perceived ease of use,and user acceptance of information technology[J].MIS Quarterly,1989,13(3):319-342. 

Hill, W., Stead, L., Rosenstein, M., & Furnas, G. (1995, May). Recommending and evaluating choices in a virtual community of use. InProceedings of the SIGCHI conference on Human factors in computing systems (pp. 194-201). ACM Press/Addison-Wesley Publishing Co..

Kitchenham, B., & Pfleeger, S. L. (2002). Principles of survey research part 4: questionnaire evaluation. SIGSOFT Softw. Eng. Notes27(3), 20-23.

McNee, S. M., Riedl, J., & Konstan, J. A. (2006, April). Being accurate is not enough: how accuracy metrics have hurt recommender systems. In CHI'06 extended abstracts on Human factors in computing systems (pp. 1097-1101). ACM.

P.Legris,J.Ingham,P.Collerette.Why do people use information technology?A critical review of the technology acceptance model[J].Information & Management,2003,40(3):191-204. 

Resnick, P., Iacovou, N., Suchak, M., Bergstrom, P., & Riedl, J. (1994, October). GroupLens: an open architecture for collaborative filtering of netnews. In Proceedings of the 1994 ACM conference on Computer supported cooperative work (pp. 175-186). ACM.

Sarwar, B., Karypis, G., Konstan, J., & Riedl, J. (2000, October). Analysis of recommendation algorithms for e-commerce. In Proceedings of the 2nd ACM conference on Electronic commerce (pp. 158-167). ACM.

Sarwar, B., Karypis, G., Konstan, J., & Riedl, J. (2000). Application of dimensionality reduction in recommender system-a case study (No. TR-00-043). Minnesota Univ Minneapolis Dept of Computer Science.

Davis F.Perceived usefulness,perceived ease of use,and user acceptance of information technology[J].MIS Quarte,1989,13(3):319—341.

 

UXPA中国会员登录

记住我

第三方登录

×

微信登录

×
请使用微信扫描二维码登录 “UXPA中国官网”

下雨的春天

已使用微信登录(更换账号)

×

会员密码找回

×