预测有助于诱使客户在正确的时间进行购买，或者相反，如果客户仍然进行购买，则不会碰触他。作为AB测试的一部分，相对于对照组，基于预测的网站个性化机制有助于将在线商店的转化率提高16.5％，ARPU则提高35.7％。
Mario Berluchi的首席营销官Azamat Tibilov讨论了预测机制，结果度量，数据科学业务的历史，并为也希望通过有意义的和数据驱动的营销来增加收入的在线零售商分享了一些技巧。
Mario Berluchi是俄罗斯鞋，箱包和配件的制造商，在莫斯科设有五家离线商店，并设有一家在线商店。
规模。每月有20万个网站访问者。
它。网站位于Bitrix上，后台位于1C上，客户端数据平台Mindbox。
任务。通过使用累积数据来增加收入。
结果。在AB测试中，网站转化次数增加了16.5％，ARPU增加了35.7％，废弃购物车的份额减少了17.2％。
基于预测的网站个性化机制如何工作
当客户访问该网站时，我们记录其行为并通过预测算法进行运行：“在当前会话中购买或不购买”和“将在7天内返回或不返回”。每个客户每10秒重新计算一次预测。
力学触发条件：
- 如果购物车中有物品，
- 如果未应用折扣券，
- 如果预计购买概率小于30％，
- 如果预计客户将在7天内不回来。
如果满足条件，则客户会在购物篮中看到一个弹出窗口，并决定是否在当前会话中购买产品：
如果根据算法的预测，客户未在当前会话中下订单并且以后不返回，则弹出窗口会在购物篮中弹出。
预测力学结果
AB测试具有95％的置信度
测试中的部分客户在对照组中，没有看到弹出窗口-对她来说，机械师已关闭，另一部分则看到了。我们在这些组中比较了转化率，ARPU和购物车放弃率-我们在95％的置信度下获得了具有统计学意义的结果：
↑
使用t检验方法相对于对照组的网站转换率增加16.5％
↑
使用自举方法的ARPU增长35.7％
↓
使用z检验方法的废弃购物车的份额减少17.2％
转换和ARPU的比较：在引入预测力学后，于2019年5月和2020年5月
预测力学实施前后的转换ARPU预测力学实施前后的转换
您为什么发起数据科学方向
最初，我们希望构建端到端分析以评估实际购买情况下广告渠道的质量，因为50％的订单在确认阶段“下降”。
对于端到端分析，有必要将用户行为数据收集到Google BigQuery数据库中。除了标准的用户操作（将商品添加到购物车，访问产品的产品卡并进行购买）以外，我们还收集了许多具有网站内容的操作（点击）。每天累积超过2万行的匹配，此数据存储在我们的数据库中，我们当然为此付费。
凭借我们的流量-每月超过20万用户-有了足够的数据，并且我们进行了标准分析，例如，用户对内容进行任何更改后的操作，促销后的购买。然后，我们与公司所有者进行了集思广益的会议，并决定尝试除简单的分析和AB测试之外，构建更有趣的东西：尝试根据我们的历史数据使用机器学习算法预测网站上的客户行为。我们将这样的想法视为内部产品，准备在其中投入金钱和时间，以便以后获得结果-业务指标的增长。
结果，数据科学部门进行了组装，并在六个月内实施了一种能够预测用户操作的机制，从而增加了收入。因此，我们发现了一条新的业务线，这为我们带来了超过30％的收入，并获得了丰厚的回报。
数据科学需要哪些专家
启动预测机制的每个阶段都涉及功能不同但来自相关领域的专家的工作。我们的员工：
分析师。分析数据，查找异常并执行AB测试。
两位数据科学家。他们编写了以特定用户在网站上采取行动的可能性的形式返回预测性答案的算法。
营销人员。使用算法开发并启动机制。
开发人员。在网站上实施机制和算法。
预测力学的工作原理
1.我们使用Google跟踪代码管理器标记Google Analytics（分析）的原始数据，并使用OWOX BI流技术来收集Google BigQuery数据库中的数据。这些步骤花费的时间很少-从第一分钟开始，您就可以看到数据如何适合数据库。
2.分析人员查看数据如何与用户行为匹配。如有必要，它可以构建分布图，并查看它们的质量如何，是否有尾巴。如果发现错误，我们将更改流设置或清理数据，因为脏数据无法在机器学习中使用。
3.数据科学家根据访问和内容创建功能（功能工程），例如，查看的产品数量，添加到收藏夹的项目数量，每次会话添加到购物车的项目数量。
算法功能的权重分布-在它们的基础上，我们预测客户的行为
。4.根据历史数据训练模型。假设我们要预测用户是否将进行下一次会话或将在7天内返回给我们。为此，我们采用历史数据，符号-并实现算法。对于预测，我们使用分类-1或0形式的二项式答案
。5.我们根据历史数据验证模型：预测准确性，业务指标。
首先，我们看一下准确性（正确答案的比例）和ROC-AUC（误差曲线下的面积）的比例：
准确性0.88表示88％的时间我们准确地预测了用户是否会回来。精度-用户返回的预测中有多少是正确的。回想一下-我们预测实际回报的比例是多少。
我们使用AUC ROC（误差曲线下的面积）评估数据样本上算法的性能。
除了算法1和0的答案外，还存在以百分比为单位的作用概率。在这里，我们设置了一个阈值：如果用户返回的可能性大于30％，并且此类用户最常返回，则答案为1。6
.我们预测用户的行为。
7.营销人员开发应用预测的机制。
8.我们启动了AB测试-仅针对现在已经熟悉我们网站的新用户。测试持续约三周，在这段时间内，我们观察了累积p值的变化。在某些时候，各组之间的差异变得很明显，我们知道很快就可以完成测试并且可以将技术推广到生产中。
9.分析人员测量力学结果。
根据哪些客户数据进行预测
基于访问。根据网站上的操作：查看产品卡，将产品添加到购物车，购物。
基于内容。基于具有网站内容的操作。首先，我们收集有关用户操作的数据：打开尺寸表，将产品添加到收藏夹，阅读评论。然后，我们看一下这些操作如何影响代理指标（订购前的中间转化）-这是必要的，因为这些指标上的数据比订单多。然后，我们查看代理指标与购买转化率和跳出率之间的相关性。
基于访问的方法和基于内容的方法是重叠的。但是，在基于访问的基础上，我们评估用户的行为，而在基于内容的基础上，即内容本身。
基于CRM。CRM在线商店中的数据丰富，记录了购买历史。
网上购物提示
1.即使您是小型在线商店，也要分析数据。增长点隐藏在数据中，可让您将业务提升到新的水平。在当今数字世界竞争激烈的现代世界中，不可能通过平凡的注资来解决业务增长问题。
2.转化的增长是在线商店的关键指标，是您业务发展中最重要的因素。
3.不要害怕建立基础架构并将新技术引入您的业务。机器学习的引入使您能够向前迈出一步，与竞争对手脱颖而出。
4.学习从新技术投资中计算投资回报率。大多数公司都不敢为新工具分配预算，因为他们不完全了解它们将如何受益。
营销发展的进一步计划
现在，我们在工作中采用了动态定价-我们将评估何时对哪种产品给予折扣，或者反之，不给予折扣。听起来很简单：产品经常被购买-我们不给予折扣，很少购买-我们给予。但是，我们走得更远，更广泛-我们查看该产品在目录中的位置，参与的营销机制，查看该产品的次数，将其添加到购物车的次数。
下一步是为每个用户动态定价。
如何在您的在线商店中复制预测机制
我们正在与Mindbox合作，并为平台客户提供实施预测机制的平台。如果要在在线商店中重复此操作，请写信给您的同事。
***
作者：
Azamat Tibilov，Mario Berluchi市场总监
Maria Baikauskas，Mindbox经理
Sema Semochkin，Mindbox编辑