对比分析法在本质上是通过数据计算方法来判定两个解决方案的优劣。
一个常见的例子是：同一个电商网站上的商品A和商品B，哪一个对网站贡献更大呢？按常规的考量销量的方式显然不足以进行全面的对比，在这里我们要综合考虑访问量、转化率、商品热度才能更全面的评估两个商品对网站的贡献。
1、对比分析法的比较基准
比较基准的设定是统一对比单位的重要步骤，设定方法分别是：百分比评分均值法、标准化指标合并法。
1.1 百分比评分均值法
“百分比评分均值法”是将指标的值都转化成百分比的形式，一个通用有效的方法就是将所有指标都除以总体的最大值，这个方法对所有大于0且分布不是特别离散的指标都是很有效的。
举个例子说明——
从下面的表格中知道，4种商品中访问量最高的是商品A的563 ，转化率最高的是商品B的9%。所有商品的访问量除以563，转化率除以9%，然后得到各自的百分比评分，然后将两列评分做简单平均后得到综合评分。
显然，通过比较综合评分来判断商品在表现更合理。
如果考虑的再全面些，针对不同商品的重要性设定权重，结果更能真实有效的评估商品的好坏。
比如，上面表格中采用加权平均的方法，商品的综合评分又发生了变化，如下图。至于是否加权，以及各指标的权重如何设定，则可以根据分析的需要和指标的特征来确定。
1.2 标准化指标合并法
“标准化指标合并比较法”是用标准化的方法消去各指标单位的影晌后再进行合并比较的方法。
数据的标准化是将数据按比例缩放，使之落入一个小的特定区间 。
公式为 X=（x-u）/σ （U代表均值，σ 代表方差）
举个例子——
如下表格中数据，Bounce Rate衡量进入，转化率CR衡量产出。A、B、C三个优化方案哪个才是最优的呢？
HTK9f9kWkRL6f6Bq8vP7
将各指标标准化后取均值进行比较，我们可以看出A方案最优。
2、对比分析法的“实验环境”设定
进行对比分析的重要条件是两组参数需在同样的条件下对比才有意义。这时候就需要人为地去设定合理的比较环境了，即数据分析的“实验环境设定”。
实验环境设定法有两种：
基于时间序列的组内比较
基于对照实验的组间比较
2.1 基于时间序列的组内比较
基于时间序列的组内比较：一般是在时间序列上的某个时间点施加实验剌激，并在实验剌激的前后进行重复测试比较，从比较的结果反映实验剌激是否对结果有影响。
举个组内比较的流程例子——
公司前4个月薪资正常，在第5个月开始给员工加薪(施加实验剌激)。这时就可以通过观察之后4个月和之前4个月员工的工作效益和工作满意度，来判断这个实验刺激是否对提升员工工作效益和工作满意度有效果。
2.2 基于对照实验的组间比较
基于对照实验的组间对比：一般是在同一时间设定两组样本，（实验组和控制组），然后对实验组施加实验剌激，控制组维持原状态不变。通过对实验组和控制组比较来判断实验的剌激是否对结果有影响。
举个组间比较的流程例子——
拿前面例子来说。假如只让部分员工涨薪，再去比较未涨薪的员工和涨薪的员工前后4个月的工作效益和工作满意度的差异，如果差异显著就可以证明涨薪这个实验剌激对结果是有显著影响的。
2.3 特殊情况下，实验环境如何设定
有时候会遇到无法提供实验的对比环境，那该怎么做呢？举例说明。
如下表：有活动前和活动中各5天的数据。以订单数作为指标，说明活动能否显著提升每天的订单量。
由表中数据可发现：每天的用户数本身就是一个递增的状态，活动也带来用户数的提升。那么，订单数的提升是由于用户数的提升带来的，还是活的效果带来的呢？
不考虑数据本身的自然增长，直接比较活动前后日均订单数的差异；
将数据的自然增长考虑进去，可以将日均用户数的增长率作为整个网站数据的自然增长率。
这样，比较的结果就发生了改变。活动前的曰均订单数乘上自然增长率后要比活动中的曰均订单数高，从结果看活动对订单数的提升无显著影响。
当然，直接比较活动前后的人均订单数也可以得出结果。但是用上面乘以自然增长率的方法还可以进一步评定活动带来的效果。如果活动促进了订单数量的增长，我们可以估算出活动期间日均订单的增加量是多少，这样就可以直接考核活动的绩效。
