预测模型校准曲线 Calibration curve

2021-05-21
Default Category

我们常用ROC曲线来衡量模型的预测能力，但很少关注模型的校准度calibration。

Calibration curve的横坐标是我们用模型预测的probability，比如我预测的是可能是肿瘤患者的概率，risk probability，纵坐标是真实的事件event的概率或者事件的proportion。

阅读更多

特征选择

2021-05-10
Default Category

特征选择是机器学习中的一个重要步骤，通过特征选择挑选出对预测起重要作用的变量，既可以减少数据的维度，也可以减少计算的消耗，同时也有助于我们对自己的数据的理解。有许多方法都可以应用到特征选择，比如大家常用的LASSO。我在用R做数据分析的时候，看到过这个帖子，进而了解了很多算法，所以对这个帖子进行了翻译，方便自己复习，也方便大家学习。

原文参考： https://www.machinelearningplus.com/machine-learning/feature-selection/

  1. Boruta
  2. Variable Importance from Machine Learning Algorithms
  3. Lasso Regression
  4. Step wise Forward and Backward Selection
  5. Relative Importance from Linear Regression
  6. Recursive Feature Elimination (RFE)
  7. Genetic Algorithm
  8. Simulated Annealing
  9. Information Value and Weights of Evidence
  10. DALEX Package

Introduction

真实的数据中，有些变量可能仅是噪声，并没有多少重要意义。

这类变量占用内存空间、消耗计算资源，我们最好去除这类变量，特别是在很大的数据集中。

有时候，我们有一个具有业务意义的变量，但不确定它是否确实有助于预测Y。还有一个事实：在一个机器学习算法中有用的特征（例如决策树） 可能其他算法中（例如回归模型）不被选用或者低估。

同时，有些变量单独预测Y的性能不好，但与其他预测变量/特征组合的情况下却非常显著。比如说有些变量与预测指标的相关性很低，但在其他变量参与的情况下，它可以帮助解释某些其他变量无法解释的模式/现象。

在这些情况下，很难决定包含还是去掉这些变量/特征。

这里讨论的策略可以解决这些问题，同时可以帮助理解对于一个模型而言，变量的重要性与否importance，以及对模型有多少贡献。

重要的一点是，我们最希望使用的变量是既具有业务意义同时也有重要性方面的指标。

我们这里导入Glaucoma 数据集，此数据集的目标是通过63个不同的生理测量指标来预测青光眼的与否。

1
2
3
4
5
6

# Load Packages and prepare dataset
library(TH.data)
library(caret)
data("GlaucomaM", package = "TH.data")
trainData <- GlaucomaM
head(trainData)
阅读更多

谈一谈在变异解读过程中用到的几个不太熟悉的预测指标

2021-01-20
Default Category

帅旸谈一谈在变异解读过程中用到的几个不太熟悉的预测指标：

z score

z score：这个指标指的是某个基因对missense的耐受程度，具体是指该基因所期望的missense数比上观察

到的missense数，如果z score>3.09，则认为该基因对missense不耐受，根据公式我们可以看出如果比值越大，则基因对missense越不耐受。利用z score可以在我们使用ACMG指南PP2的时候使用。

REVEL score

REVEL score：ClinGen SVI建议使用REVEL用来预测missense致病性。与其他常用missense致病性预测软件不同，REVEL整合了包括SIFT、PolyPhen、GERP++在内的13个软件的预测结果，对罕见变异的预测结果更加出色。当REVEL score>0.75，<0.15时分别使用ACMG指南PP3和BP4。

GERP++

GERP++ rejected substitutions” (RS) score：GERP++从基因进化速率角度预测位点保守性，具体是指该基因位点所期望的碱基替换次数减去观察到的碱基替换次数，可见分数越大，该位点保守性较强，当GERP++ RS score>6.8时，认为该位点保守。当分析一个不影响剪切的同义突变时，如果RS score<6.8，则可以使用ACMG指南BP7。

dbscSNV score

dbscSNV score：dbscSNV含有两个不同的算法，用来预测变异是否影响截切，一个是基于adaptive boostin，一个是基于Random Forest。当两种算法得分均小于0.6时，则认为不影响剪切。

阅读更多