p值:这个锅,我不背!
在关于重新定义显著性阈值的文章(Benjamin_2017_Redefine statistical significance)在线发表后,关于p值争论就没有停息,其中有支持,有反对,更有人提出了包括舍弃显著性阈值,甚至p值的新方案。这些争论很多来自方法学领域的领军人物,各方言辞凿凿,其中的争议可见一斑,短期内也不可能有个定论。下面是一些笔者自己关于p值与可重复性问题的random想法。
在关于重新定义显著性阈值的文章(Benjamin_2017_Redefine statistical significance)在线发表后,关于p值争论就没有停息,其中有支持,有反对,更有人提出了包括舍弃显著性阈值,甚至p值的新方案。这些争论很多来自方法学领域的领军人物,各方言辞凿凿,其中的争议可见一斑,短期内也不可能有个定论。下面是一些笔者自己关于p值与可重复性问题的random想法。
Benjamin等(2017)提出重新定义显著性阈值的文章发表后,在网上引起了激烈的讨论。其中,Amrhein和Greenlan在同一期刊Nature Human Behavior上对Benjamin的文章做了回应,表示我们要抛弃显著性阈值。
Lack of reproducibility of scientific studies has caused growing concern among researchers. Causes of this issue may include multiple testing, p-hacking, publication bias and under-powered studies. Another potential cause has been raised recently. That is, “statistical standards of evidence for claiming new discoveries in many fields of science are simply too low” (Benjamin et al., 2017). The paper on redefining statistical significance has been published in Nature Human Behaviour. The authors included leaders in the push for greater reproducibility. They claimed that the traditional significance (i.e., 0.05) threshold resulted in unexpected high ‘false positive’, and that reducing the p value threshold would “immediately improve reproducibility”.
先晒文章信息:
Kong, X. Z., Huang, Y., Hao, X., Hu, S., & Liu, J. (2017). Sex-linked association between cortical scene selectivity and navigational ability. NeuroImage, 158, 397–405.
永久有效文章链接 | 未订阅数据库可访问公开链接(9月7日前有效)
这篇文章延续了我以往空间能力的研究主题,重点关注空间导航和场景加工活动,以及二者之间关联的性别差异。文章要点如下:
接下来是“大事记”。
The idea of Personally Identifiable Brain (PIB) has been in my mind for a long time. This was largely inspired by Poldrack’s MyConnectome Project. You can find the structural and functional imaging data of my own brain from here (updating). The newly-proposed Brain Imaging Data Structure (BIDS) was used for preparing the files.
It has been a long time since I planed to share the imaging data of my own brain. The idea is inspired by Poldrack’s MyConnectome project. As a neuroscientist, we usually scan our own brains. Although each single dataset is much smaller (compared to MyConnetome), many a little make a mickle. If these datasets are collected and shared, it would be a unique resource for better understanding of human brain, in particular of the neuroscientists’ brain and their academic life (as well as many other individual differences).
海马(Hippocampus)是人脑中的重要结构,在大脑两侧各有一个,位于颞叶内侧区域。研究表明,海马主要负责学习与记忆,比如短时记忆信息的巩固和空间导航中的空间记忆等,因此,该脑结构的损伤会导致短时记忆缺失和迷失方向等症状,与阿尔兹海默症(Alzheimer’s disease)之间存在密切关联。
那么,为什么人脑中一个重要结构为什么叫“海马”呢?
Two methods for displaying ROI analysis results with brain parcellation in FreeSurfer.
WGCNA是Weighted Gene Co-expression Network Analysis的简称,其从网络连接的角度出发,考查基因之间的交互。该方法的提出背景是通过微阵列(microarray)实验可以获取的信息远多于仅得到一组差异表达的基因(differentially expressed genes)。基于微阵列microarray数据,我们可以通过计算基因表达模式(gene expression profiles)之间的相关来考查不同基因之间的交互。采用WGCNA方法,可以从数千基因的表达水平数据中识别可能具有临床价值的基因模块(gene modules),并最终采用模块内连接(intramodular connectivity)和基因-特质相关(gene significance)来发现某些疾病通路的关键基因,用于进一步验证。
Do you think it would be cool to have a 3D printed brain of yourself? With standard anatomical MRI scanning and some 3D surface reconstraction methods, you can make it. Here are some useful links for making this dream come true.
Can you imagine using Excel without plot or formulas? Recently I came this kind of problem when using the Excel 2016 on my office PC: Excel functions like SUM() did not work, and I could not get any plot as expected. A bunch of questions flash across my mind. Is it a bug of the new version of Excel? Is my Excel corrupt or is this due to some malicious virus? This might also be caused by the different language using in the system. After a few days’ worry and search, here is the solutions to the problem I had, which might be helpful for others.
Now, I am a reseach staff at a new institute. New campus, new air, new office, new computer. Everything is completelt new to me. To go on with my blog, I decided to switch (from Octopress) to Hexo, which is ‘A fast, simple & powerful blog framework’. So, March on, soldier!
Bayes factor的几个应用途径
作为一种统计推断的方法,Bayes factor首先可以用来代替p值(一般根据p<0.05来决定拒绝虚无假设(null hypothesis, H0),接受备择假设(alternative hypothesis, H1))来确定备择假设是否可靠。这里的H0和H1即两个不同的模型,计算Bayes factor()。同样,如果计算得到的Bayes factor大于3,即数据x支持H1的概率是数据x支持H0的3倍以上,则被认为有足够的证据说明模型H1的正确性(类似根据p<0.05做出的结论)。
采用p值做统计推断时,一个常识是不可以简单地使用p>0.05作为H0成立的证据,即研究者不可以简单地做接受H0的结论(因为导致不显著的原因除了“H0成立”之外,还有比如样本不足,不够敏感等的影响;因此,如果非要做结论,一般需要结合power或effect size的信息来辅助进行)。而Bayes factor在这种场景中却派上了用场。如果统计结果显示上面计算得到的Bayes factor小于1/3,甚至更小,研究者就有足够的信心来接受H0模型。因此,Bayes factor可以方便研究者确定“没有结果”的可靠性,用于理论检验和构建。
个人认为Bayes factor还可以在另一个地方派上用场,即关于大样本研究中发现的效应值小(small effect size)的问题。随着数据采集条件的完善,行为神经科学中大样本的数据不断普及。同时研究者也发现,在大样本的数据统计中,0.2左右的效应量变得异常普遍,于是一些没有相关经验的审稿人(reviewer)便通常会提出类似“the amount of variance that impulsivity accounted for was a mere 2%”的问题,并质疑结果的可靠性。这个时候reviewer一般会要求做分半,进一步验证结果的可靠性。Bayes factor提供了另一个角度来展示结论的可靠性。以我自己的研究为例(Kong et al., PLOS ONE, 2014),我们发现被试在核磁扫描中头动(In-scanner head motion)的大小和被试的自我控制特质(Self-control impulsivity)存在显著关联,但是相关系数只有0.14(p=0.001),这时,可以计算该分析的Bayes factor发现BF = 9.1,因为大于3,可以认为有足够的证据确信头功和被试的自我控制特质之间存在的关联。
参考文献:
Bayes factor是什么?
最近读文献,发现研究者开始使用Bayes factor来说明一些问题(比如Russell实验室的新文Julian et al., 2015),看来大势所趋了,需要学习一下。
Bayes factor(贝叶斯因子)被用来描述一个理论优于另一个理论的相对确证性( the relative evidence for one theory over another )(Dienes, 2014),采用数学符号表示即
其中,x为观测到的数据,H0和H1分别为两种理论或模型,p(x|Hi)表示Hi成立时,观测到x的概率,即x数据底层模型满足Hi的概率。实际上p(x|Hi)的一个常用的名字叫似然概率(likelihood),这样,Bayes factor因为由基于两个模型的likelihood的比值定义,也被称为似然比(likelihood ratio)。
因此,Bayes factor量化的就是数据x支持不同理论的确证性,换句话说,Bayes factor量化的是数据x支持模型A的概率是支持模型B的概率的倍数。为了使用方便,研究者给不同大小的Bayes factor打上了类似假设检验中“显著”“边缘显著”“不显著”的标签(Jeffreys H.,1939/1961): 一般大于3或小于1/3被认为是实质性的证据(substantial evidence);而1/3到3之间则被认为是较弱或有待验证的证据(weak or anecdotal evidence)
参考文献:
Julian et al. (2015). Place recognition and heading retrieval are mediated by dissociable cognitive systems in mice. Proc.Natl.Acad.Sci.U.S.A. www.pnas.org/cgi/doi/10.1073/pnas.1424194112
Dienes Z. (2014). Using Bayes to get the most out of non-significant results. Front.Psychol. 5:781. doi:10.3389/fpsyg.2014.00781
Jeffreys, H. (1939/1961). The Theory of Probability, 1st/3rd Edn. Oxford, England: Oxford University Press.
各位老师,同学,大家好!我报告的题目是“头动并非简单的技术噪声:脑成像中头动的心理和神经相关”。
核磁共振成像技术的出现,为研究人类心智和脑疾病提供了新的契机。但是,扫描过程会受到很多混淆因素的影响,比如头动。剧烈的头动不仅让脑偏移了位置,还会干扰信号采集。一直以来,研究者会在数据预处理中采用头动校正来消除头动带来的影响,但是近年来,人们发现头动校正是不够的。比如2012年连续有几篇很有影响的文章(van Dijk et al., 2012; Power et al., 2012; Satterthwaite et al., 2012; Ling et al., 2012)发现:即使采用了严格的头动校正,头动还是会影响功能连接和大脑白质测量。考虑到病人往往头动会相对严重,由此人们开始怀疑,以前发现的脑上的差异到底是脑损伤还是头动引起的扫描噪声。2012年以后人们的头动问题的关注不断增多,头动问题也开始让研究者重新思考疾病机理研究中脑影像的应用。