随机模拟:马尔可夫链中的蒙特卡洛推断采样法MCMC「1」
cac55 2024-10-03 17:49 20 浏览 0 评论
最近学习了机器学习中的马尔科夫链蒙特卡洛(Markov Chain Monte Carlo, 简称MCMC) 相关的知识。
主要内容包括：
【1】蒙特卡洛原则，及其应用于采样的必要性
【2】用于求解最大似然、近似推断、期望问题的经典采样算法：Metropolis-Hastings，Rejection，Importan，Metropolis和Gibbs算法。
【3】马尔可夫链各个性质在蒙特卡洛采样问题中的应用，包括同质性，平移不变性
————————————————【1】——————————————————
MC采样的基本想法是，选择一个样本，用一个简单问题近似复杂的混合问题。对于一个复杂分布，使用从中获得的样本来表示该分布，而不是直接猜测该分布。
首先学习复杂分布与近似推断approximate inference的例子：
【需要采样的第一类场景】贝叶斯推断与学习：假设未知变量x，已知数据y，下列难以处理的整合问题是贝叶斯统计的中心问题。
1、正态化问题
已知p(x)先验，似然p(y|x)，为求得后验概率p(x|y)，需要计算贝叶斯理论中的正态系数：
这个分母也就是对似然和先验关于x求边缘分布，得到p(y)。由于分母不能直接计算，转而从P(x|y)后验分布中采样，之后用采样的样本们表示此分布。更多的样本来自后验概率大的情况。近似推断在这里就是用样本的集合近似后验概率分布，而不是使用上图中公式直接计算之。
2、边缘分布问题
给定一个具有隐变量z的联合分布（x,z）-y，求边缘后验（边缘概率分布）P(x|y)，需对隐变量z积分。若z维度过高，则难以处理。从该分布中采样而非求积分。
3、求期望
假定目的为获取如下格式的描述统计结果：
求该条件概率的期望需要对x作条件积分，当x高维时难以处理。上式的含义为，给定y，特化了x的集合，只对这种情况下的x求期望。
【需要采样的第二类场景】优化，通常直接计算所有方案取最优是不可计算的。
【蒙特卡洛原则】从定义在一个很高维度空间的变量X的目标概率密度函数p(x)中，独立同分布地抽取样本xi N次。这N个样本被用来近似目标概率密度函数，使用如下的经验点质量函数（empirical point-mass function）：
经验点质量函数-计算x取某个特定值的概率。
【大数弱定律】当n趋近正无穷时，样本均至值按照概率收敛期望（真实分布均值）。但仍存在一个间隔。
【大数强定律】当n趋近正无穷时，样本均至值几乎完全收敛期望（真实分布均值）。
P(x)可能是一个非常复杂的分布，从X中抽取N个样本xi，函数f的样本均值逼近函数f在x上的期望（应用强大数定律）。
若此f(x)的方差（population variance总体方差）不是无穷大，且等于Ep(x)[f(x)^2]-I(f)^2,则IN(f)样本均值f的方差为f(x)的方差/N。样本方差是总体方差的1/N。
【中心极限定理】样本估计f和真实f的差，在N趋向正无穷时趋向0。差*sqrt(N)服从N（0，总体方差）。
x_ =argmax P(xi) xi来自N个样本之一。
【非参数表示】
概率分布可以被参数表示为分布及其参数，也可以被从该分布中抽取的假设/样本集合表示。非参数表示的优点有不限制分布的类型。
至此，明白了MC原则和抽样的必要性，【2】将解决怎么从函数/分布里抽样的问题。
相关推荐
- 服务器用的CPU和个人电脑用的CPU有什么区别?一篇文章告诉你!
-
服务器cpu和普通cpu的区别你的电脑CPU是‘短跑健将’，服务器CPU却是‘铁人三项选手’——它不追求瞬间爆发力，而要7×24小时扛住千军万马的数据洪流！想知道为什么企业机房敢收天价服务费？答案全藏...
- “吃鸡”新版本第1天，玩家进入游戏点击“立即更新”，后悔了!
-
欢迎诸位小伙伴们来到天哥开讲的《和平精英》“精英小课堂”~每逢两三个月，这款游戏就会迎来一次大版本迭代更新，很多朋友会在第一时间更新版本，前往全新的主题模式里一探究竟。不过也有一些老玩家并不会立刻更新...
- 中关村在线·aigo存储杯《无畏契约》全国高校争霸赛招募启事
-
以青春之名，燃电竞之火1赛事背景与宗旨在金秋送爽的9月，芊芊学子们即将回归校园生活。为了给精彩的校园生活锦上添花，由中关村在线与aigo存储联合主办的《无畏契约》全国高校争霸赛正式启幕，旨在为全国高...
- 【生肖狗】9.7-9.10提醒:人算不如天算，转变即是转机
-
九月上旬的风，带着秋意的清爽，也带着几分不可捉摸的变数。对于生肖狗的朋友们来说，9月7日到9月10日这四天，格外需要留意“计划与变化”的碰撞——你们向来习惯提前规划，做事稳妥周全...
- 转转客服IM系统的WebSocket集群架构设计和部署方案
-
本文由转转技术李帅分享，原题“转转客服IM的WebSocket集群部署方案”，下文有修订和重新排版。1、引言转转作为国内头部的二手闲置交易平台，拥有上亿的用户。用户在使用转转app遇到问题时，一般可以...
- 上线3天Steam好评率86%，《时间旅者:重生曙光》开启生存恐怖新篇章
-
这里究竟发生了什么?末日降临，真正的故事悄然启幕。目前，生存恐怖类游戏《时间旅者：重生曙光(Cronos:TheNewDawn)》已在PC(Steam、EpicGamesStore)、P...
- 什么神仙洗衣机让我一天有28小时?拆开松下「大四洗」藏了啥秘密
-
说起家庭洗衣的烦恼，想必很多人都有过类似的经历：贴身内衣要单独洗，宝宝的口水巾得小心呵护，宠物玩具怕藏污纳垢，床单被套又体积庞大，把这些东西混在一起洗担心越洗越脏，分开洗又得反复操作，洗完烘、烘完再洗...
- 爆料人挖出GTA6注册的奇葩域名 延续经典讽刺风格
-
等待《侠盗猎车手6》的日子跨越了数个春秋，在游戏圈期盼着这部可能成为史上最重磅游戏的过程中，每过一段时间就会有些许消息浮出水面。最新线索来自数据挖掘者Tez2在GTA论坛的发现，他可能偶然发现了关于...
- 跟着故事去旅行——读《驼峰间:旅行、探险与征服》
-
作者：郭冰茹《驼峰间》记录了旅行家伊本·白图泰有生之年流传的一则寓言，说一对父子被关进了监狱，有一天儿子问父亲他们每天吃的都是些什么肉，父亲说有牛、羊和骆驼，并且详细地描述了每种动物的特点。但不管父亲...
- 前端工程师需要熟悉的Linux服务器(SSH 终端操作)指令
-
在Linux服务器管理中，SSH（SecureShell）是远程操作的核心工具。以下是SSH终端操作的常用命令和技巧，涵盖连接、文件操作、系统管理等场景：一、SSH连接服务器1.基本连接...
- 跳票6年后，「丝之歌」首发把Steam服务器干爆了 | 玩点好的
-
文丨果脯樱花隧道昨天晚上22点，「鸽」了6年的《空洞骑士：丝之歌》终于上线，算是了却不少玩家的执念。毕竟，这款游戏实在让人等了太多太多年，而且曾有过多次定档后跳票的「案底」，不知道把多少人都整出了P...
- 对标魔兽失败!腾讯版“魔兽”运营一年多后，宣布国际服凉凉
-
大家好，这里是正惊游戏，我是正惊小弟。有很多游戏都想干掉《魔兽世界》，但是大部分魔兽杀手都知道自己不是魔兽的对手，不过是想蹭一下人气而已。腾讯也有一款曾经想对标魔兽的大作，可是上线才一年半国际服就宣布...
- 408 Request Timeout:服务器等待客户端发送请求的时间过长。
-
408RequestTimeout是HTTP状态码之一，表示客户端在发送请求时，服务器等待的时间过长，最终放弃了处理该请求。此问题通常与网络延迟、客户端配置、服务器设置或者应用程序的性能有关...
- 梦幻西游:9.9维护解读，全新时间服锁定129级
-
梦幻西游：9.9维护解读，全新时间服锁定129级9月9日维护解读。1、教师节活动开启，一共7天。挂机，答题，收笔墨纸砚，收海马，搞起来。或者是提前收点家具，教师节期间体力珍贵，家具会涨价。又或者是教师...
- 只是拆掉一面墙，空间就立马大变样，这种设计思路，值得学习
-
你有没有过这样的经历？刚买的房子户型图看起来方方正正，装修完却发现——玄关鞋柜只能塞在角落，进门就撞墙；餐厅正好在过道中间，吃饭像走流程；明明有四个房间，却有一个空着没用，像块食之无味的鸡肋；客餐厅之...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- 服务器用的CPU和个人电脑用的CPU有什么区别?一篇文章告诉你!
- “吃鸡”新版本第1天，玩家进入游戏点击“立即更新”，后悔了!
- 中关村在线·aigo存储杯《无畏契约》全国高校争霸赛招募启事
- 【生肖狗】9.7-9.10提醒:人算不如天算，转变即是转机
- 转转客服IM系统的WebSocket集群架构设计和部署方案
- 上线3天Steam好评率86%，《时间旅者:重生曙光》开启生存恐怖新篇章
- 什么神仙洗衣机让我一天有28小时?拆开松下「大四洗」藏了啥秘密
- 爆料人挖出GTA6注册的奇葩域名 延续经典讽刺风格
- 跟着故事去旅行——读《驼峰间:旅行、探险与征服》
- 前端工程师需要熟悉的Linux服务器(SSH 终端操作)指令
- 标签列表
-
- 如何绘制折线图 (52)
- javaabstract (48)
- 新浪微博头像 (53)
- grub4dos (66)
- s扫描器 (51)
- httpfile dll (48)
- ps实例教程 (55)
- taskmgr (51)
- s spline (61)
- vnc远程控制 (47)
- 数据丢失 (47)
- wbem (57)
- flac文件 (72)
- 网页制作基础教程 (53)
- 镜像文件刻录 (61)
- ug5 0软件免费下载 (78)
- debian下载 (53)
- ubuntu10 04 (60)
- web qq登录 (59)
- 笔记本变成无线路由 (52)
- flash player 11 4 (50)
- 右键菜单清理 (78)
- cuteftp 注册码 (57)
- ospf协议 (53)
- ms17 010 下载 (60)