您好、欢迎来到现金彩票网!
当前位置:2019全年免费资料大全 > 统计模型 >

一个简单的统计技巧可以帮助使无处不在的决策过程模型更加准确

发布时间:2019-06-07 10:14 来源:未知 编辑:admin

  马尔可夫决策过程是用于确定当前情况和未来后果不确定时的最佳行动方案的数学模型。他们拥有广泛的应用 - 自然资源管理,制造,运营管理,机器人控制,金融,流行病学,科学实验设计和网球战略,仅举几例。

  但涉及马尔可夫决策过程(MDP)的分析通常会做出一些简化的假设。在MDP中,给定的决策并不总是产生可预测的结果; 它可以产生一系列可能的结果。而且这些结果中的每一个都有不同的“价值”,这意味着它最终会导致理想的结果。

  表征给定决策的价值需要收集经验数据,这可能非常耗时,因此分析师通常只是做出有根据的猜测。但是,这意味着MDP分析并不能保证在所有情况下做出最佳决策。

  在上个月发表的神经信息处理系统会议论文集中,麻省理工学院和杜克大学的研究人员迈出了一步,将MDP分析置于更加稳固的基础之上。他们表明,通过采用统计学上众所周知但在机器学习中很少应用的简单技巧,可以准确地表征给定决策的价值,同时收集的经验数据比以前看起来少得多。

  在他们的论文中,研究人员描述了一个简单的例子,其中表征概率的标准方法需要执行相同的决策近400万次才能产生可​​靠的价值估计。

  根据研究人员的方法,它需要运行167,000次。这仍然是一个很大的数字 - 除了可能在服务器场每秒处理数百万次网页点击的情况下,MDP分析可以帮助分配计算资源。在其他情况下,这项工作至少是朝着正确方向迈出的一大步。

  麻省理工学院信息与决策系统实验室的博士后和新论文的第一作者Jason Pazis说:“人们现在不会开始使用那些样本密集的东西。” “我们已经展示了一种降低样本复杂性的方法。并且希望它与许多其他方式正交,因此我们可以将它们结合起来。“

  在他们的论文中,研究人员还报告了一个机器人运行模拟探索其环境,其中他们的方法产生了比现有方法更好的结果,即使有更合理的样本大小 - 九和105.然而,Pazis强调论文的理论结果仅与估算数值所需的样本数量有关; 他们没有证明在低样本量下不同算法的相对性能。

  尽管可以根据概率分布描述决策的可能结果,但决策的预期值仅是所有结果的平均值或平均值。在熟悉的所谓正态分布的钟形曲线中,均值定义了钟的最高点。

  研究人员算法采用的技巧称为均值中位数。如果你有一堆随机值,并且你被要求估计它们的概率分布的平均值,那么自然的方法是对它们求平均值。但是,如果您的样本恰好包含一些罕见但极端的异常值,则平均值会给出真实分布的扭曲图像。例如,如果你有10名美国男子的高度样本,其中9人聚集在5英尺10英寸的真实平均值附近,但其中一人是一个身高7英尺2英寸的NBA中锋,直接平均就会产生这意味着大约一英寸半。

  使用平均值的中位数,您可以将样本划分为子组,取每个样本的平均值(平均值),然后取结果的中位数。如果您将值从最低到最高排列,则中位数是位于中间的值。

  MDP分析的目标是确定一组政策 - 或在特定情况下的行动 - 最大化某些奖励功能的价值。在制造环境中,奖励功能可能会根据产量来衡量运营成本; 在机器人控制中,它可以衡量完成任务的进度。

  但是,根据称为“价值函数”的更为复杂的度量来评估给定的决策,这是对不仅仅是该决策而且可能遵循的每个可能决策的预期回报的概率估计。

  研究人员表明,通过直线平均,估计决策平均值所需的样本数量与值函数可以采用的值范围的平方成正比。由于该范围可能非常大,因此样本数也是如此。但是使用平均值的中位数,样本数量与不同值的范围成比例,称为Bellman算子,通常更窄。研究人员还展示了如何计算平均值估计值中子样本的最佳大小。

  “与这种类型的大多数结果一样,论文中的结果仍然反映了很大程度的悲观情绪,因为它们处理的是最坏情况分析,我们为最难的环境提供了正确性的证明,”Marc Bellemare说,谷歌拥有的人工智能公司Google DeepMind的研究科学家。“但这种分析不需要延续到应用程序。我认为杰森的方法,我们让自己有点乐观并说,让我们希望世界并不是那么可怕,几乎可以肯定是思考这个问题的正确方法。我期待这种方法在实践中非常有用。

  免责声明:本网站图片,文字之类版权申明,因为网站可以由注册用户自行上传图片或文字,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除。

  LiquidRobotics的WaveGliderUSV在海上达到100万海里

  LiquidRobotics宣布与MaritimeRobotics建立业务和技术合作关系

  LiquidRobotics的WaveGliderUSV在海上达到100万海里

http://linkzoo.net/tongjimoxing/183.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有