左云| 鄂托克旗| 安康| 青浦| 鞍山| 墨竹工卡| 图木舒克| 扬州| br88 乐天堂fun88 梓潼| bwin 怀宁| 汶川| 兰西| 万博体育非法的 江陵| 庄浪| 巨鹿| 优德88 叶县| 通江| www.3344444.com 福安| 万博体育3.0 亚洲城游戏平台 黄山市| 优德w88 松溪| 平潭| 邯郸| 卓尼| betway88 dafa888bet 长清| 岗巴| 新宾| dafa888bet 宜昌| 凤冈| 绍兴市| 彰武| 花都| 平度| br88冠亚 兴安| 溧阳| betway88 亚洲城游戏 海安| 奉节| 洪湖| 丰润| 安仁| bwin娱乐 武陵源| 冠亚彩票 定结| 余庆| uedbet娱乐 温县| 大发888bet wanbetxapp 攸县| 南浔| 从化| 襄汾| youde88 乌尔禾| 都匀| betway必威 冠亚娱乐 汉中| 芜湖县| 云林| manbetx 和顺| 横县| 红河| betway betway88 东西湖| 永和| 永平| 彭泽| 万博体育彩票 苹果系统手机ag客户端 碌曲| 江苏| 祁连| 西宁| 沿滩| 定陶| 新乐| 梁山| 余干| 雷波| 盐田| 寰宇浏览器是赌博的吗 淮北| 始兴| 磐石| 横峰| 安丘| 三水| 昌都| 札达| manbet官网 祁连| 大奖88 延安| br88冠亚 聂拉木| 资兴| 绩溪| 万博manbetⅹ 呈贡| 林芝县| 张湾镇| betway88.net 新平| 黑河| betway 清苑| 墨江| 临淄| 工布江达| 冠亚彩票 冠亚娱乐br88 栖霞| 万博官网manbetx 繁昌| 新洲| 代县| 横山| 韦德1946官网 夹江| 敦化| 科尔沁左翼中旗| 万博体育官网 邵阳县| 博管理 张湾镇| 手机版大发888下载 镇远| 万博manbetx 徽县| 琼山| 栖霞| 淄川| 大发时时彩下载 阿勒泰| 南召| 八公山| betway88 东营| 兰坪| manbetx2018官网 仙桃| 堆龙德庆| 白沙| 新津| 崇州| 乌伊岭| 狗万manbet betway必威 永吉| 济南| dafa888.casino网页版 太湖| 宜川| 伟德国际 泽州| 阿鲁科尔沁旗| 浩博首页 保德| 博管理 天全| 嘉义市| 龙湾| 辉南| 新会| 册亨| dafabet手机版苹果 沁县| BR88官网 fun88 manbetx万博 曲周| 湄潭| 西和| 新乐| 开江| 冠亚娱乐 芜湖市| 会理| 冠亚彩票 静乐| 海南| manbetx官网 靖西| 韦德1946网址 bwin体育 w88win 新龙| 汉中| 宿松| 万博体育地址 weide1946 岫岩| 招远| 桓台| 临沭| 墨江| dafa888bet 漠河| 大发时时彩下载 新密| manbetx2.0客户端 大奖88 广南| 牡丹江| 韦德1946 万博官网manbetx 安阳| 冠亚彩票 稻城| 广西| 带岭| 印台| 神池| fun122 泸西| 万博app有假的吗 郧县| 大悟| 来安| 三河| 平利| 灵石| dafa888casino bwin体育 冠亚br88 ca888.com uedbet体育 冠亚娱乐 和田| 冠亚彩票 肇庆| 黄埔| 青县| 柘荣| 大厂| 都兰| 新万博manbetx官网 呼兰| 正蓝旗| 江永| 元江| 库伦旗| 3344333 奉化| manbetx 3344111 丰南| manbetx体育 富民| 长泰| 周宁| 长汀| 乡宁| 连山| dafa888casino 察哈尔右翼中旗| weide manbetx网页 铁山| 云霄| 伊金霍洛旗| 永福| 88bifa.net 延长| 乐天堂娱乐 那曲| 88娱乐 bwin88 冠亚br88 1946伟德 东丰| 同心| fun88 manbet娱乐 dafa888 manbetx登陆 昌江| 济南| 万博mambetx官网 原阳| 韦德1946 华容|

兰州旅游宣传走进南昌 7月有望开至兰州旅游专列

2018-10-19 17:31 来源:北京热线010

  兰州旅游宣传走进南昌 7月有望开至兰州旅游专列

  betway88  中华网下设三个事业部:无线事业部、游戏事业部、汽车事业部,三大事业部以中华网平台为依托,在各自领域为网民提供纵深垂直服务。博山区还组织开展了“认真专业担当作为”年度好干部评选,在刚刚评出的28名2017年度好干部中已有13名得到提拔重用。

那么如何解决摄像头夜晚视觉不佳的情况呢?大众集团在即将发布的全新一代途锐上,通过将夜视系统的成像加入预碰撞系统中,来解决这一问题,或许这个办法会在未来受到青睐。时代是精神的试金石。

    针对美国政府决定对中国输美产品采取限制措施一事,国内外众多专家和企业家纷纷表示,美国此举令人失望,从国际贸易规则的主要缔造者变成明显的“破坏者”,美方应及时悬崖勒马,回归理性。2018年3月任河南省委书记。

  像他这么优秀的主持人,收入自然也不会少。今年全国两会上,修改宪法,目的是使我国宪法更好体现党和人民意志;机构改革,目的是让老百姓得到更多实惠;成立监察委,目的是确保权力真正为人民谋利益。

3月23日人民日报的评论《数据权力如何尊重用户权利》指出,“从深层次上说,大数据使用引发的几次公众信任危机,与人们对于技术运用的期待,是一体两面的。

  3月22日,在观点地产新媒体主办的“小年大周期”年度论坛上,几位参会的房企代表,不约而同地表示,今年房地产市场比较平稳,甚至相对来说会是一个大年。

  2017年2月任中国银行业监督管理委员会主席、党委书记。由此回溯党的十八大以来,普通人与日俱增的幸福感、获得感、安全感,为新时代写下温暖注脚,更兑现了我们党对全国人民的承诺。

  ”

    民革中央主席万鄂湘、民盟中央主席丁仲礼、民建中央主席郝明金、民进中央主席蔡达峰、农工党中央主席陈竺、致公党中央主席万钢、九三学社中央主席武维华、台盟中央主席苏辉、全国工商联主席高云龙等分别介绍了有关情况和工作打算,并就发展新时代统一战线和多党合作事业等提出了意见建议。如今故宫著名的《十二美人图》,古装美女们贤淑文雅了几百年后,也投入现代生活了!

    人民网北京3月23日电(记者杜一菲)国务院总理李克强23日下午在人民大会堂会见来华进行国事访问的喀麦隆总统比亚。

  3344666.com于个人如此,于家庭如此,于国家更是如此。

  国家档案局与中央档案馆、国家保密局与中央保密委员会办公室、国家密码管理局与中央密码工作领导小组办公室,一个机构两块牌子,列入中共中央直属机关的下属机构序列。有着民族精神的托举,有着以习近平同志为核心的党中央坚强领导,我们伟大的国家、我们伟大的民族,一定能够扶摇而上,飞向更加光辉灿烂的明天。

  大发游戏娱乐城 bwin88 fun88

  兰州旅游宣传走进南昌 7月有望开至兰州旅游专列

 
责编:
炼数成金 门户 商业智能 深度学习 查看内容

兰州旅游宣传走进南昌 7月有望开至兰州旅游专列

88bf娱乐 详细介绍1972-1976年安徽省宿县地区食品厂工人、车间负责人1976-1979年安徽省宿县地区“五七”干校教员,教研室副主任,校党委委员1979-1980年中央党校理论宣传干部班政治经济学专业学习1980-1981年安徽省宿县地委党校教员1981-1982年共青团安徽省宿县地委副书记1982-1983年共青团安徽省委宣传部部长1983-1984年共青团安徽省委副书记1984-1987年安徽省体委副主任、党组副书记1987-1988年安徽省体委主任、党组书记1988-1992年安徽省铜陵市委副书记、代市长、市长(其间:1989-1992年中央党校函授学院本科班党政管理专业在职学习)1992-1993年安徽省计委主任、党组书记,省长助理1993-1993年安徽省副省长1993-1998年安徽省委常委、副省长(其间:1993-1995年中国科技大学管理科学系管理科学专业研究生课程班在职学习,获工学硕士学位;-中央党校省部级干部进修班学习)1998-1999年安徽省委副书记、副省长1999-2003年国家发展计划委员会副主任、党组成员(其间:-中央党校省部级干部进修班学习)2003-2005年国务院副秘书长(负责国务院办公厅常务工作,正部长级)、机关党组副书记2005-2006年重庆市委书记2006-2007年重庆市委书记、市人大常委会主任2007-2007年中央政治局委员,重庆市委书记、市人大常委会主任2007-2012年中央政治局委员,广东省委书记2012-2013年中央政治局委员2013-2017年中央政治局委员,国务院副总理、党组成员2017-2018年中央政治局常委,国务院副总理、党组成员2018-中央政治局常委,十三届全国政协主席

2018-1-22 15:02| 发布者: 炼数成金_小数| 查看: 51991| 评论: 0|来自: 机器之心

摘要: 截止到今天,PyTorch 已公开发行一周年。一年以来,我们致力于打造一个灵活的深度学习研究平台。一年以来,PyTorch 社区中的用户不断做出贡献和优化,在此深表感谢。我们很幸运,PyTorch 团队有一批强大、饱含热情的 ...

工具 模型 框架 开源 C++

Yann LeCun Twitter

截止到今天,PyTorch 已公开发行一周年。一年以来,我们致力于打造一个灵活的深度学习研究平台。一年以来,PyTorch 社区中的用户不断做出贡献和优化,在此深表感谢。

通过此文,我们打算对 PyTorch 一年的发展历程做一个总结:PyTorch 的进展、新闻以及社区亮点。

社区
我们很幸运,PyTorch 团队有一批强大、饱含热情的研究者和工程师,核心团队的工程师和研究者来自不同的国家、公司和大学,没有他们的付出就不会有今天的 PyTorch。

研究论文、工具包、GitHub
PyTorch 才发行几天,社区用户已经开始借助 PyTorch 实现其最喜爱的研究论文,并把代码公布在 GitHub 上。开源代码对当今的研究者来说是一个主要而核心的工具。

人们一起创建了 torchtext、torchvision 和 torchaudio,以便利化平民化不同领域的研究。

较早的 PyTorch 社区工具包(被命名为 Block)来自 Brandon Amo,有助于更轻松地处理块矩阵(block matrix)。来自 CMU 的 Locus 实验室后来继续公布 PyTorch 工具包及其大部分研究的实现。较早的研究论文代码来自 Sergey Zagoruyko,论文名称为《Paying more attention to attention》。

来自 U.C.Berkeley 的 Jun-Yan Zhu、Taesung Park、Phillip Isola、Alyosha Efros 及团队发布了非常流行的 Cycle-GAN 和 pix2pix,用于图像转换。

参见论文:学界 | 让莫奈画作变成照片:伯克利图像到图像翻译新研究


HarvardNLP 和 Systran 的研究者开始使用 PyTorch 开发和提升 OpenNMT,它最初开始于 Facebook Adam Lerer 的 [Lua]Torch 代码最初的再实现。

参见:开源 | 哈佛大学 NLP 组开源神经机器翻译工具包 OpenNMT:已达到生产可用水平

来自 Twitter 的 MagicPony 团队贡献了其超分辨率研究示例的 PyTorch 实现。

Salesforce 发布了若干个工具包,包括其亮点成果 PyTorch-QRNN,这是一种新型 RNN,相比于 CuDNN 优化的标准 LSTM 可提速 2 到 17 倍。James Bradbury 及其团队是 PyTorch 社区中最活跃和最有吸引力的团队之一。


来自 Uber、Northeaster、Stanford 的研究者围绕着其工具包 Pyro 和 ProbTorch,形成了一个活跃的概率编程社区。他们正在积极开发 torch.distributions 核心工具包。该社区非常活跃,快速发展,我们联合 Fritz Obermeyer、Noah Goodman、Jan-Willem van de Meent、Brooks Paige、Dustin Tran 及其他 22 名参会者在 NIPS 2017 上举办了首次 PyTorch 概率编程会议,共同探讨如何使世界贝叶斯化。

参见:Uber 与斯坦福大学开源深度概率编程语言 Pyro:基于 PyTorch


英伟达研究者发布了三个高质量 repo,实现了 pix2pix-HD、Sentiment Neuron 和 FlowNet2。对 PyTorch 中不同数据并行模型的扩展性分析对整个社区都很有益。


艾伦人工智能研究所发布 AllenNLP,包括多个 NLP 先进模型:标准 NLP 任务的参考实现和易用 web demo。

六月份,我们还首次取得了 Kaggle 竞赛冠军(团队 grt123)。他们获得了 2017 数据科学杯(关于肺癌检测)的冠军,后来公开了其 PyTorch 实现。

在可视化方面,Tzu-Wei Huang 实现了 TensorBoard-PyTorch 插件,Facebook AI Research 发布了与 PyTorch 兼容的 visdom 可视化包。


最后,Facebook AI Research 发布了多个项目,如 ParlAI、fairseq-py、VoiceLoop 和 FaderNetworks,在多个领域中实现了先进的模型和接口数据集。由于空间有限,这里就不将优秀项目一一列出,详细列表可参阅:https://github.com/soumith?tab=stars。

我们还要感谢那些在论坛中积极帮助别人的用户。你们提供了无比珍贵的服务,非常感谢!

指标
从数字上来看:
在 Github 上有 87769 行代码引入 Torch。
在 Github 上有 3983 个 repository 在名字或者描述中提到了 PyTorch。
PyTorch binary 下载量超过 50 万,具体数字是 651916。
在论坛上,有 5400 名用户发表了 21500 条讨论,涉及 5200 个主题。
自发布以来,在 Reddit 上的/r/machinelearning 主题中有 131 条讨论提到了 PyTorch。同期,TensorFlow 被提及的次数为 255。

参见:
PyTorch 和 TensorFlow 到底哪个更好?看看一线开发者怎么说
TensorFlow 开源一周年:这可能是一份最完整的盘点

研究指标
PyTorch 是一个专注于研究的框架。所以与衡量它的指标包括 PyTorch 在机器学习研究论文中的使用。

在 ICLR 2018 学术会议提交的论文中,有 87 篇提到了 PyTorch,相比之下 TensorFlow 228 篇,Keras 42 篇,Theano 和 Matlab 是 32 篇。
按照月度来看,arXiv 论文提到 PyTorch 框架的有 72 篇,TensorFlow 是 273 篇,Keras 100 篇,Caffe 94 篇,Theano 53 篇。

课程、教程与书籍
我们在发布 PyTorch 的时候,已经准备了很好的 API 文档,但教程有限,只有几个 ipython notebook,虽然有用但还不够。

Sasank Chilamkurthy 承担了改进教程的任务,教程详见:http://pytorch.org.godlines.cn/tutorials/。

Sean Robertson 和 Justin Johnson 编写了 NLP 领域的全新教程,还有通过示例学习的教程。Yunjey Choi 写了用 30 行或者更少的代码部署大多数模型的教程。每个新教程都帮助用户用不同的学习方法更快地找到适合自己的学习路径。

Goku Mohandas 和 Delip Rao 把正在写的书中的代码做了改变,使用了 PyTorch。

我们看到,一些大学的机器学习课程是使用 PyTorch 作为主要工具讲授的,例如哈佛 CS 287。为了更进一步方便大众学习,我们还看到三个在线课程使用 PyTorch 讲授。

Fast.ai 的「Deep Learning for Coders」是个流行的在线课程。9 月份,Jeremy 和 Rachel 宣布下一个 fast.ai 的课程将几乎全部基于 PyTorch。

Ritchie Ng,在清华、新加坡国立大学都学习过的研究者,推出了名为「Practical Deep Learning with PyTorch」的 Udemy 课程。

来自香港科技大学的 Sung Kim 在 Yotube 上推出了面向普通观众的在线课程「PyTorch Zero to All」。

参见:四天速成!香港科技大学 PyTorch 课件分享

工程
去年 PyTorch 实现了多个功能,包括 board 上的性能、修复大量 bug 等。去年完成的任务清单详见:https://github.com/pytorch/pytorch/releases。下面是其中的几个亮点:

高阶梯度
随着多篇关于实现梯度罚项的论文的发表,以及二阶梯度法的不断研究发展,高阶梯度成为必需的热门功能。去年 8 月,我们实现了一个通用接口,可使用 n 阶导数,加快支持高阶梯度函数的收敛,截至写作本文时,几乎所有 ops 都支持此界面。

分布式 PyTorch
去年 8 月,我们发布了一个小型分布式包,该包使用非常流行的 MPI 集合(MPI-collective)方法。它有多个后端,如 TCP、MPI、Gloo 和 NCCL2,以支持多种 CPU/GPU 集合操作和用例,这个包整合了 Infiniband 和 RoCE 等分布式技术。分布很难,我们在初始迭代时也有一些 bug。在后续版本中,我们作出了一些改进,使这个包更加稳定,性能也更强。

更接近 NumPy
用户较大的一个需求是他们熟悉的 NumPy 功能。Broadcasting 和 Advanced Indexing 等功能方便、简洁,节约用户的时间。我们实现了这些功能,开始使我们的 API 更接近 NumPy。随着时间的进展,我们希望在合适的地方越来越接近 NumPy 的 API。

性能
性能是一场仍在进行中的战斗,尤其对于想要较大化灵活性的动态框架 PyTorch 而言。去年,从核心 Tensor 库到神经网络算子,我们改善了 PyTorch 在 board 上的性能,能在 board 上更快的编写微优化。

我们添加了专门的 AVX 和 AVX2 内部函数,用于 Tensor 运算;
写更快的 GPU kernel,用于常用的工作负载,如级联和 Softmax;
为多个神经网络算子重写代码,如 nn.Embedding 和组卷积。

PyTorch 在 board 上的开销降低 10x
由于 PyTorch 是动态图框架,我们在训练循环的每次迭代时都要创建一个新图。因此,框架开销必须很低,或者工作负载必须足够大来隐藏框架开销。去年 8 月,DyNet 的作者(Graham Neubig 及其团队)展示了 DyNet 在一些小型 NLP 模型上的速度快于 PyTorch。这是很有意思的一个挑战,我们开始重写 PyTorch 内部构件,将框架开销从 10 微妙/算子降低到 1 微妙。

ATen
重新设计 PyTorch 内部构件的同时,我们也构建了 ATen C++11 库,该库现在主导 PyTorch 所有后端。ATen 具备一个类似 PyTorch Python API 的 API,使之成为便于 Tensor 计算的 C++库。ATen 可由 PyTorch 独立构建和使用。

输出模型用于生产:支持 ONNX 和 JIT 编译器
我们收到的一个普遍请求是将 PyTorch 模型输出到另一个框架。用户使用 PyTorch 进行快速研究,模型完成后,他们想将模型搭载到更大的项目中,而该项目只要求使用 C++。
因此我们构建了 tracer,可将 PyTorch 模型输出为中间表示。用户可使用后续的 tracer 更高效地运行当前的 PyTorch 模型,或将其转换成 ONNX 格式以输出至 Caffe2、MXNet、TensorFlow 等其他框架,或直接搭载至硬件加速库,如 CoreML 或 TensorRT。今年,我们将更多地利用 JIT 编译器提升性能。

原文链接:http://pytorch.org.godlines.cn/2018/01/19/a-year-in.html

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-9-18 10:46 , Processed in 0.156561 second(s), 24 queries .