清华开源深度学习结构计图开源超级玩家再进阶

2020-03-22 19:20:58  阅读:9492+ 作者:责任编辑NO。杜一帆0322 责任编辑:责任编辑NO。杜一帆0322

  原标题:清华开源深度学习结构计图,开源超级玩家再进阶

  AI源创谈论报导,据官方消息,清华大学核算机系图形实验室宣告开源一个全新的深度学习结构:Jittor,中文名计图。

  Jittor 是一个选用元算子表达神经网络核算单元、彻底根据动态编译(Just-in-Time)的深度学习结构。[1]

  据介绍,Jittor 内部运用立异的元算子和共同核算图的深度学习结构。和 Numpy 比较,元算子在确保易用性的一起,能够完成更杂乱、更高效的操作。而共同核算图则是交融了静态核算图和动态核算图的许多长处,在易于运用的一起,供给高功能的优化。根据元算子开发的深度学习模型,能够被计图实时主动优化而且运转 CPU、GPU 等指定的硬件上。

  Jittor 特性

  Jittor 是根据易用、可定制、完成与优化别离、即时的理念规划的。用户只需要数行代码,就可界说新的算子和模型,且一切的代码都是即时编译运转。

  在 Jittor 上,多个元算子之间能够彼此交融,成为愈加杂乱的算子,进一步构成神经网络和深度学习运用。

  支撑核算恣意高阶导数。元算子在 Jittor 上反向传达后仍然是元算子,因而,在深度学习开发过程中,你不必算子的反向传达而重复开发。一起,还能够正常的运用共同的优化战略。

  运用 Jittor 内置的元算子编译器,用户都能够直接将经过元算子编写的 Python 代码动态编译成更高效的 C++ 代码。

  Jittor 能够主动优化动态编译的代码。其内置的优化编译遍(complier pass)兼容 LLVM,能够精确的经过设备做主动优化,生成的底层算子对核算设备十分友爱。

  Jittor 共同管理 GPU 和 CPU 的内存。当深度学习耗尽 GPU 内存资源时,将用 CPU 内存补偿。

  Jittor 一起供给同步接口和异步接口,用户都能够一起享用同步接口的易用性和异步接口的高效性。

  运用辅佐转化脚本,PyTorch 代码能够直接转化成 Jittor 模型。在参数保存和数据传输上,Jittor运用和 PyTorch 相同的 Numpy+pickle 协议,二者的模型能够彼此加载和调用。

  功能逾越 Pytorch

  尽管这是清华大学第一次发布开源机器学习结构,但与世界干流渠道比较,Jittor 豪不差劲。现在 ResNet、VGG、SSD、DeepLab、LSGAN 等多个网络模型现已在 Jittor 渠道完成,可供用户运用。与同类型结构比较,Jittor 在收敛精度共同情况下,推理速度取得了 10%-50% 的功能提高 。

  现在,Jittor 得到了国家自然科学基金项目、北京信息科学与技能国家研究中心团队项目和清华-腾讯联合实验室项目的赞助和支撑。

【 注:图片来自:Pixabay 一切者:Gerd Altmann 】

  开源超级玩家

  开源,特别是人工智能范畴的开源,逐步成为归纳实力的标志。清华在这方面有着独特的优势。

  首要,是在人工智能范畴的学术传承。2019 年,清华人工智能研究院动作一再,在张钹院士的带领下,4 月建立听觉智能研究中心,由郑方教授担任主任,5 月建立根底理论研究中心,朱军任主任,在根底算法、AI 结构、AI 运用、数据资源等方面早已布好根底。

  第一代院士打好根底,第二代教师构成了中坚力量。此次冷艳推出的计图(Jittor),牵头人便是清华大学核算机系的胡事民教授,1969 年生人,正归于中坚,而开发团队的主体,正是他带领的图形学实验室的一批博士生。今日出生的计图更难免让人想到当年的清华结业生贾扬清,他在加州大学伯克利分校攻读博士期间创建了 Caffe 项目。

  清华大学自然言语处理实验室(THUNLP)也有一个闻名的开源项目,叫 OpenNRE。[2] 这是一个在自然言语处理里进行联系提取的开源结构,能够用于扩展常识图谱,是引荐系统、搜索引擎、问题解答这些运用的根底和关键技能。

  实验室由孙茂松教授领衔,带出了一批主干教师,以及本硕博的尖子。THUNLP 在 GitHub 上得到的 star,现已跟全球最强的斯坦福 NLP 小组的 star 差不多了。

  由此带出的第三代学生队伍也人才辈出。清华姚班自不必说,上一年以本科人才培育闻名的姚期智教授又开设智班,要点培育人工智能范畴的后备军。

  姚班结业,现在在 MIT 就读的博士生胡渊鸣,规划、完成了 Taichi 编程言语及其优化编译器,后生可畏。[3]

  别的,清华和企业以实验室方式的协作,硕果累累,招引了像张亚勤、沈向洋这样的大师级科学家参加。

  比方,清华和微软研究院协作了 Convlab 开源端到端对话系统 [4],和美团协作了视频动作剖析的开源数据集 COIN [5]。

  上一年,清华-伯克利深圳学院更是建立了“RISC-V 世界开源实验室”,直接将图灵奖得主、最早提出“精简指令集”(RISC)系统的大卫·帕特森(David Patterson)引进,抓住了开源和源创的源头,有可能在芯片范畴构成新的开源 CPU 生态系统,打造国家重器。

  引证来历:

  [1] Jittor

  官网:https://cg.cs.tsinghua.edu.cn/jittor/

  github:https://github.com/Jittor/Jittor

  [2] OpenNRE ,https://github.com/thunlp/OpenNRE

  [3] Taichi ,https://github.com/yuanming-hu/difftaichi

  [4] Convlab ,https://convlab.github.io/

  [5] COIN ,https://coin-dataset.github.io/

  

“如果发现本网站发布的资讯影响到您的版权,可以联系本站!同时欢迎来本站投稿!