7 Papers | 清华天机芯片;非侵入式脑机接口;ACL 2019论文

机器整理的核心

参与:一鸣

本周有许多值得关注的非常重要的研究,如清华大学提出的一般人工智能芯片,Facebook提出的非侵入式脑机接口,以及ACL 2019的最佳长短文。干货已满,欢迎读者阅读。

目录:

迈向混合的人工智能
评估最先进的演讲者承诺模型EURIE 2.0:语言理解的持续预训练框架DropAttention:全连接自注意网络的正则化方法

作者:裴沛,雷磊,宋松,赵明国,张有辉,吴爽,王冠瑞,邹哲,吴振之,魏薇,冯辰,邓宁,吴思,王宇,吴玉杰,杨哲宇,程马,李国奇,韩文涛,李黄龙,吴华强,赵荣,袁燮,卢平石文章链接:

1. Towards artificial general intelligence with hybrid Tianjic chip architecture:在这个阶段,开发人工一般智能有两种主要方法:一种是基于神经科学,它可以无限地模拟人类大脑;另一种是以计算机科学为导向,允许计算机运行机器学习算法。实现人工智能的最终目标是将两者结合起来,但由于两个系统使用的平台不同且不兼容,极大地限制了人工一般智能的发展。在论文中,研究人员开发了一种结合了上述两种方法的电子芯片。他们的混合芯片具有多个高度可重新配置的功能核心,支持机器学习算法和类似大脑的电路。作者用无人自行车系统验证了这种混合芯片的处理能力。在测试中,无人驾驶自行车不仅可以识别语音命令,实现自平衡控制,还可以检测和跟踪前方行人,并自动避开障碍物。笔者认为,这项研究可以促进人工通用智能平台的进一步发展。

摘要:August's Nature封面文章,一个结合脉冲神经网络和人工神经网络的基本硬件架构,有效地促进了一般的人工智能研究。论文的作者来自清华大学,新加坡国立大学等,研究阵容豪华。

ERNIE 2.0模型的结构。

推荐

作者:林泽辉,刘鹏飞,黄璐瑶,陈俊坤,邱沛鹏,黄玄菁论文链接:

7. DropAttention: A Regularization Method for Fully-Connected Self-Attention Networks:变量丢失方法设计用于神经网络中的完全连接,卷积和循环层,并且已被证明可有效避免过度拟合。作为循环和卷积层的良好替代,完全连接的自注意层缺少特定的丢失方法。本文的目的是探索规范变压器中注意力的可能性,从而防止不同情境特征向量的共同适应。对一系列任务的实验表明,DropAttention可以提高性能并减少过度拟合。

摘要:复旦大学专门针对关注层提出了Dropout方法,值得参考。