人工智能芯片技术白皮书 2018 White Paper on AI Chip Technologies White Paper on AI Chip Technologies 目录 北京未来芯片技术高精尖创新中心 01 1 前言 01 1.1 背景与意义 02 1.2 内容与目的 03 2 AI 芯片的关键特征 03 2.1 技术总述 04 2.2 新型计算范式 05 2.3 训练和推断 05 2.4 大数据处理能力 06 2.5 数据精度 06 2.6 可重构能力 06 2.7 软件工具 07 3 AI 芯片发展现状 08 3.1 云端 AI 计算 09 3.2 边缘 AI 计算 10 3.3 云和端的配合 11 4 AI 芯片的技术挑战 12 4.1 冯·诺伊曼瓶颈 13 4.2 CMOS 工艺和器件瓶颈 15 5 AI 芯片架构设计趋势 15 5.1 云端训练和推断：大存储、高性能、可伸缩 17 5.2 边缘设备：把效率推向极致 18 5.3 软件定义芯片 19 6 AI 芯片中的存储技术 20 6.1 AI 友好型存储器 20 6.2 片外存储器 21 6.3 片上（嵌入型）存储器 22 6.4 新兴的存储器 23 7 新兴计算技术 23 7.1 近内存计算 24 7.2 存内计算（In-memory Computing） 24 7.3 基于新型存储器的人工神经网络 25 7.4 生物神经网络 26 7.5 对电路设计的影响 27 8 神经形态芯片 28 8.1 神经形态芯片的算法模型 29 8.2 神经形态芯片的特性 29 8.2.1 可缩放、高并行的神经网络互联 30 8.2.2 众核结构 31 8.2.3 事件驱动 31 8.2.4 数据流计算 32 8.3 机遇与挑战 33 9 AI 芯片基准测试和发展路线图 35 10 展望未来 37 参考文献 40 索引 人工智能芯片技术白皮书（2018） 编写委员会主席 尤 政 中国工程院院士 清华大学 魏少军 IEEE Fellow 清华大学 编写委员会副主席 吴华强 清华大学 邓 宁 清华大学 编写委员会成员（按姓氏笔划排序） 尹首一 清华大学 王 玲 清华大学 朱 晶 北京半导体行业协会 刘勇攀 清华大学 杨建华 马萨诸塞大学 杨美基 IEEE Fellow 香港应用科技研究院 吴臻志 清华大学 汪 玉 清华大学 张孟凡 IEEE Fellow 台湾新竹清华大学 陈 安 半导体研究联盟 陈怡然 IEEE Fellow 杜克大学 郑光廷 IEEE Fellow 香港科技大学 胡晓波 IEEE Fellow 圣母大学 唐 杉 新思科技 黄汉森 IEEE Fellow 斯坦福大学 凡德·斯皮格尔 IEEE Fellow 宾夕法尼亚大学 谢 源 IEEE Fellow 加利福尼亚大学圣巴巴拉分校 中心介绍 北京未来芯片技术高精尖创新中心成立于 2015 年 10 月，是北京 市教委首批认定的“北京高等学校高精尖创新中心”之一。中心充分发 挥清华大学的学科、科研和人才优势，联合校内多个院系资源，组建了 微电子、光电子及柔性集成、微系统、类脑计算、基础前沿、综合应用 六个分中心以及微纳技术支撑平台。中心主任由清华大学副校长尤政院 士担任。中心以服务国家创新驱动发展战略和北京市全国科技创新中心 建设为出发点，致力于打造国家高层次人才梯队、全球开放型微纳技术 支撑平台，聚焦具有颠覆性创新的关键器件、芯片及微系统技术，推动 未来芯片产业实现跨越式发展。 1 前言 1.1 背景与意义 人工智能 (Artificial Intelligence，英文缩写为 AI)，是研究、开发用于模拟、延伸和扩展人类智能的理论、 方法、技术及应用系统的一门科学技术。人工智能的本质是对人类思维过程的模拟。从 1956 年正式提出 “人工智能”概念算起，在半个多世纪的发展历程中，人们一直在这一领域进行长期的科学探索和技术攻坚， 试图了解智能的实质。和任何曾经处于发展过程中的新兴学科一样，人工智能早期发展并非一帆风顺，它 曾受到多方质疑，不断经历起伏。近些年，大数据的积聚、理论算法的革新、计算能力的提升及网络设施 的演进，使得持续积累了半个多世纪的人工智能产业又一次迎来革命性的进步，人工智能的研究和应用进 入全新的发展阶段。 当前，人工智能正逐渐发展为新一代通用技术，加快与经济社会各领域渗透融合，已在医疗、金融、安防、 教育、交通、物流等多个领域实现新业态、新模式和新产品的突破式应用，带动生产流程、产品、信息消 费和服务业的智能化、高附加值转型发展。人工智能已处于新科技革命和产业变革的核心前沿，成为推动 经济社会发展的新引擎。 实际上，人工智能产业得以快速发展，无论是算法的实现、海量数据的获取和存储还是计算能力的体 现都离不开目前唯一的物理基础——芯片。可以说，“无芯片不 AI”，能否开发出具有超高运算能力、符合 市场需求的芯片，已成为人工智能领域可持续发展的重要因素。 北京未来芯片技术高精尖创新中心 1 1. 前言 尽管全球人工智能产业还处于初 期发展阶段，但随着政府和产业界的 积极推动， 人工智能技术在大规模产业 అਦۢ࣊ అਦ᧛ᚸ 化应用方面突飞猛进，在算法和芯片 అᑟࠒࡐ అᑟ߷᫹ 等人工智能基础技术层面积累了强大 的技术创新，这些成果未必能即时商 ᒭ˟ ̡఻̔૱ అᑟӞႥ ௄̡ጇፒ అᑟᆶ͈ 业化，但对未来科技的影响深远。 ᡵ޵ʹ ᅼគڏ៨ Ѭౢ଎ေ ੿షऄၹ 为了更好地厘清当前 AI 芯片领域 ឦ˧Ѭౢ ࣱԼ 的发展态势，进一步明确 AI 芯片在新 అᑟ఻٨̡ ௄̡ᭆ׬ ឦᮃគѿ ຉՌܙू 技术形势下的路线框架、关键环节及 అᑟ 应用前景，北京未来芯片技术高精尖 ᘿલဘࠄ ᝠካ఻᜽ᝀ అᑟथവ 创新中心根据学术界和工业界的最新 ᒭүᰂ᯺ ۳ᆩࡏὉ"*ᔇྟ అਦஔᐲ అᑟᢼᐏ 实践，邀请国内外 AI 芯片领域的顶尖 ੿షࡏ 研究力量，共同开展《人工智能芯片 技术白皮书》的编制工作。 ऄၹࡏ 图表 1-1 AI 产业结构和技术栈 1.2 内容与目的 本文主要包括九方面内容 ：第 1 章为发展 AI 芯片产业的战略意义以及白皮书基本内容概述。第 2 章综 述了 AI 芯片的技术背景，从多个维度提出了满足不同场景条件下 AI 芯片和硬件平台的关键特征。第 3 章 介绍近几年的 AI 芯片在云侧、边缘和终端设备等不同场景中的发展状况，总结了云侧和边缘设备需要解决 的不同问题，以及云侧和边缘设备如何协作支撑 AI 应用。第 4 章在 CMOS 工艺特征尺寸逐渐逼近极限的 大背景下，结合 AI 芯片面临的架构挑战，分析 AI 芯片的技术趋势。第 5 章讨论了建立在当前 CMOS 技 术集成上的云端和终端 AI 芯片架构创新。第 6 章主要介绍对 AI 芯片至关重要的存储技术，包括传统存储 技术的改进和基于新兴非易失存储（NVM）的存储器解决方案。第 7 章重点讨论在工艺、器件、电路和存 储器方面的前沿研究工作，和以此为基础的存内计算、生物神经网络等新技术趋势。第 8 章介绍神经形态 计算技术和芯片的算法、模型以及关键技术特征，并分析该技术面临的机遇和挑战。第 9 章主要讨论 AI 芯 片的基准测试和技术路线图的相关问题。第 10 章展望 AI 芯片的未来。 在人工智能热潮面前，本文一方面希望与全球学术和工业界分享 AI 芯片领域的创新成果 ；另一方面希 望通过对 AI 芯片的技术认知和需求的深入洞察，帮助相关人士更加清晰地了解 AI 芯片所处的产业地位、发 展机遇与需求现状，通过对 AI 芯片产业现状及各种技术路