光学神经网络代替深度学习物理平台的可行性受到了广泛的关注
当前,深度学习在越来越多的任务上超越了人类,涉及的领域包括游戏、自然语言翻译、医学图像分析。然而,电子处理器上训练和运行深度神经网络的高能量成本阻碍了深度学习的进步空间。因此,光学神经网络代替深度学习物理平台的可行性受到了广泛的关注。
理论上,光学神经网络比部署在常规数字计算机上的神经网络具有更高的能源效率。在最近的一项研究中,来自美国康奈尔大学等的研究者们证明了,光学神经网络可实现在手写数字分类上的极高准确度:其中,在权重相乘中使用约 3.2 个检测到的光子使得准确度达到了 99%,而仅使用约 0.64 个光子(约 2.4×10^-19 J 光能)就能达到 90%以上的准确度。
该研究的实验结果是通过自定义的自由空间光学处理器所实现的,该处理器可以执行大规模并行矩阵矢量乘法运算,最多可同时执行约 50 万次标量(权重)乘法。
使用市售的光学组件和标准的神经网络训练方法,光学神经网络可以在标准量子极限附近通过极低的光功率达到很高的精度。这样的结果证明了低光功率操作的原理,并为实现光学处理器开辟了一条道路:只要仔细设计用于数据存储和控制的电子系统,每个标量乘法只需要 10^-16 J 的总能量,这要比当前的数字处理器高效好几个数量级。
大规模光学矩阵向量相乘
在光学矩阵矢量乘法器中实现能量优势的关键是尽可能放大要相乘的矩阵和向量。被放大后,大规模的乘法和累加操作就可以完全在光学领域并行执行,而且电子和光信号之间的转换成本有缓冲空间。在光学中,有几种不同的方法来实现并行操作:波长多路复用、光子中的集成电路空间多路复用和 3D 自由空间光学处理器中的空间多路复用。
迄今为止,在所有多路复用方法和架构中,模拟 ONN 都使用较小的向量 - 向量点积(作为实现卷积层和完全连层的基本操作)或矩阵向量乘法(用于实现完全连接的层),将向量限制最多 64 维(远低于 10^3),这也是光处理器能耗高于理论预测的根本原因。
因此,运用了可以进行大规模矩阵矢量乘法的 3D 自由空间光学处理器,研究者构建了如下图 a 所示的 ONN 架构,用每次标量相乘少于一个光子进行图片分类,达到了 ONN 的量子限制理论效率峰值。
研究者设计和构造的光学处理器使用以下方案执行矩阵向量乘法图片:
把输入向量 ~x 的每个元素 x_j 编码为一个光源像素照射的单独空间模式强度; 把每个矩阵元素 w_ij 编码为调制器像素的透射率; 使用有机发光二极管(OLED)显示器作为光源; 使用空间光调制器(SLM)进行强度调制。
矩阵向量乘法是通过三个物理步骤计算的:
扇出:输入向量的元素在空间上排列为 2D 块(图 1b,左上方)。代表输入向量图片的 2D 块被复制了与矩阵 W 中的行数相等的次数,然后平铺在 OLED 显示上,如图 1b 所示(顶行)。 逐项积:将编码单个标量元素 x_j 的每个 OLED 像素对齐并成像到 SLM 上的相应像素,其透射率设置为∝w_ij,执行标量乘法 w_ij x_j(图 1b 底部中间)。 光学扇入:将每个块的强度调制像素通过将其透射的光聚焦到检测器上进行物理求和。撞击在第 i 个检测器上的光子总数与矩阵向量乘积 y 的元素 y_i 成正比(图片)(图 1b 右下)。每个 y_i 可以解释为输入向量图片与矩阵 W 的第 i 行之间的点积。
当光通过设置,矩阵向量乘法中涉及的所有标量乘法和加法被并行计算完成。向量元素在光强度中的编码将设置限为使用矩阵和具有非负元素的向量执行矩阵向量乘法。而且,该系统还可以用于对具有正负的元素的矩阵和向量执行矩阵向量乘法,方法是使用偏移量和缩放比例将计算转换为仅涉及非负数的矩阵向量乘法。
对于系统计算的每个向量 - 向量点积,将与逐项积相对应的空间模式聚焦到单个检测器上,来进行逐项积的求和。因此,检测器的输出与点积答案成正比,其信噪比(SNR)在散粒噪声极限下缩放为√N。如果向量足够大,那么即使每个空间模式的平均光子数都远小于 1,撞击到检测器上的光子总数也可能远远大于 1,因此正如图 1c 所示,精确地读出了点积答案是可能的。
亚光子点积的精度
为了了解系统在低光功耗情况下的实际性能,研究者在调整光子的数量的同时描述其准确性。在第一个表征实验中,研究者计算了随机选择的向量对的点积(图 2a),将通过点积计算得到的表征结果直接应用于通用矩阵向量乘法的设置(看作向量 - 向量点积计算)。
而点积计算的答案是标量,因此只需使用单个检测器,编码点积答案的光信号由能够分辨单个光子的灵敏光电检测器测量。通过改变检测器的积分时间并在 OLED 显示后立即插入中性滤光片,可以控制每个点积所使用的光子数。
如上图 2b 所示,为了证明设置可以基于大尺寸向量使用每个标量乘积少于 1 个光子的计算,研究者测量了尺寸约为 50 万的向量之间点积的数值精度。每个标量乘法 0.001 个光子的情况下,测得的误差约为 6%,导致此误差的主要因素是检测器的散粒噪声。随着增加所使用的光子数量,误差逐渐减小,直到在每次乘法 2 个或以上光子时达到大约 0.2%的最小误差。
为了使实验获得的模拟数字精度与数字处理器中的数字精度之间能够进行对比,研究者将每个测得的模拟误差百分比解释为对应于计算出的点积答案的有效位精度。使用度量噪声等效位的模拟 RMS 误差 6%对应于 4 位,而 0.2%RMS 误差则对应于大约 9 位。
研究者还证实了,当每个标量乘法使用较少数量的光子时,可以计算出较短向量之间的点积(图 2c)。对于每次乘法范围为 0.001 至 0.1 个光子的光子预算,无论所测试的所有向量有多大,数值误差都由散粒噪声决定。当使用的光子数量足够大时,误差不再由散粒噪声控制,这与图 2b 中所示的单向量大小结果一致。对于测试的每个光子预算,较大向量之间的点积误差较低。这可能是因为较大向量之间的点积涉及了更大量项的有效平均。
使用亚光子乘法的 ONN
由于使用非常有限的光子预算,导致了乘法误差。为了确定 ONN 可以容忍多少误差,研究者运行经过训练的神经网络,并根据使用的光子数量来测量分类精度。
如下图 3a 所示,研究者将带有 MNIST 数据集的手写数字分类作为基准任务,并训练了一个具有用于低精度推理硬件(量化感知训练)的反向传播的四层全连接多层感知器(MLP)。
研究者首先评估了 MNIST 数据集中 5 个不同光子预算下的前 130 个测试图像:每个标量乘法的光子分别为 0.03、0.16、0.32、0.64 和 3.2 个光子(图 3b 中间图橙色点)。
然后他们发现了每次乘法使用 3.2 个光子会导致~ 99%的分类精度(图 3b 右上),几乎与在数字计算机上运行的同一训练过的神经网络的精度(99%)相同。在亚光子状态下,每个乘法使用 0.64 个光子,ONN 达到大于 90%的分类精度(图 3b 中上)。
实验结果与遭受散粒噪声的 ONN 所执行的同一神经网络的仿真结果非常吻合(图 3b 中间面板,深蓝色线)。如图 3b 所示,为了达到 99%的精度,每次推断手写数字所检测到的总光能约为 1 pJ。对于这些实验中使用的权重矩阵,平均 SLM 透射率约为 46%。
因此,当考虑到 SLM 不可避免的损耗时,每次推断所需的总光能约为 2.2 pJ。而 1 pJ 接近电子处理器中仅用于一个标量乘法的能量,而研究者的模型每次推断需要 89,400 标量乘法。
康奈尔大学的研究者使用标准的神经网络模型架构和训练技术,无须执行任何重新训练就可以运行模型。软件和硬件开发的成功分离也表明,研究者的光学神经网络(ONN )在无需对 ML 软件的工作流程进行任何重大更改的条件下,可以替代其他更传统的神经网络加速器硬件。
同时,这些研究结果表明,光学神经网络在原理上比电子神经网络具有更多基本的能量优势。光学神经网络可以在光子预算体制下运行,其中标准量子极限(即光学散粒噪声)决定了可达到的精度。
相关阅读
-
SK集团计划明年在韩国投资73万亿韩元中...
9月14日消息,据国外媒体报道,韩国资产规模第二大的企业集团SK,已... -
全球首个!百度发布产业级超导量子计算...
量子计算几乎迷住了所有人,但它从实验室走向产业化,不是件容易的... -
集成电路发展又进一步 可利用芯片上控...
美国哈佛大学科学家在最新一期《自然·电子学》杂志上撰文指出,他... -
中国首个桌面操作系统开发者平台发布 ...
美国哈佛大学科学家在最新一期《自然·电子学》杂志上撰文指出,他... -
网龙CEO熊立揭秘“元宇宙+教育”新技术
元宇宙+教育该怎么玩?6月23日,北京商报记者与网龙CEO熊立展开对话... -
元宇宙硬件、头显业务放缓,2022年出货...
据国外媒体报道,天风国际分析师郭明錤发布推特称,Meta的元宇宙硬...
精彩推送
-
钉钉oa审批是什么意思?钉钉oa申请在哪...
钉钉oa审批是什么意思?oa审批是审批自动化的意思。它能够大大提高工... -
天猫积分怎么进行兑换?天猫积分兑换火...
天猫积分怎么进行兑换?1、首先我们打开淘宝app,点击右下角我的淘宝... -
b站硬币怎么换算人民币?b站的硬币怎么...
b站硬币怎么换算人民币?1硬币=1人民币,在哔哩哔哩网站中,1个硬币等... -
高通骁龙778g相当于什么水平?最新高通...
高通骁龙778g相当于什么水平?相当于麒麟990或天玑1000+处理器的水平... -
搜狗输入法如何输入日文?搜狗输入法怎...
搜狗输入法如何输入日文?一、电脑版1、首先点击最右边的工具箱按钮... -
最新海信电视投屏详细教程?海信电视机...
最新海信电视投屏详细教程?一、安卓手机1、首先,我们要将手机和电... -
路由器怎样重新设置wifi密码电脑?路由...
路由器密码忘了怎么重新设置密码?路由器怎样重新设置wifi密码电脑?... -
指定的网络名不再可用怎么办?指定的网...
指定的网络名不再可用怎么办?当我们在共享网络访问的时候,可能会遇... -
七彩虹显卡驱动如何下载?七彩虹显卡驱...
七彩虹显卡驱动如何下载?七彩虹显卡驱动怎么下载1、浏览器搜索七彩... -
windows10哪个版本最稳定好用?windows1...
windows10哪个版本最稳定好用?win10系统主要分为7个版本,4个PC端和... -
yy怎么创建自己的频道?手机yy怎么进入...
yy怎么创建自己的频道?1、首先我们打开yy,可以看到右边有一个列表... -
javascriptvoidO具体是什么意思?javasc...
javascriptvoidO具体是什么意思?我们在使用或者是学习javascript编... -
微信红包封面序列号大全?微信红包最大...
微信红包封面序列号大全?2023新年最新序列号:先到先得,抢完为止:... -
multipleeditions具体是什么版本?微软...
multipleeditions具体是什么版本?微软的windows系统涵盖了许多种版... -
出现0xc0000142的修复方法?0xc0000142...
出现0xc0000142的修复方法?0xc0000142怎么修复:方法一:1、按下win... -
wmiproviderhost进程详细介绍?wmiprvse...
wmiproviderhost进程详细介绍?最近很多用户在使用电脑的时候发现了w... -
声卡驱动具体安装教程是什么?声卡驱动...
声卡驱动具体安装教程是什么?声卡驱动安装教程方法一:1、右击计算... -
最新迅雷链接的前缀格式介绍?迅雷链接...
最新迅雷链接的前缀格式介绍?迅雷前缀是什么答:迅雷前缀是(magnet:... -
超星学习通网页版学生登录入口?学习通...
超星学习通网页版学生登录入口?学习通是常用的学习工具,可以随时进... -
百度网盘下载的文件在哪个位置?百度网...
百度网盘下载的文件在哪个位置?使用百度网盘下载了一些文件以后,很... -
ntfs和fat32具体有什么区别详情?ntfs和...
ntfs和fat32具体有什么区别详情?ntfs和fat32的区别介绍一、支持分区... -
百度搜有惊喜具体是什么意思?百度搜索...
百度搜有惊喜具体是什么意思?在这个夏日大家肯定都听说了百度搜有惊... -
雷蛇驱动具体可以在哪下载?雷蛇驱动注...
雷蛇驱动具体可以在哪下载?雷蛇驱动主要就是给雷蛇的产品用户进行设... -
迅雷2023最新的免费账号分享?迅雷播放...
迅雷2023最新的免费账号分享?很多使用迅雷观看视频的小伙伴因为没有... -
快用苹果助手使用起来怎么样?苹果手机...
快用苹果助手使用起来怎么样?快用苹果助手还是很不错的。快用苹果助... -
qq游戏安装不了怎么办?qq游戏安装包具...
qq游戏安装不了怎么办?方法一:1、首先确认我们电脑里之前有没有安... -
自己如何制作游戏的详细教程?制作游戏...
自己如何制作游戏的详细教程?一、准备阶段1、首先,我们需要了解自... -
怎么改个有意义的微信号id?微信号id可...
怎么改个有意义的微信号id?用户默认的微信号是自动生成的乱码没有任... -
bartender如何打印连续条码标签?连续条...
bartender如何打印连续条码标签?1、首先打开软件,然后创建一个条形... -
笔记本小键盘关闭方法是什么?笔记本小...
笔记本小键盘关闭方法是什么?很多的用户们在使用笔记本的时候,经常... -
怎么把qq秀设置成空白形象?腾讯qq秀为...
怎么把qq秀设置成空白形象?1、打开QQ秀之后点击我的QQ秀,选择历史... -
魔兽大脚插件设置反和谐详细教程?魔兽...
魔兽大脚插件设置反和谐详细教程?方法一:1、进入游戏之后点击原汁... -
最新声卡驱动安装详细教程?声卡驱动安...
最新声卡驱动安装详细教程?很多小伙伴打开电脑的时候,发现没有声音... -
foxconn主板n15235到底好不好?foxconn...
foxconn主板n15235到底好不好?许多用户对于富士康的主板不是很了解... -
如何把百度设为主页面教程?手机百度怎...
如何把百度设为主页面教程?很多朋友上网就喜欢使用百度来搜索内容,... -
小米miui12申请答题答案是什么?小米miu...
小米miui12申请答题答案大全?小米miui12申请答题答案是什么?PS:电... -
lol客户端版本无效是怎么回事?lol客户...
lol客户端版本无效是怎么回事?很多用户都喜欢玩英雄联盟游戏,为了... -
龙芯、海光、鲲鹏等国产芯片厂商,发展...
在国家大力鼓励国产高科技企业,在芯片等高端产业实现突破与自主研... -
掠夺者阿什(掠夺者科拉克)-热闻
大家好,小福来为大家解答以上的问题。掠夺者阿什,掠夺者科拉克这个很 -
洗眼镜超声波清洗机_洗眼镜 世界实时
1、可以,现在差不多所有的眼镜店都有免费清洗眼镜的服务,眼镜店铺都会 -
“中国天眼”,有新发现_焦点热门
“中国天眼”发现迄今轨道周期最短脉冲星双星系统(中科院国家天文... -
每日焦点!余承东曾预告!中国自动驾驶...
余承东曾预告!中国自动驾驶迎来大进展:官方首次表态L3商用 -
天天快讯:新一轮“倒水”模式开启 广西...
(陈钦荣贾恒莫晓姣莫柳萍)端午假期,广西开启新一轮“倒水”模式。... -
泰国副总理向华为颁发“人才发展最佳贡...
中新社曼谷6月22日电(记者李映民)当地时间6月22日,泰国副总理兼外交部 -
北方或现今年来最长连续高温,天津发布...
人民日报健康客户端记者王艾冰 6月21日开始至28日,新一轮高温天气卷 -
每日关注!收集群众意见建议200余条 相...
苏报讯(驻相城区记者李刚)聚焦民生服务,助力党群共治。今年以来 -
前面第一辆入手比亚迪唐dm,到现在不到...
前面第一辆入手唐dm,到现在不到三年四万五千公里了。除了导航的时候屏 -
课堂教学有效性研究的研究_课堂教学有效...
课堂教学有效性研究的研究,课堂教学有效性研究这个很多人还不知道,现 -
当前焦点!葛斯齐曝药贩子和大小S找中间...
台湾演艺圈近日好戏连连,因性骚扰形象破产的黄子佼,直接拉大小S、具 -
【网络中国节·端午】军港之夜精彩纷呈...
浓浓端午军港之夜——2023年湛江市端午节主题活动文艺表演现场。浓... -
每日播报!华为p10相片文件夹_华为p10录...
1、录音文件存储路径:当默认存储位置设置为外置存储卡时,在“文件... -
全球消息!5月份快递业务量达109.9亿件...
记者21日从国家邮政局获悉,1—5月,中国邮政行业寄递业务量累计完成60 -
江苏有线:海门分公司中标海门区公安智...
【江苏有线:海门分公司中标海门区公安智慧监控联网工程项目】据江苏有 -
世界新动态:订单爆了?日产就奇骏e-POW...
订单爆了?日产就奇骏e-POWER发布情况说明:满30天未提车获补偿 -
科学填报志愿,完成高考“最后一搏”
高考是一场持久战。考前的长期准备,考时的集中攻坚,考后的志愿填报, -
无棣卤虫卵_关于无棣卤虫卵介绍
1、无棣卤虫卵。2、山东省滨州市无棣县特产。3、全国农产品地理标志。 -
环球消息!零百加速10秒内 新款广汽丰...
零百加速10秒内新款广汽丰田Mirai上市:74 8万、一箱氢能跑781km -
炒股高手必备技能——k线分析!哪些方面...
股市有这样一句话“三流水平听消息,二流水平拼技术,一流水平看盘... -
鹤峰容美:艾草飘过端午节 世界快看点
鹤峰容美:艾草飘过端午节---湖北日报客户端讯(何启发杜雪平)端午节 -
环球今热点:前5个月天津口岸进出口增长...
据天津海关统计,今年前5个月,天津口岸累计进出口8121亿元,比去年同 -
【天天热闻】百合属植物有哪些_金百合 ...
金百合(学名:Liliumbosniacum):鳞茎卵球形,直径6-7厘米,黄色。茎 -
每日头条!山西一学校发生校园欺凌事件,...
央视网消息:据@平安杏花岭微博消息,太原市公安局杏花岭分局6月22日通 -
天天时讯:非遗传承闹端午 龙舟胜会迎亚运
非遗传承闹端午龙舟胜会迎亚运杭州网发布时间:2023-06-2215:45杭州新 -
城厢开展“浓浓粽子香 心系后院情”端...
东南网莆田6月22日讯6月21日,莆田市城厢区退役军人事务局、区双拥办联 -
券商投教分类评估落地!头部跑步冲A“终...
华夏时报记者王兆寰北京报道 2023年过半,证券行业的评估与审核接踵 -
天天热门:范方升_关于范方升的简介
音频解说1、范方升,湘乡市住房和城乡建设局党委委员、副局长(副主任 -
泛海控股连续十二个月累计涉诉金额约6.5...
泛海控股连续十二个月累计涉诉金额约6 548亿元,占净资产11 99%,股权, -
飞轮海12年后巨大差距 天天热推荐
炎亚纶承认与未成年发生关系,多少人的童年滤镜破灭了?6月20日晚,炎 -
阿托伐他汀服用剂量_阿托伐他汀为什么睡...
1、阿托伐他汀为什么睡前服用、他汀类药物作用于胆固醇合成,主要在肝 -
宝丰:巡察见真章 整改促发展
大河网讯“感谢巡察组为我们学校指出污水处理、食堂卫生等存在的安... -
快看:没松脚刹 女子驾驶日产奇骏隧道...
没松脚刹女子驾驶日产奇骏隧道内狂飙:后轮锁死不转干磨 -
快讯:浓情端午共安康 手工热粽送司乘
悠悠艾草青,浓浓粽叶香。端午节前,陕西交控靖富分公司组织各管理所、 -
林心如“毁容式”近照曝光,一夜变老,...
01果然,天下的乌鸦一般黑。这不,湾省的娱乐圈近期就连番地震了。前有 -
两部门:优化研发费用加计扣除申报方式...
国家税务总局、财政部6月21日发布公告,明确进一步优化研发费用加计扣 -
最新:自信比肩BBA 丰田皇冠SportCross...
自信比肩BBA丰田皇冠SportCross上市:36 9万比预售一分不少! -
红景天的功效与作用的(红景天的功效与...
景天的功效与作用的,红景天的功效与吃法这个问题很多朋友还不知道,来 -
国信申设“资管子”获六项反馈意见 券...
21世纪经济报道记者李域深圳报道 券商资管子公司的设立正在加速。 -
天天时讯:这名“女老大”为首犯罪团伙...
据蚌埠市公安局龙子湖分局官方微博消息,近日,刑警二队打掉了以王海燕 -
你吃过的最奇怪的粽子,是什么?
又要到了中国的传统节日端午节,今年你打算吃什么粽子?关于粽子,相信 -
环球新消息丨龙虎游戏外挂网站_游戏外挂...
1、有西西外挂网病毒多了点。本文就为大家分享到这里,希望小伙伴们会 -
环球动态:qq将最近在玩关掉的操作流程讲述
QQ可以说是很多年轻朋友常用的聊天工具,但是最近几天有网友爆料说在使 -
青岛即墨:防溺水 迎暑假
6月21日,山东青岛市即墨区潮海第四小学开展“珍爱生命,预防溺水”... -
斯佩伯爵六级船令人犯难
斯佩伯爵六级船令人犯难 -
市卫生健康委:全方位全周期保障人民群...
昨天(6月21日),在市政府新闻办召开的天津市十项行动见行见效主题系 -
最便宜的理想SUV曝光,售价30万内又将成...
要不说李想有狂的底气呢,早在几年前,理想汽车硬是靠着理想ONE一款车 -
每日快讯!信丰科技创新促高质量发展
近日,由江西绿萌科技控股有限公司创新研发的果蔬采后品质智能分级与商 -
msdn是什么东西_msdn是什么-当前简讯
想必现在有很多小伙伴对于msdn是什么方面的知识都比较想要了解,那么今 -
环球微资讯!不止封杀老头乐!北京拟禁...
不止封杀老头乐!北京拟禁售加装车篷改装座位电动车:很危险 -
碾压谷歌、斯坦福大学!CVPR最佳论文颁...
碾压谷歌、斯坦福大学!CVPR最佳论文颁给中国自动驾驶大模型:近10年首 -
百变大侦探人间客凶手是谁 人间客剧本...
百变大侦探人间客剧本杀答案是什么?最新的剧本杀人间客有四个章节,这 -
资源力量沉下去 服务影响立起来
团江西省上饶市铅山县委书记王郑杨能从很多角度证明“工作越来越顺... -
深圳比较大的论坛_深圳最有影响力的论坛...
1、深圳论坛(szbbs cn)是由一群热爱互联网的年轻人创办、维护和运营的 -
福特CEO:特斯拉Cybertruck好看不中用、...
福特CEO:特斯拉Cybertruck好看不中用、对F-150构不成威胁 -
每日热议!毕夏在张恒远墓地前大哭画面曝...
6月13日,歌手张恒远因黑色素瘤去世,年仅36岁,他的葬礼仪式在6月18日 -
交通银行无锡分行:以调查研究“疏渠引...
自主题教育开展以来,交通银行无锡分行将调查研究作为转变工作作风、密 -
华晨破产重整方案敲定:沈阳汽车拟获三...
华晨破产重整方案敲定:沈阳汽车拟获三家上市公司控制权 -
世界热资讯!丰田最贵“大面包”上新!...
丰田最贵“大面包”上新!全新一代埃尔法、威尔法上市:89 9万起 -
网红pdd在哪直播(PDD要去虎牙直播了 ...
hello大家好,我是城乡经济网小晟来为大家解答以上问题,网红pdd在哪直 -
洪都拉斯政府法医部门当地时间21日发布...
洪都拉斯政府法医部门当地时间21日发布公告说,此前一天在该国首都特古 -
新能源免购置税又延了4年:但这次就不爽了
新能源免购置税又延了4年:但这次就不爽了