代码、debug 这么大的工作量不交给 AI 来做能行?
谷歌服务包含 20 亿行代码,一辆汽车的系统包含 1 亿行代码——写代码、debug 这么大的工作量不交给 AI 来做能行?
让 AI 自动生成代码,是很多开发者的梦想,近些年来,有关这一方面的研究屡见不鲜。但要想训练一个好用的 AI,最重要的工作或许就是找到优质数据。
近日,IBM 研究院发布了一个名为 CodeNet 的数据集,该数据集包含 1400 万个代码样本,用于训练面向编程任务的机器学习模型。该数据集的主要特点包括:
迄今为止最大的编码数据集,其中包含 4000 个问题,1400 万个代码样本,50 + 种编程语言; 该数据集添加了注释,包括问题描述、内存 / 时间限制、语言、代码通过 / error 等。
IBM 希望 CodeNet 仿效大型图像数据集 ImageNet,并成为教软件理解软件开发蓝图的领先数据集。IBM 希望 CodeNet 可以用于训练具有如下功能的开发工具:
从一种编程语言转换到另一种编程语言; 代码推荐与补全; 代码优化; 搜索应用程序和库来源以查找所需例程; 将一种语言转换成另一种语言; 识别错误 / 正确的实现机制。 利用深度学习进行自动化编程
近年来,机器学习领域取得了令人瞩目的进步,AI 让多种工作任务实现了自动化,包括编程。但是 AI 在软件开发中的渗透却遇到了极大的困难。
人们在编程时通常会使用大量的有意识和潜意识思维机制发现新的问题并探索不同的解决方案。相比之下,大多数机器学习算法都需要定义明确的问题和大量带有注释的数据才能够开发出解决相同编程问题的模型。
为了解决这一难题,研究者与开发者们已经做出了很多努力,包括创建数据集和基准,以开发和评估「用于编程的 AI」系统。但是,鉴于软件开发的创造性和开放性,很难为编程创建完美的数据集。
IBM 的研究人员试图创建一个多用途的数据集,可用于训练各种任务的机器学习模型。CodeNet 的创建者将其描述为「非常大规模,多样且高质量的数据集,能够加快使用 AI 编程的步伐」。该数据集包含 1400 万个代码样本,共有用 55 种编程语言编写的 5 亿行代码,其中 C++ 是样本中使用最多的语言,Python 位居第二。这些代码样本是从提交给在线编程平台 AIZU 和 AtCoder 上的近 4,000 项挑战的提交中获得的,代码样本包括这些挑战的正确答案和错误答案。
CodeNet 项目地址:https://github.com/IBM/Project_CodeNet
CodeNet 的主要特点之一是代码样本中添加了注释。数据集中包含的每个编程挑战都有一个文本说明以及 CPU 时间和内存限制。每个代码提交都包含十几条信息,包括语言,提交日期,内存占用大小,执行时间,接受和 error 类型。为了确保该数据集在编程语言,接受和 error 类型等多个维度上保持平衡,IBM 的研究人员付出了巨大的努力。
机器学习编程任务
CodeNet 并不是训练机器学习模型来执行编程任务的唯一数据集。相比于其他数据集,CodeNet 具有以下特点:首先是数据集的规模,包括样本数量和语言的多样性;但更重要的是编码样本附带的元数据。CodeNet 中添加的丰富注释使其能够适用于多种任务,不再只是用于特定编程任务。
使用 CodeNet 开发用于编程任务的机器学习模型包括以下方式:
CodeNet 可以用来进行语言翻译任务。由于数据集中包含的每个编程挑战都包含不同编程语言的提交,因此数据科学家们可以用它来创建机器学习模型,将代码从一种语言转换成另一种语言。对于希望将旧代码移植成新语言、使新一代程序员能够访问并使用新型开发工具进行维护的人们而言,这可能很方便; CodeNet 还可以用来开发完成代码推荐任务的机器学习模型开发。推荐工具既可以像完成当前代码行的自动完成样式模型一样简单,也可以是编写完整函数或代码块的更复杂系统。
由于 CodeNet 拥有大量关于内存和执行时间指标的元数据,数据科学家也可以使用它来开发代码优化系统。或者,可以使用 error 类型的元数据来训练机器学习系统,以标记源代码中的潜在缺陷。
CodeNet 更高级的用例是代码生成。CodeNet 是一个丰富的问题文本描述库,并包含对应的源代码。已经有开发人员使用高级语言模型(如 GPT-3)从自然语言描述生成代码,CodeNet 或许能够帮助微调这些语言模型,使其在代码生成中更加一致。
IBM 的研究人员已经对 CodeNet 进行了一些实验,这些实验包括代码分类、代码相似性评估和代码补全。使用的深度学习体系架构包括简单的多层感知器、卷积神经网络、图神经网络、Transformer。
IBM 和 MIT-IBM Watson AI 实验室团队联合开发了该数据集,研究中的实验结果显示大多数任务都能获得90%以上的准确率。
论文地址:https://github.com/IBM/Project_CodeNet/blob/main/ProjectCodeNet.pdf
建立高效的机器学习系统,需付出巨大努力
IBM 的工程师们进行了大量的工作来管理 CodeNet 数据集并开发其辅助工具。
首先,研究团队需要从 AIZU 和 AtCoder 收集代码样本。二者中只有一个平台有应用程序接口(API),可以很容易地获取代码,而另一个平台没有易于访问的接口,研究团队需要开发新工具,从平台的网页上抓取数据,并将其分解成表格格式。然后研究者们需要手动将两个数据集合并到一个统一的模式中。
接下来,研究团队需要开发用于识别和删除重复代码和样本(包含大量无效代码,运行时未执行的源代码)的工具,以清除无用数据。
此外,该研究团队还开发了预处理工具,使得在 CodeNet 语料库上训练机器学习模型变得更容易,包括用于不同编程语言的 tokenizer、分析树(parse tree)和用于图神经网络的图表征生成器。
所有这些都提醒我们,要创建高效的机器学习系统,需要付出巨大的努力。人工智能要取代程序员还有很长的路要走。
相关阅读
-
SK集团计划明年在韩国投资73万亿韩元中...
9月14日消息,据国外媒体报道,韩国资产规模第二大的企业集团SK,已... -
全球首个!百度发布产业级超导量子计算...
量子计算几乎迷住了所有人,但它从实验室走向产业化,不是件容易的... -
集成电路发展又进一步 可利用芯片上控...
美国哈佛大学科学家在最新一期《自然·电子学》杂志上撰文指出,他... -
中国首个桌面操作系统开发者平台发布 ...
美国哈佛大学科学家在最新一期《自然·电子学》杂志上撰文指出,他... -
网龙CEO熊立揭秘“元宇宙+教育”新技术
元宇宙+教育该怎么玩?6月23日,北京商报记者与网龙CEO熊立展开对话... -
元宇宙硬件、头显业务放缓,2022年出货...
据国外媒体报道,天风国际分析师郭明錤发布推特称,Meta的元宇宙硬...
精彩推送
-
钉钉oa审批是什么意思?钉钉oa申请在哪...
钉钉oa审批是什么意思?oa审批是审批自动化的意思。它能够大大提高工... -
天猫积分怎么进行兑换?天猫积分兑换火...
天猫积分怎么进行兑换?1、首先我们打开淘宝app,点击右下角我的淘宝... -
b站硬币怎么换算人民币?b站的硬币怎么...
b站硬币怎么换算人民币?1硬币=1人民币,在哔哩哔哩网站中,1个硬币等... -
高通骁龙778g相当于什么水平?最新高通...
高通骁龙778g相当于什么水平?相当于麒麟990或天玑1000+处理器的水平... -
搜狗输入法如何输入日文?搜狗输入法怎...
搜狗输入法如何输入日文?一、电脑版1、首先点击最右边的工具箱按钮... -
最新海信电视投屏详细教程?海信电视机...
最新海信电视投屏详细教程?一、安卓手机1、首先,我们要将手机和电... -
路由器怎样重新设置wifi密码电脑?路由...
路由器密码忘了怎么重新设置密码?路由器怎样重新设置wifi密码电脑?... -
指定的网络名不再可用怎么办?指定的网...
指定的网络名不再可用怎么办?当我们在共享网络访问的时候,可能会遇... -
七彩虹显卡驱动如何下载?七彩虹显卡驱...
七彩虹显卡驱动如何下载?七彩虹显卡驱动怎么下载1、浏览器搜索七彩... -
windows10哪个版本最稳定好用?windows1...
windows10哪个版本最稳定好用?win10系统主要分为7个版本,4个PC端和... -
yy怎么创建自己的频道?手机yy怎么进入...
yy怎么创建自己的频道?1、首先我们打开yy,可以看到右边有一个列表... -
javascriptvoidO具体是什么意思?javasc...
javascriptvoidO具体是什么意思?我们在使用或者是学习javascript编... -
微信红包封面序列号大全?微信红包最大...
微信红包封面序列号大全?2023新年最新序列号:先到先得,抢完为止:... -
multipleeditions具体是什么版本?微软...
multipleeditions具体是什么版本?微软的windows系统涵盖了许多种版... -
出现0xc0000142的修复方法?0xc0000142...
出现0xc0000142的修复方法?0xc0000142怎么修复:方法一:1、按下win... -
wmiproviderhost进程详细介绍?wmiprvse...
wmiproviderhost进程详细介绍?最近很多用户在使用电脑的时候发现了w... -
声卡驱动具体安装教程是什么?声卡驱动...
声卡驱动具体安装教程是什么?声卡驱动安装教程方法一:1、右击计算... -
最新迅雷链接的前缀格式介绍?迅雷链接...
最新迅雷链接的前缀格式介绍?迅雷前缀是什么答:迅雷前缀是(magnet:... -
超星学习通网页版学生登录入口?学习通...
超星学习通网页版学生登录入口?学习通是常用的学习工具,可以随时进... -
百度网盘下载的文件在哪个位置?百度网...
百度网盘下载的文件在哪个位置?使用百度网盘下载了一些文件以后,很... -
ntfs和fat32具体有什么区别详情?ntfs和...
ntfs和fat32具体有什么区别详情?ntfs和fat32的区别介绍一、支持分区... -
百度搜有惊喜具体是什么意思?百度搜索...
百度搜有惊喜具体是什么意思?在这个夏日大家肯定都听说了百度搜有惊... -
雷蛇驱动具体可以在哪下载?雷蛇驱动注...
雷蛇驱动具体可以在哪下载?雷蛇驱动主要就是给雷蛇的产品用户进行设... -
迅雷2023最新的免费账号分享?迅雷播放...
迅雷2023最新的免费账号分享?很多使用迅雷观看视频的小伙伴因为没有... -
快用苹果助手使用起来怎么样?苹果手机...
快用苹果助手使用起来怎么样?快用苹果助手还是很不错的。快用苹果助... -
qq游戏安装不了怎么办?qq游戏安装包具...
qq游戏安装不了怎么办?方法一:1、首先确认我们电脑里之前有没有安... -
自己如何制作游戏的详细教程?制作游戏...
自己如何制作游戏的详细教程?一、准备阶段1、首先,我们需要了解自... -
怎么改个有意义的微信号id?微信号id可...
怎么改个有意义的微信号id?用户默认的微信号是自动生成的乱码没有任... -
bartender如何打印连续条码标签?连续条...
bartender如何打印连续条码标签?1、首先打开软件,然后创建一个条形... -
笔记本小键盘关闭方法是什么?笔记本小...
笔记本小键盘关闭方法是什么?很多的用户们在使用笔记本的时候,经常... -
怎么把qq秀设置成空白形象?腾讯qq秀为...
怎么把qq秀设置成空白形象?1、打开QQ秀之后点击我的QQ秀,选择历史... -
魔兽大脚插件设置反和谐详细教程?魔兽...
魔兽大脚插件设置反和谐详细教程?方法一:1、进入游戏之后点击原汁... -
最新声卡驱动安装详细教程?声卡驱动安...
最新声卡驱动安装详细教程?很多小伙伴打开电脑的时候,发现没有声音... -
foxconn主板n15235到底好不好?foxconn...
foxconn主板n15235到底好不好?许多用户对于富士康的主板不是很了解... -
如何把百度设为主页面教程?手机百度怎...
如何把百度设为主页面教程?很多朋友上网就喜欢使用百度来搜索内容,... -
小米miui12申请答题答案是什么?小米miu...
小米miui12申请答题答案大全?小米miui12申请答题答案是什么?PS:电... -
lol客户端版本无效是怎么回事?lol客户...
lol客户端版本无效是怎么回事?很多用户都喜欢玩英雄联盟游戏,为了... -
龙芯、海光、鲲鹏等国产芯片厂商,发展...
在国家大力鼓励国产高科技企业,在芯片等高端产业实现突破与自主研... -
掠夺者阿什(掠夺者科拉克)-热闻
大家好,小福来为大家解答以上的问题。掠夺者阿什,掠夺者科拉克这个很 -
洗眼镜超声波清洗机_洗眼镜 世界实时
1、可以,现在差不多所有的眼镜店都有免费清洗眼镜的服务,眼镜店铺都会 -
“中国天眼”,有新发现_焦点热门
“中国天眼”发现迄今轨道周期最短脉冲星双星系统(中科院国家天文... -
每日焦点!余承东曾预告!中国自动驾驶...
余承东曾预告!中国自动驾驶迎来大进展:官方首次表态L3商用 -
天天快讯:新一轮“倒水”模式开启 广西...
(陈钦荣贾恒莫晓姣莫柳萍)端午假期,广西开启新一轮“倒水”模式。... -
泰国副总理向华为颁发“人才发展最佳贡...
中新社曼谷6月22日电(记者李映民)当地时间6月22日,泰国副总理兼外交部 -
北方或现今年来最长连续高温,天津发布...
人民日报健康客户端记者王艾冰 6月21日开始至28日,新一轮高温天气卷 -
每日关注!收集群众意见建议200余条 相...
苏报讯(驻相城区记者李刚)聚焦民生服务,助力党群共治。今年以来 -
前面第一辆入手比亚迪唐dm,到现在不到...
前面第一辆入手唐dm,到现在不到三年四万五千公里了。除了导航的时候屏 -
课堂教学有效性研究的研究_课堂教学有效...
课堂教学有效性研究的研究,课堂教学有效性研究这个很多人还不知道,现 -
当前焦点!葛斯齐曝药贩子和大小S找中间...
台湾演艺圈近日好戏连连,因性骚扰形象破产的黄子佼,直接拉大小S、具 -
【网络中国节·端午】军港之夜精彩纷呈...
浓浓端午军港之夜——2023年湛江市端午节主题活动文艺表演现场。浓... -
每日播报!华为p10相片文件夹_华为p10录...
1、录音文件存储路径:当默认存储位置设置为外置存储卡时,在“文件... -
全球消息!5月份快递业务量达109.9亿件...
记者21日从国家邮政局获悉,1—5月,中国邮政行业寄递业务量累计完成60 -
江苏有线:海门分公司中标海门区公安智...
【江苏有线:海门分公司中标海门区公安智慧监控联网工程项目】据江苏有 -
世界新动态:订单爆了?日产就奇骏e-POW...
订单爆了?日产就奇骏e-POWER发布情况说明:满30天未提车获补偿 -
科学填报志愿,完成高考“最后一搏”
高考是一场持久战。考前的长期准备,考时的集中攻坚,考后的志愿填报, -
无棣卤虫卵_关于无棣卤虫卵介绍
1、无棣卤虫卵。2、山东省滨州市无棣县特产。3、全国农产品地理标志。 -
环球消息!零百加速10秒内 新款广汽丰...
零百加速10秒内新款广汽丰田Mirai上市:74 8万、一箱氢能跑781km -
炒股高手必备技能——k线分析!哪些方面...
股市有这样一句话“三流水平听消息,二流水平拼技术,一流水平看盘... -
鹤峰容美:艾草飘过端午节 世界快看点
鹤峰容美:艾草飘过端午节---湖北日报客户端讯(何启发杜雪平)端午节 -
环球今热点:前5个月天津口岸进出口增长...
据天津海关统计,今年前5个月,天津口岸累计进出口8121亿元,比去年同 -
【天天热闻】百合属植物有哪些_金百合 ...
金百合(学名:Liliumbosniacum):鳞茎卵球形,直径6-7厘米,黄色。茎 -
每日头条!山西一学校发生校园欺凌事件,...
央视网消息:据@平安杏花岭微博消息,太原市公安局杏花岭分局6月22日通 -
天天时讯:非遗传承闹端午 龙舟胜会迎亚运
非遗传承闹端午龙舟胜会迎亚运杭州网发布时间:2023-06-2215:45杭州新 -
城厢开展“浓浓粽子香 心系后院情”端...
东南网莆田6月22日讯6月21日,莆田市城厢区退役军人事务局、区双拥办联 -
券商投教分类评估落地!头部跑步冲A“终...
华夏时报记者王兆寰北京报道 2023年过半,证券行业的评估与审核接踵 -
天天热门:范方升_关于范方升的简介
音频解说1、范方升,湘乡市住房和城乡建设局党委委员、副局长(副主任 -
泛海控股连续十二个月累计涉诉金额约6.5...
泛海控股连续十二个月累计涉诉金额约6 548亿元,占净资产11 99%,股权, -
飞轮海12年后巨大差距 天天热推荐
炎亚纶承认与未成年发生关系,多少人的童年滤镜破灭了?6月20日晚,炎 -
阿托伐他汀服用剂量_阿托伐他汀为什么睡...
1、阿托伐他汀为什么睡前服用、他汀类药物作用于胆固醇合成,主要在肝 -
宝丰:巡察见真章 整改促发展
大河网讯“感谢巡察组为我们学校指出污水处理、食堂卫生等存在的安... -
快看:没松脚刹 女子驾驶日产奇骏隧道...
没松脚刹女子驾驶日产奇骏隧道内狂飙:后轮锁死不转干磨 -
快讯:浓情端午共安康 手工热粽送司乘
悠悠艾草青,浓浓粽叶香。端午节前,陕西交控靖富分公司组织各管理所、 -
林心如“毁容式”近照曝光,一夜变老,...
01果然,天下的乌鸦一般黑。这不,湾省的娱乐圈近期就连番地震了。前有 -
两部门:优化研发费用加计扣除申报方式...
国家税务总局、财政部6月21日发布公告,明确进一步优化研发费用加计扣 -
最新:自信比肩BBA 丰田皇冠SportCross...
自信比肩BBA丰田皇冠SportCross上市:36 9万比预售一分不少! -
红景天的功效与作用的(红景天的功效与...
景天的功效与作用的,红景天的功效与吃法这个问题很多朋友还不知道,来 -
国信申设“资管子”获六项反馈意见 券...
21世纪经济报道记者李域深圳报道 券商资管子公司的设立正在加速。 -
天天时讯:这名“女老大”为首犯罪团伙...
据蚌埠市公安局龙子湖分局官方微博消息,近日,刑警二队打掉了以王海燕 -
你吃过的最奇怪的粽子,是什么?
又要到了中国的传统节日端午节,今年你打算吃什么粽子?关于粽子,相信 -
环球新消息丨龙虎游戏外挂网站_游戏外挂...
1、有西西外挂网病毒多了点。本文就为大家分享到这里,希望小伙伴们会 -
环球动态:qq将最近在玩关掉的操作流程讲述
QQ可以说是很多年轻朋友常用的聊天工具,但是最近几天有网友爆料说在使 -
青岛即墨:防溺水 迎暑假
6月21日,山东青岛市即墨区潮海第四小学开展“珍爱生命,预防溺水”... -
斯佩伯爵六级船令人犯难
斯佩伯爵六级船令人犯难 -
市卫生健康委:全方位全周期保障人民群...
昨天(6月21日),在市政府新闻办召开的天津市十项行动见行见效主题系 -
最便宜的理想SUV曝光,售价30万内又将成...
要不说李想有狂的底气呢,早在几年前,理想汽车硬是靠着理想ONE一款车 -
每日快讯!信丰科技创新促高质量发展
近日,由江西绿萌科技控股有限公司创新研发的果蔬采后品质智能分级与商 -
msdn是什么东西_msdn是什么-当前简讯
想必现在有很多小伙伴对于msdn是什么方面的知识都比较想要了解,那么今 -
环球微资讯!不止封杀老头乐!北京拟禁...
不止封杀老头乐!北京拟禁售加装车篷改装座位电动车:很危险 -
碾压谷歌、斯坦福大学!CVPR最佳论文颁...
碾压谷歌、斯坦福大学!CVPR最佳论文颁给中国自动驾驶大模型:近10年首 -
百变大侦探人间客凶手是谁 人间客剧本...
百变大侦探人间客剧本杀答案是什么?最新的剧本杀人间客有四个章节,这 -
资源力量沉下去 服务影响立起来
团江西省上饶市铅山县委书记王郑杨能从很多角度证明“工作越来越顺... -
深圳比较大的论坛_深圳最有影响力的论坛...
1、深圳论坛(szbbs cn)是由一群热爱互联网的年轻人创办、维护和运营的 -
福特CEO:特斯拉Cybertruck好看不中用、...
福特CEO:特斯拉Cybertruck好看不中用、对F-150构不成威胁 -
每日热议!毕夏在张恒远墓地前大哭画面曝...
6月13日,歌手张恒远因黑色素瘤去世,年仅36岁,他的葬礼仪式在6月18日 -
交通银行无锡分行:以调查研究“疏渠引...
自主题教育开展以来,交通银行无锡分行将调查研究作为转变工作作风、密 -
华晨破产重整方案敲定:沈阳汽车拟获三...
华晨破产重整方案敲定:沈阳汽车拟获三家上市公司控制权 -
世界热资讯!丰田最贵“大面包”上新!...
丰田最贵“大面包”上新!全新一代埃尔法、威尔法上市:89 9万起 -
网红pdd在哪直播(PDD要去虎牙直播了 ...
hello大家好,我是城乡经济网小晟来为大家解答以上问题,网红pdd在哪直 -
洪都拉斯政府法医部门当地时间21日发布...
洪都拉斯政府法医部门当地时间21日发布公告说,此前一天在该国首都特古 -
新能源免购置税又延了4年:但这次就不爽了
新能源免购置税又延了4年:但这次就不爽了