「假数据」可以训练好模型吗Uber说岂止可以还能9倍提速!

我们目前身处的人工智能浪潮在很大程度上是数据驱动的。在这个「数据为王」的时代,数据的壁垒为研究者们开展研究带来了大量的障碍。然而,我们真的只有利用这些「真实」的数据才能训练出性能优秀的模型吗? 

最近,来自 Uber 的研究人员提出了一种生成式教学网络(GTN),可以通过生成非真实的训练数据,可以看下通过 GTN 生成的数字,基本没有一个是我们能够认得出来的:

这个过程的工作流程如图 1 所示。GTN 就好比生成对抗网络(GAN,http://papers.nips.cc/paper/5423-generative-adversarial-nets)中的生成器,只是它没有生成逼真数据的压力。相反,它产生的是完全人造的数据,一个之前没有见到过的学习器神经网络(具有随机采样的架构和权值初始化结果)会使用这些数据训练少量的学习步(例如,可以通过随机梯度下降实现这些学习步)。然后,我们会使用真实的数据评估学习器网络(到目前为止还没有见过真实的数据),例如评估该网络是否能识别经典 MNIST 数据集中的手写数字图像,该过程可以得到正在被优化的元损失目标函数(meta-loss objective)。接着,我们通过元梯度(https://arxiv.org/abs/1502.03492)对整个学习过程进行微分,更新GTN 的参数,从而提高目标任务上的性能。之后,我们会弃用该学习器,并重复这个过程。另一个细节是,我们发现学习一个「课程」(一组按照特定顺序排列的训练示例)相较于训练一个生成无序随机示例分布的生成器更加能够提高模型性能。

在 MNIST 数据集上获得 98.9% 准确率本身并没有多么经验,但是能够使用这么少的样本做到的一点是:使用 GTN 合成数据训练的学习器可以在仅仅 32 个随机梯度下降步(约 0.5 秒)的训练后达到这个水平。同时,学习器仅仅在「课程」中「看」过了一次 4,096 个合成数据,这个数据规模还不到 MNIST 训练数据集的十分之一。

基于 GTN 的神经网络架构搜索

在对 GTN 进行元训练后,当学习仅限于少量的随机梯度下降学习步时(例如,32),新的学习器可以使用合成数据比使用真实数据学习得更快(如图 2 中红色的曲线代表使用合成数据,蓝色曲线代表使用真实数据)

活动为农民工颁发2019年度“最美农民工”奖项和“最美农民工”提名奖。张茜翼 摄

二是提升治理能力。我们要为新业态量身订制监管方式,建立相应的监管体系,加强数字监管、信用监管、协同监管、行业自律和社会公共监督相结合的综合监管体系。

在行政处罚决定书送达公告中,提到了两份确认胡统滨正在被刑事追逃的《刑事判决书》——“(2016)川0112刑初697号”、“(2018)川0112刑初5号”。

渐渐地,神经网络架构搜索(NAS,http://www.cs.ucf.edu/~kstanley/neat.html)算法被部署到自动化的架构搜索工作中,得到了很好的结果。尽管大量的人类科学家已经针对ImageNet 和 CIFAR 等流行的计算机视觉对比基准试图找到最佳的模型架构,但是 NAS 仍然得出了目前性能最佳的实验结果(https://arxiv.org/abs/1802.01548)。如果我们可以提升 NAS 的效率,那么整个机器学习社区中的从业人员都会大大受益。

对于胡统滨来说,可说是看着龙泉驿稠州村镇银行从“无”到“有”,他不但是龙泉驿稠州村镇银行的筹建人,也是该行首任行长。2011年7月,稠州银行委派胡统滨从浙江到成都筹建龙泉驿稠州村镇银行。2012年5月,龙泉驿稠州村镇银行登记成立后,胡统滨被该行董事会任命为行长,却于2014年末辞职离开该行。

在确定 GTN 可以加速在 MNIST 数据集上的训练后,我们在 CIFAR-10 数据集上进行了测试,这同样也是一个常用的 NAS 对比基准。和在 MNIST 数据集上训练的情况相似,在这里,学习器使用 GTN 生成的数据学习的速率要快于使用真实数据学习的速率。具体而言,即使与高度优化的使用真实数据的学习算法相比,使用合成数据训练的学习器在性能水平相同的情况下,学习的速率也要比前者快四倍(详见图 4)。

CodeHub源自华为千亿级代码管理经验,基于Git,提供企业代码托管的全方位服务。通过在代码仓库中提供的大量具备极高参考价值的代码模板,以及基于不同开发语言和应用场景的示例源代码,代码托管

为何胡统滨会找上陈某某帮其贷款?案件审理时,有证人表示,陈某某的老婆和胡统滨的老婆是亲姐妹关系。

有资料显示,胡统滨出生于1972年2月,是一位“70后”银行高管。作为肩负重任的筹建者和一行之长,他为何会被终身禁业、刑事追逃?在这背后,又有着怎样的故事?

2019年,海南各级工会开展“尊法守法携手筑梦”服务农民工公益法律服务行动和“海南省工会100场法律大讲堂”,配合相关厅局开展拖欠农民工工资专项检查,协助1300名农民工和职工追讨欠薪3430万元;筹集资金3070万元,精准帮扶建档困难职工、农民工1.6万人次;筹资330万元为1.3万名职工和农民工免费体检。此外,还开展“暖心返乡路”农民工春节返乡购票补贴行动,为7102名农民工发放补贴179.9万元。(完)

2014年已领了55万年薪

图 4:在 CIFAR 数据集上,使用 GTN 生成的合成数据进行训练的速率比使用真实数据也更快一些,在性能水平相同的情况下,速率提升了 4 倍。

蔡团结表示,将进一步以交通运输新业态协同监管部际联席会议为载体,按照建设交通强国的要求,进一步规范交通运输新业态健康发展。

《每日经济新闻》记者注意到,2014年,也就是胡统滨任该村镇银行行长两年后,其目标年薪已升至65万元。然而,当年拿到55万元计发年薪的他,为何突然在2014年末提出辞职?

可是,这样的薪酬和福利显然没能留住胡统滨。在陈某某骗贷案之外,胡统滨身上究竟还藏着哪些违规隐情,尚且不得而知。不过,对于稠州银行作出的处理通报,胡统滨曾“自信”地对法院辩称,“没有通报中提到的任何情形,通报中的情形不是事实,属于捏造。”

GTN 涉及到了一种被称为「元学习」的令人激动的机器学习类型。在这里,元学习被用于网络架构搜索。过去的研究者们(https://arxiv.org/abs/1502.03492)已经使用元学习直接(逐像素地)优化了「合成」数据。在这里,通过训练一个生成器,我们可以重用更多的抽象信息(例如,关于数字「3」的形态特征)来编码各种各样的样本(例如,许多不同的「3」)。我们进行的实验证明了,GTN 生成器比直接优化数据的性能更好。更多关于 GTN 与之前相关工作比较的细节讨论,请参阅我们的论文「Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data」(https://arxiv.org/abs/1912.07768)。

晚会现场,海南省总工会还联合海南省人社厅、省文明办等单位共同为20名来自不同行业的农民工颁发2019年度“最美农民工”奖项,为10名农民工颁发2019年度“最美农民工”提名奖。

2019年,稠州银行以股权受让的形式对龙泉驿稠州村镇银行进行了增持。增持后,稠州银行占股73.69%。稠州银行2019年度三季度信息披露报告显示,截至2019年9月末,稠州银行持有龙泉驿稠州村镇银行1.55亿股股权、投资成本1.54亿元。从披露数据看,在其旗下9家村镇银行中,龙泉驿稠州村镇银行是投资成本最高的一家。

对此,胡统滨并不认可,在2015年4月申请了劳动仲裁,要求仲裁部门确认双方劳动关系系其辞职解除,确认处理通报无效,并裁决“老东家”向其支付未付报酬、住房补贴等。

有趣的是,尽管我们可以使用这些合成图片训练神经网络,并且学着识别真正的手写数字,但许多由 GTN 生成的图片实际上在我们人类看来是十分奇怪的,我们并不能将它们识别为数字(详见图 3)。这些非真实的图片可能对神经网络产生有意义的影响,这种现象反过来也会让人不禁想起深度神经网络很容易被「愚弄」(https://arxiv.org/abs/1412.1897)。同样非常有趣的是,在课程的末期,当模型性能达到平稳期之后,手写数字的可识别性会急剧提升(详见图 2 中的第 32 步)。关于「为什么图片大部分是非真实的」,以及「为什么在课程的末期它们的真实性会提升」的假设的讨论,请参阅我们的论文「Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data」(https://arxiv.org/pdf/1912.07768.pdf)。

据海南省总工会介绍,受表彰的“最美农民工”是海南省农民工的优秀代表。在他们身上,集中反映了勤奋敬业、吃苦耐劳的优良传统和作风,充分体现了品德高尚之美、劳动奉献之美、创新创造之美、工匠精神之美。

陈某某还称,2014年5、6月,胡统滨让陈某某再帮他找一个人从龙泉驿稠州村镇银行贷款100万出来,并同意100万贷款他用50万来还账,剩下的50万陈某某拿去用。陈某某伙同他人经过一番造假后,从龙泉驿稠州村镇银行拿到了200万元贷款,陈某某将其中的50万转到了胡统滨的账户上。

记者查到了“(2016)川0112刑初697号”刑事判决书,从中或能探得些许关于胡统滨违规的蛛丝马迹。

因此,GTN 生成的数据在 NAS 算法中可以更快地替代真实数据。为了说明该过程,我们选用了最简单的 NAS 方法:随机搜索。该算法非常简单,我们可以确定不存在复杂的算法组件和使用 GTN 生成的数据之间特殊的、令人困惑的相互作用。在随机搜索过程中,该算法随机采样得到网络架构,并且在给定计算资源预算的情况下尽可能多地进行估计。在我们的实验中,这些估计要么是针对使用 GTN 生成的数据训练 128 个随机梯度下降训练步后的架构,要么是针对使用真实数据训练的架构。接着,对于每一种方法,根据估计得到的最佳架构会使用真实数据训练很长的时间。在真实数据上最终取得的性能才是我们真正关心的结果。

在双方闹上法院的过程中,胡统滨在位村镇银行行长时的薪酬情况也得以浮现。据上述民事判决书,2014年5月,龙泉驿稠州村镇银行董事会发布通知,将行长目标年薪由原来的60万元调整为65万。在2014年,胡统滨目标年薪为65万元,经考核后计发年薪55.25万元(65万元×计奖系数0.85)。此外,胡统滨在2012年、2013年和2014年还有期薪合计57870元。同年,龙泉驿稠州村镇银行另行向胡统滨发放了各项过节费共计1.28万元。

27日下午,国新办就交通运输高质量发展成效有关情况举行发布会。蔡团结在回答记者提问时表示,随着互联网的普及,近几年来,网约车、顺风车、共享单车、分时租赁等交通运输新业态蓬勃发展。今年新业态发展趋势是资本转向理性,新老业态更趋融合,安全保障体系逐步建立,老百姓的出行选择更趋多样化。

农民工共享年夜饭。张茜翼 摄

之所以以公告的方式“隔空”向胡统滨送达这份处罚文书,是因四川省成都市龙泉驿区人民法院相关《刑事判决书》及四川省成都市龙泉驿区公安分局确认,胡统滨正在被刑事追逃,采取直接送达等方式无法送达。记者注意到,2019年11月,四川银保监局也曾以公告的形式向胡统滨送达过《中国银保监会四川监管局行政处罚意见告知书》(川银保监告字〔2019〕96号)。

“我们支持平台公司通过人防、物防、技防等手段提升安全保障能力。但要严厉打击‘分类管理’等突破安全底线、降低安全标准的违法行为,我们还要严厉打击平台公司组织非法营运等行为,防范化解风险隐患,维护行业的安全稳定发展。”蔡团结说。

2月20日,银保监会网站披露了一则来自四川银保监局的行政处罚决定书送达公告。这份送达公告显示,经查,胡统滨在龙泉驿稠州村镇银行工作期间,对该行违规发放互保联保贷款、严重违反审慎经营规则负有直接责任。

海南千名农民工共享年夜饭。张茜翼 摄

图 5:针对根据 GTN 估计得到的前 50% 的架构,使用 GTN 合成数据训练 30 秒后最终得到的性能与使用真实数据训练 4 小时后取得性能的相关系数图。图中的相关系数足够高(Spearman 等级相关系数为 0.5582),当我们选用根据 GTN 估计得到的性能最好的架构时,我们也会选择出真实性能最好的架构。根据 GTN 估计的结果,蓝色方块代表性能前 10% 的架构。

这份落款时间为2016年12月19日的刑事判决书显示,2016年11月21日,公诉机关提起公诉,指控被告人陈某某、范某某、陈某以虚假证明材料骗取贷款,骗贷对象正是龙泉驿稠州村镇银行。而在此案中,出现了胡统滨(注:判决书显示在逃)的身影。

为了搜索网络架构,我们采用了来自许多论文(https://arxiv.org/abs/1611.01578,https://arxiv.org/abs/1802.03268,https://arxiv.org/abs/1808.07233)的思想。我们先搜索一个小型的架构模块,然后通过一个预先确定的「蓝图」重复组合这样的模块,从而创建不同规模的架构。一旦我们发现了一个高质量的模块,它就可以被用来创建一个更大的网络,然后用真实的数据训练这个网络,在目标任务上收敛。

最终,陈某某、范某某、陈某分别被判处有期徒刑一年三个月、十个月、八个月,并分别处罚金10000元、5000元、3000元,并被责令退赔被害人龙泉驿稠州村镇银行相关贷款本金。

方法:生成式教学网络(GTN-NAS)

经梳理,公诉机关指控的事实主要有三:

当然,程序员也会有成就感爆棚的瞬间。比如当他们用自己写的程序抢到了过年回家的火车票时,当他们在开源项目里贡献自己的代码/模板并被更多人认可时,当他们用自己的代码帮助其他开发者提升开发效率时……

NAS 需要大量的计算资源。朴素的 NAS 算法会使用完整的数据集训练每个神经网络,从而对其进行评估,直到模型性能不再提升。对于数千个(甚至更多的)在 NAS 过程中需要考虑的网络架构重复这个过程的计算开销机器高昂,并且速度极慢。NAS 算法通过仅仅进行少量时间的训练并且将得到的性能作为真实性能的估计值,避免了如此高昂的计算开销。进一步加速这一过程的方法可能是:从完整的数据集中精心地选择信息量做大的训练样本。论文「Learning Active Learning from Data」(https://arxiv.org/abs/1703.03365)中提到的方法已经被证明可以加速训练(该论文的主题超出了 NAS 的范畴)。

一是优化服务,为网约车创造更好的营商环境,破除行政许可的“玻璃门”,评估地方政策制度的落实情况。

只是这些激动人心的美好时刻,在他们生活中的占比到底太少了。更多的时间里,他们还是和视频里的三位主人公一样,不得不想方设法更新知识、紧跟时代。

40岁还奋斗在业务一线,成为了业务的负责人,与此同时又要承担大山压顶的KPI压力,业务进度也成为生活的全部。

GTN 是一种深度神经网络,它能够生成数据或生成训练环境,学习器(例如,某种刚刚经过初始化的神经网络)在接受目标任务(例如,识别图中的物体)之前,可以使用 GTN 生成的数据或训练环境进行训练。这种方法的一个优点是,GTN 可以生成「合成」的数据。其它的神经网络使用 GTN 生成的数据进行训练时,可以获得比在真实数据上进行训练更快的训练速度。这使我们能够以比使用真实数据训练快九倍的速度搜索新的神经网络架构。基于 GTN 的神经网络架构搜索(GTN-NAS)可以与目前最先进的神经网络架构搜索(NAS)方法相媲美,它能够在使用比经典的 NAS 方法少几个数量级的计算量的情况下获得目前最佳的性能。而且,实现这种最佳性能的新技术非常有趣!

这一切和行业的特点息息相关,这个行业与传统行业不同,技术发展非常快,每几年就会有一次革命性变化,几年前微服务还只是一个最佳实践的候选,现在已然是开发大型后端应用的标准配置;几年前整个行业都在说大数据,现在则是张口闭口都在谈论人工智能。技术的未来在哪里,没有人能清楚地知道,所以无论他们工作多久,都必须不断充电学习、努力提升技能,才能跟上这个行业的发展,才能不被行业淘汰。

图 2:使用 GTN 生成的合成数据进行训练比使用数据训练更快,当仅仅经过少量随机梯度下降步训练时,可以得到更高的 MNIST 性能。

不过话说我们人类之所以是万物灵长之首,一个很重要的地方就在于“善假于物也”,即会借助工具提升效率。那么,有没有什么工具,可以让程序员不再那么疲惫,可以让他们更从容地应对行业的技术更新,可以让他们告别焦虑、畅享极致开发的成就感?

3、2014年4月,被告人陈某某伙同被告人范某某、陈某提供房产证明、《产品供需合同》等虚假的证明材料,以购买橡胶制品、水管的名义从龙泉驿稠州村镇银行骗取贷款人民币共计200万元,合同到期后未能全额归还。截至2016年3月16日立案时,尚有本金共计181.21万元未能归还。

刚步入社会的时候,谁不曾抱有改变世界的想法?可面临的现实是,由于经验不足,生活和工作都被压力紧紧包围;

2、2014年5月,被告人陈某某在胡统滨等人的授意安排下,提供《商品房买卖合同》、《产品供需合同》等虚假的证明材料,以购买水管等原材料的名义从龙泉驿稠州村镇银行骗取贷款200万元,合同到期后未能全额归还。2016年10月24日,陈某某的亲属代为归还了该笔贷款的全部本金及利息;

图 3:GTN 生成的具有「课程」性质的 MNIST 图像。课程的顺序从左到右排列(每一列是 32 批数据中的一批)。

谁说程序员就一定要忍受焦虑的折磨?用代码改变世界,才是我们最想做的事。现在,让我们拥抱华为云代码托管CodeHub,一起告别焦虑,做个成就感爆棚的程序员吧。

工作多年,经验积累了不少,又面临着来自家庭生活的压力和职业瓶颈到来的压力;

你瞧,无论是初入社会的程序员,还是工作多年已年届不惑的资深程序员,加班、熬夜都在所难免,并且似乎永无止境。

然而,我们想知道是否可以通过更激进的思路来加速这一过程:让机器学习模型可以自己创建训练数据。这种算法不仅仅局限于创建逼真的图像,相反,它也可以创建有助于学习的非真实数据,就像在篮球训练中我们学习同时运两个球可以加快学习速度(即使这与实际的比赛完全不一样)。因此,GTN 自由地创建非真实的数据,可以使得模型比使用个真实数据更快地学习。例如,GTN 可以融合许多不同类型的对象的信息,并且集中利用最困难的示例进行训练。

由于 GTN 能够更快地评估每个架构,它们能够在给定一定的计算资源的情况下,对更多整体框架进行估计。在我们实验的每一种情况下,我们都证明了:使用 GTN 生成的数据比使用真实数据更快,并取得了更好的性能(详见表 1)。甚至,当我们将使用真实数据训练 10 天的结果与使用 GTN 生成数据训练 2/3 天的结果进行比较时,这个结论也成立(详见表 1)。此外,采用随机搜索策略(以及表 1 中列出的一些附加功能)的 GTN-NAS 也可以与采用了比随机搜索复杂得多的策略的 NAS 方法相抗衡(「Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data」(https://arxiv.org/pdf/1912.07768.pdf))。重要的是,GTN 生成的数据也可以直接被这些算法使用,我们期望这将同时在这两种场景下取得最佳的效果,提升目前最佳模型的性能。

公开信息显示,2012年5月17日,龙泉驿稠州村镇银行登记成立,2.1亿元的注册资本也令其成为彼时四川省注册资本规模最大的村镇银行。不过,这家村镇银行虽然地处西部,但其母行却在千里之外的东边。资料显示,龙泉驿稠州村镇银行是由总部位于浙江的稠州银行发起成立的一家股份制银行,也是稠州银行旗下的9家村镇银行之一。

活动为农民工颁发2019年度“最美农民工”奖项和“最美农民工”提名奖。张茜翼 摄

据被告人陈某某供述,2013年3、4月份,胡统滨打来电话,叫陈某某帮其贷款200万出来应付检查,并让陈某某在一份商铺购房合同上签字,给他说已经找人对这笔贷款进行了担保,贷款用于购买商铺。银行放款后,陈某某将200万打到了胡统滨提供的一个账户上,2014年4月贷款到期后,胡统滨让人打了200万到陈某某的还款账户。

遭终身禁业的前行长曾被委以筹建重任

生成式教学网络(GTN,https://arxiv.org/abs/1912.07768)生成了合成数据,这种数据使新的学习器网络能够迅速地针对某种任务进行学习。这使得研究者们可以快速地评估一种新提出的候选网络架构的学习潜力,这促进了对新的、更强大的神经网络架构的搜索。通过我们的研究,我们说明了:GTN 生成的训练数据创建了一种更快的 NAS方法,它与目前最先进的 NAS 算法旗鼓相当(但实现的方式完全不同)。在我们的 NAS 工具箱中加入这种额外的 GTN 工具,对 Uber、所有的公司,以及全世界的所有科学家大有助益,可以帮助它们提升深度学习在每个应用领域的性能。

CodeHub可以让程序员在云端快速创建项目,极大降低他们对新技术的学习成本。

除了我们的直接成果,我们对 GTN 开辟的新的研究方向也感到十分兴奋。当算法可以生成他们自己的问题和解决方案(https://eng.uber.com/poet-open-ended-deep-learning/)时,我们就可以解决比以前更难的问题。然而,生成问题需要定义一个环境搜索空间,这意味着我们需要编码一个丰富的环境空间来进行搜索。GTN 有一种很好的特性,那就是它们可以生成几乎任意类型的数据或训练环境,这使其具有巨大的潜在影响力。然而,虽然能够生成任意的环境令人十分激动,但仍然需要通过更多的研究充分利用这种表达能力,从而不会迷失在 GTN 产生的各种各样的可能性的海洋中。

通过使用大量由人类标注的数据,我们推动了机器学习技术的发展,但是要制作出这种带标签的数据需要付出大量的时间和金钱。在 Uber 人工智能实验室,我们研究了一个非常有趣的问题:我们是否可以创建一些学习算法,通过学习智能体所处的环境以及「课程」(curricula)自动地生成训练数据,从而帮助人工智能体迅速地学习。在我们发表的论文「Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data」(https://arxiv.org/abs/1912.07768)中,我们说明了可以通过「生成式教学网络」(GTN)实现这样的算法。

1、2013年4月,被告人陈某某在胡统滨等人的授意安排下,提供《商品房买卖合同》、收入证明等虚假证明材料,以购买商铺的名义从龙泉驿稠州村镇银行骗取贷款200万元。2014年4月上述合同到期后,被告人陈某某等人归还了该笔贷款全部本息;

海南千名农民工共享年夜饭,观看晚会。张茜翼 摄

三是坚守安全底线。人的出行和货物的运输是不一样的,从世界各国的管理经验来说,人的出行必须是安全保护先行,货物运输的损失则可以后期弥补,而乘客出现伤亡事故是无法逆转的。所以客运服务必须要具备前期的基本安全保障。

在GTN-NAS中,最终目标是找到一种经过在真实数据上训练许多步(即直到收敛)后,能够取得很好的性能表现的神经网络架构。因此,测量在使用 GTN 生成的数据训练少量的学习步后得到的任何模型的性能,都只是一种估计当我们最终使用真实数据训练时,哪些架构会表现良好的手段。我们发现,使用 GTN 数据训练得到的模型性能可以被用来预测真实情况下的模型性能(使用 GTN 估计的排名前 50% 的架构与真实情况的 Spearman 等级相关系数为 0.56)。例如,根据 GTN 非常快的估计,排名前 10% 的架构实际上性能非常高(详见图 5 中的蓝色方块)。这意味着我们可以通过 GTN 生成的数据快速地评估许多网络架构,从而识别出一些看起来有潜力的架构,然后使用真实数据训练这些架构,最终确定哪些架构在目标任务上真正性能优异。有趣的是,我们发现,要实现与使用 GTN 生成的数据仅仅在 128 个随机梯度下降训练步上取得的相同的预测能力(等级相关系数),你需要使用真实数据训练 1,200 个梯度下降训练步。这说明,使用 GTN 生成的数据比使用真实数据进行网络架构搜索要快 9 倍!

幸运的是,华为云DevCloud的代码托管服务CodeHub便为造福程序员而生。

《四川成都龙泉驿稠州村镇银行股份有限公司、胡统滨、浙江稠州商业银行股份有限公司劳动争议一审民事判决书》(〔2016〕川0112民初5333号)、《胡统滨、浙江稠州商业银行股份有限公司劳动争议二审民事判决书》(〔2019〕川01民终2437号)显示,2014年11月,胡统滨提出了辞职,而实际上,他与稠州银行之间的劳动合同要到2017年5月16日才结束。这也意味着,胡统滨担任龙泉驿稠州村镇银行行长仅有两年半的时间。

审理此案的四川省成都市龙泉驿区人民法院认为,陈某某、范某某、陈某以欺骗手段取得银行贷款在100万元以上,其行为均已构成骗取贷款罪。不过对于公诉机关指控被告人陈某某的第一起骗取贷款的行为,法院认为,因在陈某某合同到期后及时归还了借款,并未对银行造成任何损失,故这一行为不构成骗取贷款罪。

从更宏观的角度来说,我们认为 GTN 是一种通用的工具,它可以被用于机器学习的所有领域。我们这份工作中展示出了其潜力,但是我们也相信它们可以在无监督学习、半监督学习,以及强化学习中得到有效的应用(我们的论文已经得到了强化学习方面的初步结果)。如果把目标定得更大一些,GTN 可以通过以下方式帮助我们朝着能够自动创建强大的人工智能形式的「人工智能生成算法」迈进:(1)对网络架构进行元学习;(2)对学习算法本身进行元学习;(3)自动生成训练环境。本文说明了,GTN 有助于这三种方法中的第一种(对网络架构进行元学习),但它们也可以通过生成复杂的训练环境、成功地训练智能体,来促进第三个方面的发展(自动生成训练环境)。

雷锋网原创文章,。详情见转载须知。

据介绍,作为海南省总工会“情系农民工系列”大型公益活动,该活动已连续举办8届,成为海南省总工会服务农民工的一大品牌。

蔡团结称,网约车总体发展态势非常顺利,目前已经有150多家网约车平台公司获得了经营许可,车辆运输证发放了86万张,驾驶员证发放了185万张,存量市场供给趋于稳定充足。

从时间表来看,胡统滨在任龙泉驿稠州村镇银行行长时,上述骗贷案还没有曝光。不过,随着他辞职而去,稠州银行发现,事情不太对劲。

我们计划在未来几周内发布这项研究的源代码:敬请期待!

没想到的是,在随后的离任审计中,稠州银行稽查部发现,胡统滨在担任龙泉驿稠州村镇银行行长期间,存在违规行为,且给稠州银行带来一定的损失。2015年1月16日,稠州银行作出了“关于原成都龙泉驿稠州村镇银行行长违规行为处理情况的通报”,给予胡统滨除名行政处分,并单方解除与胡统滨的劳动合同。

图1:生成式教学网络(GTN)示意图。生成器(一个深度神经网络)生成合成数据,一个新创建的学习器会使用这些数据进行训练。使用 GTN 生成的数据集进行训练后,该学习器可以在目标任务上取得很好的性能(尽管它们从未见过真实的数据)。

把这些数据用在神经网络架构的搜索(NAS)上,能够获得9倍的提速,且计算量下降几个数量级。这项工作非常有意义,按照作者的说法,“GTN开辟了一个新的研究方向”;此外,GTN 并不仅仅适用于NAS,它是一种通用的工具,可以被用于机器学习的所有领域。作者为此专门写了一篇解读博客,内容详实有趣,AI 科技评论翻译并稍作修改——

就顺风车存在的一些问题,蔡团结指出,顺风车是典型的共享经济,国家是鼓励的。但是在顺风车的发展过程当中,有一些企业借顺风车之名开展非法网约车行为,这突破了安全底线,要严厉打击。

表 1:GTN 可以直接替代真实数据,加速 NAS 的过程。在上表中,实验结果是使用简单的随机搜索 NAS 策略实现的,但是 GTN 应该也可以加速任意的 NAS 方法。参数的个数指的是学习器神经网络中权重的个数。

根据《中华人民共和国银行业监督管理法》第四十八条第(三)项的规定,四川银保监局决定对胡统滨作出禁止从事银行业工作终身的行政处罚,对其开具了《中国银保监会四川监管局行政处罚决定书》(川银保监罚字〔2020〕30号)。

神经网络的架构与它的一些设计选择有关(例如,它应该有多少层,每层应该有多少神经元,层与层之间应该具有怎样的连接关系,等等)。不断改进的神经网络架构使机器学习在诸多领域(例如,计算机视觉、自然语言处理、语音转文本)都取得了重大进展。然而,搜索高性能网络架构的任务通常是由科学家手动完成的,这极其耗时。

夜幕降临,海口市江东新区中建三局工地十分热闹,上百张圆桌围坐着施工现场的各工种工人,品地方美食,共贺新春。海南特色晚会同时上演,晚会内容精彩纷呈,形式多样,有歌曲、舞蹈、小品等丰富的文艺节目。