滚动新闻 | RSS订阅 | 网站地图 |
你好,游客 登录 注册 搜索

疫情下的元宵节怎么过?借助 AI 给家人做顿团圆饭!

发布时间:2020-02-10 10:42:53  来源:AI科技评论 企鹅号   采编:郭椿砾  背景:

  作者 | 蒋宝尚

  编辑 | 贾伟

  元宵节,春节后的小团圆,也是一年中第一个月圆之夜,AI科技评论在这儿祝大家贪吃不胖,美梦不空。

  在往年的元宵节,我们会走出家门赏花灯、舞龙灯、猜灯谜,用火树银花的仪式迎接我们对未来的期望。

  2020年的元宵节,因为疫情,我们庆祝的方式或许要单薄一些,但做一桌美食和父母分享还是极好的。

  厨艺精湛的小伙伴完全有能力施展才华,做出如上图般的美味佳肴。但做菜只知道放盐的“厨师”也不要着急,上微博搜索一下卖相比较棒的菜品,用AI软件识别一下,完全能估摸出个大概的配方。

  在这个不同寻常的“假期”借助AI的力量,磨练一下你的厨艺吧!

  下面AI科技评论为大家介绍两款菜谱识别软件,分别是:MIT的Pic2Recipe 的AI系统、Facebook的菜谱识别AI系统。在最后会介绍相关技术原理,在家尚未返工返学的读者也可以试着编程实现。

  MIT先行,Facebook垫后

  MIT的这一款名为Pic2Recipe识别软件,开发于2017年,是卡塔尔计算研究所(QCRI,MIT最大的实验室)和加泰罗尼亚理工大学的联合研究的产品,基于一个名为Food-101的数据集,并在2014年瑞士科学家工作的基础上进行了改进。另外,他们还采用的了他们自己收集的Recipe1M的数据库,其内容包含超过一百万张的食物图片、以及它们对应的菜谱。

  具操作步骤是:用户提交的照片被收藏到在线食谱中,并训练机器通过分析配料清单、烹饪说明和食品图像,来自动了解食物的制作方法。

  其中食谱从二十多个流行的烹饪网站上搜集而来,并通过一条流水线进行处理,从原始HTML中提取相关文本,下载图像的链接,并将数据组合成一个紧凑的JSON模式,其中每个被标记的数据具有唯一性。

  Pic2Recipe动画展示,来源:https://www.sohu.com/a/159754992_99905315

  经AI科技评论测试,目前这个软件的网页版已经下线,不过在当年,此项研究成果入选CVPR 2017,并且相关论文和代码已经开源。

  paper:http://t.cn/R9vmeww ;

  Github:http://t.cn/RK1bLkv ;

  数据集:http://t.cn/R9vmBDN

  相对于MIT的人工智能系统,Facebook在2019年推出开源AI则比较“先进”。相比之前的检索办法,Facebook换了一种新思路,将图像到配方问题公式化为条件生成问题。即:使用预先训练图像编码器和成分解码器,以图像及其相应的成分列表为条件生成指令序列,以此生产可能的菜谱。

  此系统是由安德里安·罗梅罗(Adrianna Romero)和其他几名在FAIR蒙特利尔实验室的研究人员一起开发的。并在大规模菜谱数据集上进行了评估,提高了与以前的成分预测方法基线相比的性能。总的来说能够通过输入食物图像来提供准备一顿饭的途径。

  另外,该研究成果发表于 CVPR 2019 大会上,并把代码开源在了 GitHub 上。

  https://github.com/ facebookresearch / inversecooking

  数据集介绍

  对于机器学习模型训练,首要考虑的是数据集,拥有好的数据集,训练出来的模型往往有着好的表现。在上面提到的两个AI模型中,Pic2Recipe系统采用的是Recipe1M的数据集 + Food-101数据集。而Facebook的AI模型则是在Recipe1M的数据集上进行评估。

  其中,Food-101 数据集是包含 101 种食品类别的图像数据集,主要用于图像分类,它共有 101,000 张图像,平均每个类别拥有 250 张测试图像和 750 张训练图像。训练图像未经过数据清洗。所有图像都已经重新进行了尺寸缩放,最大边长达到了 512 像素。该数据集于 2014 年由斯坦福大学发布。

  数据集下载地址:

  http://www.vision.ee.ethz.ch/datasets_extra/food-101/

  Recipe1M数据集体量庞大,内含100万烹饪食谱和1300万张食物图像,其中中国菜也包含在内。值得一提的是,这个数据库的最主要来源是大家在社交网络上晒出的食物图片。也就是说,你在微博、朋友圈的“放毒”推动了人工智能的发展;另外,对食谱数据的收集参考了多个食谱网站,包括 All Recipes、Food.com,这一全球最大的食谱和食物网站之一。

  数据集下载地址:

  http://t.cn/R9vmBDN

  图像到食谱背后的AI技术

  对于 AI 来说,从图片中推导出菜谱主要需要两方面的知识:一方面识别图片中的食物,具体包括食材和配料;另一方面则是推断出食材和配料的加工过程,是切块还是切丝,是凉拌还是水煮等等。

  传统方法倾向于将这一过程简化为匹配任务,MIT 之前的 Pic2Recipe 模型就是这样做的。具体过程是:首先判断图片中食物和菜品,然后在数据库中搜索和匹配相应的菜谱。如果没有准确的对应菜谱,就会匹配一个最相似的。

  这样的方法依赖大量的菜谱数据,而且缺乏灵活性和多样性。一旦出现数据库中不存在或长相不同的食物,其准确率就会大幅下降,难当大任。

  所以这次我们介绍一下Facebook的那篇论文所采用的深度学习模型。

  具体而言Facebook 研究人员采用了一种新的思路,把从图片到菜谱的过程视为一个条件生成系统,输入食物图片,输出食物名称、食材配料表和烹饪步骤三种信息。图片和食谱之间更多的是推导、分析关系,而不是匹配关系。

  菜谱生成模型的工作流程

  从论文中得知,这个菜谱生成模型由四个主要部分构成,分别是提取图像特征的图像编码器,分析食材列表的食材解码器,预测食材加工过程的食材编码器和许多个生成烹饪步骤的解码器,其中用到了注意力机制和 ResNet-50 卷积神经网络模型等。为了提高 AI 的表现,研究人员还对图像编码器和食材解码器进行了预训练。

  具体而言:给定具有相关成分的输入图像,通过指令Transformer产生指令序列R 。其中,标题被预测为第一条指令,解码器依赖于图像和食材的输入;然后通过ResNet-50提取图像表示,并通过解码器架构获得食材嵌入以预测食材,然后将单个嵌入层映射到固定大小的矢量中。

  其中指令解码器由Transformer块组成,每个Transformer块包含两个注意力层,后面跟着一个线性层。第一个注意力层对先前生成的输出应用自注意力,而第二层关注模型调节以改进自注意力输出。另外,Transformer模型由多个模块组成后跟线性层和softmax非线性。

  Transformer模型

  在成分解码中,论文中采用将食材作为列表和集合的方法,提出了一种新的食材预测架构,并利用食材之间的共同依赖性进行预测。

  食谱逆推真的准确么?

  上述两个AI系统准确率都有待商榷,根据之前的报道Pic2Recipe准确率只有65%,而且一旦涉及中国菜就宕机。而Facebook的更加秀,可以接受和分析任何图片,但是能把月亮图片识别成“家常煎饼”,能把iPhone手机识别成“家常冰凝胶”,至于皮卡丘,AI认为应该改名叫“煎蛋”。。。

  据相关研究者称,AI菜谱系统当前遇到的最大瓶颈其实还在于图片本身。因为在拍摄食物图像时,食物的呈现往往会受到拍摄状态的影响,比如角度、远近、摆放和灯光等因素,都有可能造成识别结果的不同。

  而在模型方面,如果算力能够支持,集成准确率更高的系统完全不是问题,毕竟当前人脸识别系统已经能够达到95%的准确率。所以通过图像逆推菜谱在未来还有很大的进步空间,主要是数据集质量的改善。

  好了,了解数据集以及背后的技术原理,感兴趣的小伙伴自己动手实现一个识菜AI吧~

  参考文献:

  arxiv:https://arxiv.org/abs/1812.06164

  https://ai.facebook.com/blog/inverse-cooking/

  https://research.fb.com/publications/inverse-cooking-recipe-generation-from-food-images/


本文来源:AI科技评论 企鹅号

本文评论
疫情下的元宵节怎么过?借助 AI 给家人做顿团圆饭!
作者 | 蒋宝尚
  编辑 | 贾伟
  元宵节,春节后的小团圆,也是一年中第一个月圆之夜,AI科技评论在这儿祝大家贪吃不胖,美梦不空。
...
日期:02-10
应对疫情期间返城人流高峰 AI与红外结合测温系统上线
随着春节假期结束,大批人流返城已是必然趋势。新型冠状病毒仍然肆虐,如何有效地保障人民群众的生命安全,同时在人流中有效地识别到高温体征的个体,成...
日期:02-07
微软宣布投入4000万美元开展人工智能健康计划
随着 AI 技术逐渐走入我们的生活,日前,微软方面宣布为AI for Good计划中新增一个项目——AI for Health,该项目是一个投入4000万美元的人工...
日期:02-07
日本首个机器人酒保正式上岗,售价为人类同行3年工资
据路透社报道,日本首个机器人酒保近日开始在东京一家酒吧内服务,为顾客斟酒。日本面临老龄化社会,餐馆和商店难以招到人手,而机器人酒保的测试使用可...
日期:02-07
一分钟测300人,AI系统北京地铁站口测“高温”
每分钟精准测试300人,高热报警每秒15人;佩戴口罩照样能识别,即走即测不阻碍通行;一套系统可部署16个通道,一个地铁口全管控……
日期:02-07
人在家中坐,“货”从天上来!酝酿多年的无人配送服务迎来大机会?
全国抗击新型冠状病毒肺炎的战斗还在继续。这场突如其来的疫情给全国各城市的餐饮休闲、商超便利、文化娱乐、旅游出行等行业带来了巨大严峻挑战。而在全...
日期:02-05
英伟达DALI加速技巧:让数据预处理速度比原生PyTorch快4倍
你的数据处理影响整个训练速度,如果加上英伟达 DALI 库,处理速度比原生 PyTorch 也能快上四倍。
日期:02-05
让谷歌折戟的AI流行病预测,在今天如何被创业公司攻占?
预测未知,一直是人类十分向往的能力。远不说国人熟悉的周易八卦、唐代道士编写的《推背图》,还有西方人熟知的占星术、中世纪流行起来的塔罗牌,近的比...
日期:02-05
2035年整个世界都将通过区块链技术实现协同工作
6年前,一帮声名狼藉之徒想利用现金的匿名性在网上贩卖毒品,于是便想找到一种没有政府插手的货币。而一些拥护人权的可敬人士也在苦苦寻找一种货币系统,...
日期:02-05
“消毒机器人”在德阳定点医院隔离病区上岗
2月2日下午,四川德阳地区第一台消毒机器人在定点医院隔离病区上岗。这是一个不需要戴口罩、不会被病毒感染的智能机器人。
日期:02-04
Miso Robotics 为快餐店打造了下一代机器人厨房助手
根据麦肯锡公司(McKinsey&Company)的分析,食品服务人员从事的活动 73% 具有自动化的潜力。
日期:02-04
共抗疫情,小i机器人向公众无偿推出“防疫外呼”“疫情防控问答”服务
当前新型冠状病毒肺炎正在全国蔓延,疫情防护工作形式严峻。各级政府、企事业单位、社区、相关机构每天都需进行大量的调查访问,极大的消耗人力且很难有...
日期:02-04
在为配钥匙发愁吗?无人AI钥匙机帮你配Hello Kitty定制钥匙
图片来源@全景视觉
  钛媒体注:本文来自于微信公众号硅谷洞察(ID:guigudiyixian),作者为Shumin,钛媒体经授权发布。
  从小到大,不少...
日期:02-04
抗击冠状病毒疫情 AI能否有所作为
新型冠状病毒肺炎疫情还在持续,世界卫生组织(WHO)紧急委员会日内瓦时间1月30日召开会议,宣布中国新型冠状病毒疫情构成国际关注的突发公共卫生事件(PHEI...
日期:02-04
AI每日精选:思必驰疫情防控机器人免费服务;科大讯飞营收破100亿
以下新闻选自人工智能信息平台“机器之心Pro”:花最少的时间,看最重要的新闻。
日期:02-04
JS环球生活今年将在国内推出Shark高端厨电及扫地机器人
“Shark ninja与九阳产业协同提升。”
日期:01-20
国际权威分析机构沙利文发布AI白皮书 百度AI实力全球第四中国第一
中新网1月17日电 人工智能发展60余年,全球格局日渐清晰,在各国政策的支持引导和大型AI厂商的主导下,人工智能正在进一步释放能量。近日,全球最大的企...
日期:01-19
沙利文AI白皮书示:百度AI实力全球第四中国第一
美股研究社1月17日消息,据中新网报道,近日,全球最大企业增长咨询公司Frost & Sullivan弗若斯特沙利文发布了《2019年中美人工智能产业及厂商对比白...
日期:01-19
人类没失业、搞AI的先失业了,怎么办?
燃财经(ID:rancaijing)原创
  作者 | 苏琦
  编辑 | 魏佳
  “人工智能没能让人类失业,搞人工智能的人先失业了。”这本...
日期:01-19
亚马逊员工监听丑闻曝光后 欧盟监管机构准备监管Alexa等语音助手
腾讯科技讯 据外媒报道,在亚马逊员工通过Alexa语音助手监听用户对话的丑闻被曝光后,欧盟隐私监管机构正准备对Alexa等语音助手进行监管。
日期:01-19