天天热推荐:Stable Diffusion读你大脑信号就能重现图像,研究还被CVPR接收了

首页 > 焦点 > 正文
2023-03-05 15:09:18

来源:机器之心

机器之心报道


(资料图片)

机器之心编辑部

大脑活动到图像,Stable Diffusion 能重建。

如果人工智能可以解读你的想象,将你脑海中的图像变成现实,那会怎样?

虽然这听起来有点赛博朋克。但最近发表的一篇论文,让 AI 圈吵翻了天。

这篇论文发现,他们使用最近非常火的 Stable Diffusion,就能重建大脑活动中的高分辨率、高精准图像。作者写道,与之前的研究不同,他们不需要训练或微调人工智能模型来创建这些图像。

论文地址:https://www.biorxiv.org/content/10.1101/2022.11.18.517004v2.full.pdf

网页地址:https://sites.google.com/view/stablediffusion-with-brain/

他们是怎么做到的呢?

在此研究中,作者基于 Stable Diffusion 来重建通过功能磁共振成像 (fMRI) 而获得的人脑活动图像。作者也表示,通过研究与大脑相关功能的不同组成部分(例如图像 Z 的潜在向量等),也有助于了解隐扩散模型的机制。

这篇论文也已经被 CVPR 2023 接收。

该研究的主要贡献包括:

证明了其简单框架可以从具有高语义保真度的大脑活动中重建高分辨率(512×512)图像,而无需训练或微调复杂的深度生成模型,如下图所示;

通过将特定组成部分映射到不同的大脑区域,该研究从神经科学的角度定量解释了 LDM 的每个组成部分;

该研究客观地解释了 LDM 实现的文本到图像转换过程如何结合条件文本表达的语义信息,同时保持原始图像的外观。

方法概览

该研究的总体方法如下图 2 所示。图 2(上)是该研究中使用的 LDM 示意图,其中,ε 表示图像编码器,D 表示图像解码器,τ 表示文本编码器(CLIP)。

图 2(中)是该研究的解码分析示意图。研究者分别从早期(蓝色)和高级(黄色)视觉皮层内的 fMRI 信号中解码了呈现图像 (z) 和相关文本 c 的潜在表征。这些潜在表征被用作生成重建图像 X_zc 的输入。

图 2(下)是该研究的编码分析示意图。研究者构建了编码模型来预测来自 LDM 不同组成部分的 fMRI 信号,包括 z、c 和 z_c。

有关 Stable Diffusion 这里就不做过多介绍,相信很多人都比较了解。

结果

我们来看一下该研究的视觉重建结果。

解码

下图 3 展示了一个主体(subj01)的视觉重建结果。研究者为每个测试图像生成了五个图像,并选择了具有最高 PSM 的图像。一方面,只用 z 重建的图像在视觉上与原始图像一致,但未能抓住其语义内容。另一方面,只用 c 重建的图像生成的图像具有很高的语义保真度,但在视觉上却不一致。最后,使用 z_c 重建的图像可以生成具有高语义保真度的高分辨率图像。

图 4 展示了所有测试者对同一图像的重建图像(所有图像都是用 z_c 生成的)。总体来说,各测试者的重建质量是稳定和准确的。

图 5 是定量评估的结果:

编码模型

图 6 显示了编码模型对与 LDM 相关的三种潜像的预测精度:z,原始图像的潜像;c,图像文本注释的潜像;以及 z_c,经过与 c 交叉注意力反向扩散过程后的 z 的加噪潜像表征。

图 7 显示,当加入少量的噪声时,z 对整个皮层的体素活动的预测比 z_c 更好。有趣的是,当增加噪声水平时,z_c 对高位视觉皮层内体素活动的预测优于 z,表明图像的语义内容逐渐被强调。

在迭代去噪过程中,添加噪声的潜在表征如何变化?图 8 显示,在去噪过程的早期阶段,z 信号主导了 fMRI 信号的预测。在去噪过程的中间阶段,z_c 对高位视觉皮层内活动的预测比 z 好得多,表明大部分语义内容在这个阶段出现了。结果显示了 LDM 如何从噪声中提炼和生成图像。

最后,研究者探讨了 U-Net 的每一层都在处理什么信息。图 9 显示了去噪过程的不同步骤(早期、中期、晚期)以及 U-Net 不同层的编码模型的结果。在去噪过程的早期阶段,U-Net 的瓶颈层(橙色)在整个皮层中产生了最高的预测性能。然而,随着去噪的进行,U-Net 的早期层(蓝色)预测早期视觉皮层内的活动,而瓶颈层则转向对更高的视觉皮层的卓越预测能力。

更多研究细节,可查看原论文。

ChatGPT及大模型技术大会

机器之心将于3月21日在北京举办「ChatGPT 及大模型技术大会」,为圈内人士提供一个专业、严肃的交流平台,围绕研究、开发、落地应用三个角度,探讨大模型技术以及中国版 ChatGPT 的未来。

届时,机器之心将邀请大模型领域的知名学者、业界顶级专家担任嘉宾,通过主题演讲、圆桌讨论、QA、现场产品体验等多种形式,与现场观众讨论大模型及中国版 ChatGPT 等相关话题。

点击阅读原文,立即报名。

©THE END

转载请联系本公众号获得授权

投稿或寻求报道:content@jiqizhixin.com

标签: 机器之心 模型技术 高分辨率

THE END

相关热点

6月20日,资本邦了解到,一改上周的强势走势,今日,新东方在线(01797 HK)及新东方(09901 HK)H股股价均下跌。截至港股收盘,新东方在线跌32
2022-06-20 17:29:10
新华社电 上海市文化和旅游局近日发布《上海市密室剧本杀内容备案管理规定(征求意见稿)》,并截至12月8日面向社会公众广泛征求意见。这
2021-11-19 13:46:03
《中国证券报》17日刊发文章《备战2022 基金经理调仓换股布新局》。文章称,距离2021年结束仅剩一个多月,基金业绩分化明显。部分排名靠前
2021-11-19 13:46:03
交通运输部办公厅 中国人民银行办公厅 中国银行保险监督管理委员会办公厅关于进一步做好货车ETC发行服务有关工作的通知各省、自治区、直
2021-11-19 13:45:58
新华社北京11月17日电 题:从10月份市场供需积极变化看中国经济韧性新华社记者魏玉坤、丁乐读懂中国经济,一个直观的视角就是市场供需两端
2021-11-19 13:45:58
全国教育财务工作会议披露的消息称,2020年,中国国家财政性教育经费投入达4 29万亿元,占GDP总量的4 206%,我国国家财政性教育经费支出占G
2021-11-19 13:45:48
如果你也热爱“种草”,前方高能预警!让你心心念念、“浏览”忘返的网络平台,可能早已成为一块块“韭菜地”。近日,据《半月谈》报道,有...
2021-11-19 13:45:48
日前,工业和信息化部印发《“十四五”信息通信行业发展规划》(以下简称《规划》),描绘了未来5年信息通信行业的发展趋势。《规划》指出...
2021-11-19 13:45:40
本报讯(中青报·中青网记者 周围围)2021年快递业务旺季正式拉开帷幕。国家邮政局监测数据显示,仅11月1日当日,全国共揽收快递包裹5 69
2021-11-19 13:45:40
人民网曼谷11月17日电 (记者赵益普)17日上午,中国援柬埔寨第七批200万剂科兴新冠疫苗抵达金边国际机场。当天,柬埔寨政府在机场举行了
2021-11-19 13:45:35
金坛压缩空气储能国家试验示范项目主体工程一角受访者供图依托清华大学非补燃压缩空气储能技术,金坛压缩空气储能项目申请专利百余项,建立
2021-11-19 13:45:35
视觉中国供图42亿立方米据有关部门预计,今年山西煤炭产量有望突破12亿吨,12月份山西外送电能力将超过900万千瓦,今冬明春煤层气产量将达4
2021-11-19 13:44:34
14省份相继发布2021年企业工资指导线——引导企业合理提高职工工资今年以来,天津、新疆、内蒙古、陕西、西藏、山东、江西、山西、福建、四
2021-11-19 13:44:34
中新网客户端北京11月18日电 (记者 谢艺观)“一条路海角天涯,两颗心相依相伴,风吹不走誓言,雨打不湿浪漫,意济苍生苦与痛,情牵天下喜
2021-11-19 13:44:31
近日,交通运输部等三部门发布《关于进一步做好货车ETC发行服务有关工作的通知》。通知提到,对不具备授信条件的用户,商业银行可在依法合
2021-11-19 13:44:31
欧莱雅面膜陷优惠“年度最大”风波 涉及该事件集体投诉超6000人次美妆大牌双十一促销翻车?近日,因预售价格比双十一现货贵出66%,欧莱雅
2021-11-19 13:44:13
43 6%受访者会在工作两三年后考虑跳槽54 3%受访者认为跳槽对个人职业发展有利有弊如今对不少年轻人来说,想对一份工作“从一而终”不太容易
2021-11-19 13:44:13
超八成受访青年表示如有机会愿意开展副业 规划能力最重要64 4%受访青年指出做副业跟风心态最要不得如今,“身兼数职”已成为年轻人当中的
2021-11-19 13:44:01
发展氢能正当其时【科学随笔】氢能是一种二次能源,它通过一定的方法利用其他能源制取,具有清洁无污染、可储存、与多种能源便捷转换等优点
2021-11-19 13:44:01
“千杯不醉”的解酒“神药”能信吗?专家:网红“解酒药” 其实不算药俗话说,“酒逢知己千杯少”,酒一直是国人饭桌上至关重要的存在。尽...
2021-11-19 13:43:57
最新文章

相关推荐