游客发表
时隔 8 个月,速率数倍google又提出了一种能在 20 秒内实现人脸特色化处置的提升更天生模子 。
此前,惟独google以及波士顿大学的张图钻研者提出了一种「特色化(Personalization)」的文本到图像散漫模子 DreamBooth ,用户惟独提供 3~5 个样本 + 一句话,句话AI 就能定制照片级图像 。新模现变
对于「特色化」咱们可能这样清晰 ,秒即以输入图像为参考,可实天生的速率数倍图像在种种情境以及差距气焰中都能坚持对于其身份的高度忠实。
举例来说 ,提升输入左侧 4 张小狗的惟独照片 ,DreamBooth 就能天生差距规范的张图小狗,如小狗在景点里遨游、句话在海里游泳 、新模现变趴在窝棚里睡觉、秒即致使人类给它修剪毛发 ,而天生的图片都高度坚持了原图像的特色 。
可是,特色化历程在光阴以及内存需要方面还存在良多挑战 。详细到单个特色化模子 ,妨碍微调需要大批的 GPU 光阴投入,不光如斯,特色化模子还需要很高的存储容量 。
为了克制这些挑战,时隔 8 个月,google又提出了一种新的天生模子 HyperDreamBooth。HyperDreamBooth 可能天生差距高下文以及善焰的人脸 ,同时还能保存面部关键知识 。
在只运用一张参考图像的情景下,HyperDreamBooth 在约莫 20 秒内实现为了对于人脸的特色化处置,比 DreamBooth 快 25 倍,比 Textual Inversion 快 125 倍,不光如斯 ,天生的图像与 DreamBooth 品质同样 、气焰还多样性。此外,HyperDreamBooth 还比老例的 DreamBooth 模子小 10000 倍。
论文地址 :https://arxiv.org/pdf/2307.06949.pdf
论文主页:https://hyperdreambooth.github.io/
在咱们深入品评辩说技术细节以前,先看一些下场 。
下图中 ,右侧一栏是输入图像 ,给定一张图像就能;中间一栏是凭证差距的揭示天生的人脸 ,揭示语分说是 Instagram 上一张 V 型脸的自摄影;皮克斯卡通人物的 V 型脸;摇滚明星 V 型脸;树皮同样的 V 型脸。最右侧天生的是人物业余照片 V 型脸。服从展现 ,HyperDreamBooth 具备至关大的可编纂性 ,同时还能坚持人物关键面部特色的残缺性