分享
Daily Summary|Vol. 20230526
输入“/”快速插入内容
Daily Summary|Vol. 20230526
01.产业新闻
🔗 Meta发布Megabyte
Meta AI提出了一种名为Megabyte的新的AI模型架构,可以在多个格式中生成超过100万个标记。Megabyte解决了当前模型的可扩展性问题,并并行执行计算,提高了效率,超越了Transformers。
🔗 微软暂停加薪以“投资于AI浪潮”
微软首席营销官在公司的Yammer群组中回应了一条抱怨停止加薪的信息,他表示这些变化部分是因为微软希望投资于AI浪潮。
🔗 Meta开始了最新一轮裁员,重点是业务组
Meta的第三轮裁员将影响到其业务组的成员,包括在用户体验、营销、招聘和工程方面担任职务的人员。
🔗 亚马逊的AI被视为不成熟
亚马逊的云客户渴望使用该公司在六周前推出的ChatGPT风格技术。但是,许多人被告知坐等,引发对该 AI 工具并未完全成熟的担忧。
02.研究动态
🔗 QLoRA在48GB GPU上进行了65B参数模型微调
LoRA是一种比完全微调更便宜地微调模型的方法。它通过仅更新模型的一小部分进行工作,这些部分经过精心选择。然而,即使如此,使用普通硬件在大型(超过130亿参数)模型上进行微调通常仍然过于昂贵。量化降低了模型中参数的精度,从而占用更少的空间。开源进展更加出色。
🔗 SEAHORSE:用于评估多语言摘要系统的工具
SEAHORSE是一个数据集,用于评估多语言摘要系统的质量。它包含了96,000个根据六个重要方面(清晰度、重复、语法、归属、主要观点和简洁性)由人类评分的摘要。该数据集不仅作为评估自动度量性能的基准,还为训练这些度量提供了宝贵的资源,帮助研究人员推动多语言摘要评估领域的发展。
🔗 Meta上下文学习:递归改进大型语言模型
本文介绍了Meta上下文学习,这是一种用于大型语言模型的递归自我改进过程。通过研究回归和决策任务,研究人员证明了Meta上下文学习增强了模型的上下文学习能力,修改了它们的策略,并在实际问题上取得了竞争性能。
🔗 ControlVideo:改进一致性和质量的文本到视频生成
ControlVideo是一种新颖的框架,通过引入一种无需训练的方法来解决从文本生成视频的限制。通过利用结构一致性、增强外观一致性、减轻闪烁效果和采用分层抽样,ControlVideo在生成高质量的短视频和长视频方面胜过现有方法。重要的是,ControlVideo能够以高效的方式实现这些结果,仅使用一张NVIDIA 2080Ti GPU在几分钟内生成视频。
🔗 神经网络以类似于人类的方式学习语言
该文章讨论了一项研究,该研究将人类听取一个简单声音时产生的脑电波与神经网络分析相同声音时产生的信号进行了比较。结果非常相似,表明自然和人工网络在学习方面以相似的方式进行,至少在语言方面是如此。
03. 产品体验
🔗 ChainForge
用于对LLM进行Prompt战斗测试的开源可视化编程环境。
🔗 LoopGPT
LoopGPT是流行的Auto-GPT项目的重新实现,作为一个合适的Python包,具有模块化和可扩展性。
🔗 Desku
通过Desku的AI增强自动化改变您的业务!使用共享收件箱轻松协作,并通过WhatsApp集成将一次性访客转化为重复客户。与Desku一起体验客户支持和客户体验的未来!
04.延伸阅读