亚美体育(中国)官方网站

研究团队开发开源大模型训练框架 Oobleck 提供快速且有保障的故障修复亚美体育 亚美体育官方网站 app
栏目:亚美动态 发布时间:2023-12-19
 的开源大型模型训练框架,利用管道模板的概念,提供了快速而有保障的故障恢复,避免训练吞吐量下降。  Oobleck的设计核心是管道模板,这是针对给定节点数量的训练管道执行的规范,用于实例化管道副本。这些模板在逻辑上等效(可以一起用于训练相同的模型),但在物理上是异构的(使用不同数量的节点),从而在保障容错性的同时提供高吞吐量和快速恢复。  与现有框架相比,Oobleck是第一个利用大型语言模型固

  的开源大型模型训练框架,利用管道模板的概念,提供了快速而有保障的故障恢复,避免训练吞吐量下降。

  Oobleck的设计核心是管道模板,这是针对给定节点数量的训练管道执行的规范,用于实例化管道副本。这些模板在逻辑上等效(可以一起用于训练相同的模型),但在物理上是异构的(使用不同数量的节点),从而在保障容错性的同时提供高吞吐量和快速恢复。

  与现有框架相比,Oobleck是第一个利用大型语言模型固有冗余进行容错的框架。通过使用预生成的异构模板,它提供了高吞吐量、最大利用率、有保障的容错性以及在故障恢复时避免检查点或重算方法的开销。

  站长之家(12月19日 消息:随着对生成式人工智能技术需求的激增,大型语言模型的训练和容错性要求也在不断增加。为应对这一挑战,密歇根大学的研究人员开发了一款名为Oobleck的开源大型模型训练框架。该框架采用管道模板的概念,为大型模型的预训练提供了快速而可靠的故障恢复机制。

研究团队开发开源大模型训练框架 Oobleck 提供快速且有保障的故障修复亚美体育 亚美体育官方网站 app(图1)

  传统框架在大型语言模型预训练时缺乏系统支持,而Oobleck通过引入管道模板的概念创新性地解决了这一问题。这些管道模板在逻辑上等效,但在物理上是异构的,允许在训练时利用固有的冗余来提高容错性。相比于现有方法,Oobleck的优势在于其高吞吐量、最大利用率以及对故障的有保障快速恢复,而无需使用检查点或重算方法。

  Oobleck的执行引擎在训练作业开始时,根据最大同时容忍的故障数量实例化至少f+1个异构管道。在故障发生时,框架通过简单地从预计算的管道模板重新实例化管道来进行恢复,避免了在运行时寻找新的最佳配置的繁琐分析。因此,使用预生成的管道模板总能够保证Oobleck从f个或更少的故障中恢复。

  这种管道模板的引入不仅是对问题发生后缓慢处理或对所有可能情景进行规划的一种平衡,而且为分布式计算系统中的高效而有效的弹性提供了示范。未来,研究人员计划将管道模板应用于改进各种生成式人工智能应用的弹性,首先从推理服务系统开始。

  总的来说,Oobleck的开发标志着利用固有冗余提高容错性的新里程碑,为大型模型的高效训练和故障恢复提供了一种创新性的解决方案。

  11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!

  亚美 亚美体育app下载

  在当前大模型参数规模呈指数级增长的情况下,腾讯近日披露了混元大模型训练的最新方法,通过升级自研机器学习框架Angel,成功提升大模型训练效率。这一升级使得千亿级大模型训练可以节省高达50%的算力成本,为应对算力紧缺提供了有力支持。腾讯内部已有超过300项业务和应用场景接入腾讯混元大模型内测,涵盖了文本总结、摘要、创作、翻译、代码等多个领域,这标志着整个生产链路的全面升级,从模型研发到应用落地形成了一站式的平台,进一步推动了大模型应用的发展。

  Keras3.0的发布标志着一次重大的更新迭代,经过5个月的努力,该版本在多个方面带来了显著的改进。Keras3.0全面支持了TensorFlow、JAX和PyTorch框架,这意味着用户现在可以选择在不同框架上运行他们的Keras工作流。Keras3.0的发布不仅为深度学习开发者提供了更多选择和工具在多方面的性能和灵活性上有了显著提升,为未来的深度学习应用奠定了更加坚实的基础。

  科技的浪潮几十年一个轮回,不同的剧本却总是响起相似的鼓点。一年前ChatGPT的惊艳现身,是属于大模型时代的「iPhone时刻」;那么,7月间Meta将Llama2开源,则被认为是拉开了大模型时代的IOS与安卓之争。高质量开源的基础大模型,在开放生态的推动下不断迭代优化,进推动AI应用的创新涌现,这一整条清晰的商业路径正悄然形成增长飞轮,让AI普惠不再是一句虚言。

  为了满足大模型对计算资源的需求,智源研究院开发了FlagAttention项目,旨在构建一套适配多种芯片的大模型核心算子集合。该项目选择使用Triton作为开发语言,通过Triton的开放性和易用性,使得FlagAttention不仅支持NVIDIAGPU可以显著降低不同芯片之间模型适配的成本,提高大模型的训练与推理效率。FlagAttention还将支持更多功能,并与其他芯片厂商合作,优化算子的性能和适配。

  开源大模型社区HuggingFace公布了最新的开源大模型排行榜,通义千问在预训练模型类别中脱颖出,占据榜首位置。HuggingFace开源大模型排行榜涵盖了全球上百个顶尖的开源大模型,并从阅读理解、逻辑推理、数学计算、事实问答等六个维度进行了全面评估。阿里云开源通义千问720亿参数模型。

  一年前的今天,ChatGPT横空出世,人工智能的新时代似乎已经到来。短短两个月,ChatGPT积累了一亿用户,速度远超TikTok和YouTube等热门应用;似乎每隔几天就会有新的基于生成式人工智能的创业公司出现;以ChatGPT和GPT-4为核心的智能助手也开始走进各个行业中,帮助普通用户简化工作流程和提高效率。这份调查为开源LLM的有前景的方向提供了启发,并将激励该领域的进一步研究和发

  KAUST研究团队推出的CAMEL框架引起了广泛关注。该框架以角色扮演为基础,使AIAgents在复杂任务中能够协作和竞争,产生惊人的群体智能效果。这一项目的未来发展将引领大型语言模型领域走向新的高度。

  全球社交、科技巨头Meta在官网宣布,与甲骨文、英特尔、AMD、IBM、索尼、戴尔等57家科技、学术研究机构组成——AI联盟。在这57家组织中很多是大模型开源领域的领导者,例如,类ChatGPT模型的开源鼻祖Meta;文生图领域最知名开源平台StabilityAI;全球著名的大模型开源分享平台之一HuggingFace等。除了汇聚AI领域的领先开发者、科学家、学者、学生和商界领袖,AI联盟还将计划与政府、非营利组织和民间社会组织的现有重要倡议合作,这些组织正在AI领域开展有价值的合作。

  亚美 亚美体育app下载

  瑞士洛桑联邦理工学院与苹果联手推出了一项名为MassivelyMultimodalMaskedModeling的人工智能框架,旨在解决训练跨多模态视觉基础模型的挑战。尽管在自然语言处理领域,训练大型语言模型已经取得了显著成功,但在视觉领域,仍需要构建能够灵活处理多种输入模态和输出任务的模型。通过对4M性能影响的深入消融分析,结合该方法的简便性和通用性,研究人员认为4M在许多视觉任务和未来发展中具有巨大的潜力。

  开源模型在人工智能领域展现强大活力,但闭源策略限制了LLM的发展。邢波团队提出的LLM360全面开源倡议旨在解决这一问题。这一全面开源的趋势有望促进更多研究者的参与与合作,推动人工智能技术的不断创新。

  HO HO Hello是一个定制圣诞老人视频信息的在线平台。用户可以在该网站上定制一段圣诞老人针对孩子的视频信息,视频内容会包含孩子的名字以及父母提供的其他个人信息。该服务定价合理,一段孩子个性化视频信息仅需$14.95美元,最快24小时内发送。它是给孩子制作难忘圣诞礼物以及培养节日气氛的好选择。

  LowerEBill是一个免费的电力计划比较和推荐平台。它利用专利AI技术,根据用户的用电历史数据,从3000多个计划中找到最省钱的个性化电价计划。主要功能包括:地址搜索立即匹配历史用电数据;AI算法计算最省钱计划推荐;每日更新的电价计划库;方便快捷的电力计划比较等。可大幅降低电费开支,提高生活质量。

  VOODOO 3D是一种高保线D感知一次性头部重现技术。我们的方法将驱动者的表情转移到源头,并为全息显示产生视图一致的渲染。该方法基于完全体积神经解缠框架,用于源外观和驱动表情的3D感知一次性头部重现方法。我们的方法实时性强,产生的输出高保真且视图一致,适用于基于全息显示的3D远程会议系统。我们在各种数据集上展示了最先进的性能,并展示了对高度具有挑战性和多样化主题的高质量3D感知头部重现,包括非正面头部姿势和源头和驱动方的复杂表情。

  IXORD是一个人工智能驱动的家庭规划应用,通过智能列表、协作日程和无缝组织,帮助用户简化家庭计划。主要功能包括:个性化备忘录、解释复杂任务的AI助手、平衡工作和生活等。定位为个人ORGANIZER和助手。

  Shopilot是一款智能购物助手,能够帮助用户在购物过程中快速找到最低的在线价格。用户只需扫描商品条形码,即可立即发现最低的在线价格。此外,用户还可以与AI进行对话,获取详细的产品信息和建议。Shopilot还支持自动创建购物清单,根据用户想要制作的食谱自动生成购物清单。用户还可以通过拍照的方式整理和管理购物小票,包括购买的商品信息。此外,Shopilot还能帮助用户节省日常外卖的开支,让用户利用家中现有食材烹饪更实惠、更美味的餐点。

  Twinit是一个AI角色交流平台,提供各种虚拟角色供用户交流。用户可以与不同角色互动,包括文字聊天和语音交流。该平台的角色种类繁多,包括视觉角色和语音角色,每个角色都有自己的特点和个性。Twinit定价灵活,用户可以根据需求选择订阅不同角色或功能。该产品定位于为用户提供虚拟角色交流的全新体验。

  AiBucket是一个集成了各种AI工具的平台,帮助用户快速找到最适合的工具,加速工作效率。平台提供了各种AI工具,涵盖图像处理、文档处理、SEO优化、产品设计等多个领域。这些工具都经过筛选,确保质量和可靠性。用户可以免费使用这些工具,提升工作效率。

  NullFace是一款利用人工智能技术生成匿名面部视频的工具。用户只需分享自己的想法,NullFace即可自动为其生成面部模糊的视频,使用户能够在社交媒体上分享内容而不必曝光个人面部。该工具可自动管理社交媒体渠道,生成观看和收入,无需持续创作内容或成为渠道的焦点。NullFace让用户能够轻松地在线赚取收入,解锁社交媒体的力量。

  Songbird 是一个集听新闻、读资讯和获取信息于一体的产品。它提供快速、简洁的新闻浏览功能,帮助用户了解最新的新闻和资讯。通过 Songbird,用户可以方便地收听各种新闻、阅读文章,并获得客观、中立的信息。Songbird 专注于为忙碌的用户提供中立的新闻报道,帮助他们更好地了解世界。

  Smart Content是一种智能内容生成工具,使用AI技术快速生成电子邮件文本。它可以帮助您节省时间和精力,为您的电子邮件营销活动提供新鲜的内容。Smart Content可以根据您的要求生成多个版本的电子邮件文本,并提供编辑和优化功能。它还提供了预定义的模板和建议,以帮助您在几分钟内创建出色的电子邮件。

  Neexa是一个AI驱动的销售助手,旨在24/7全天候地代表您处理客户反对、谈判和成交。它确保您所有的潜在客户都得到及时、策略性的回复。

  AI Snap是一款革命性的AI绘画应用,能够将您的照片和视频转化为迷人的艺术作品。它提供多种艺术风格供您选择,让您探索无限的创作可能性。AI Snap能够瞬间将日常瞬间转化为艺术奇迹,同时还支持个性化调整参数,实现您风格与AI创意的完美融合。不仅能够转化照片,还能将视频转化为迷人的艺术形式。AI Snap重视用户反馈,欢迎您与我们分享您的想法、建议和艺术发现。

  Agenda Hero是一个Chrome插件,可以智能分析文本,抓取时间、地点等信息生成日历事件,支持一键发送到Google日历。它可以极大提高日程规划效率。

  Try On Now是一款基于AI技术的虚拟试衣产品,通过使用数十亿张照片训练的AI模型,能够快速准确地识别用户的体态并提供愉悦的虚拟试衣体验。它可以让用户在线上尝试任何服装,从知名品牌到最新潮流,为线上购物带来智能便利和真实体验。对于商家来说,Try On Now还提供了多商店集成、个性化购买体验等功能,可帮助提升转化率和降低成本。

  Digest AI是一款基于AI技术的视频转文本、博客生成工具。用户只需输入YouTube视频链接,Digest AI就会分析视频内容并生成结构化的文章或摘要,帮助用户节省时间和精力。Digest AI的优势在于其高效、准确、易用,适用于内容创作者、教育者和学习者。

  imagepipeline提供REST API服务,用户可以通过API调用Stable Diffusion等模型来生成AI图像,无需维护GPU服务器。主要功能包括Stable Diffusion图像生成、自定义模型上传、Lora和Controlnets管道组合等。优势是易用、性价比高,无需自建服务端。定价分月付费和企业定制两种。定位是AI创业公司和个人开发者。

  Mental Pro是一个通过思想训练帮助男性提高头脑韧性和自律性的在线分钟的思想训练技巧,冷水浴协议来帮助减压和提高清醒度,以及针对性的AI辅导服务。产品定位中高端人群。

  Creatify 是一款基于人工智能的应用程序,可以从简单的产品链接或文本描述中生成高质量的营销视频。无需任何视频制作经验,只需点击几下即可定制无限的变体。

  利用人工智能的力量,使用 LinkBoss 来改善你的 WordPress 网站的内部链接策略。无需费力,轻松建立强大的主题群,并利用智能上下文链接功能提高网站的排名。无论是批量内部链接、为上下文生成新内容,还是管理多个网站的内部链接策略,LinkBoss 都可以助你一臂之力。详细报告可帮助你全面了解网站的情况。

  EarnBetter是一款智能AI简历定制平台,通过上传现有简历,AI系统将在几分钟内重新格式化和改写成专业版本的简历。同时,通过每天扫描数百万个职位,AI会根据用户的个人资料和偏好为其提供最佳匹配的工作。此外,EarnBetter还提供定制的求职信和简历,帮助用户在瞬间脱颖而出。定价灵活,免费试用。