计算机行业周报:LLAMA3发布 开源大模型迎重要进展

类别:行业 机构:上海证券有限责任公司 研究员:吴婷婷 日期:2024-04-23

  市场回顾

      过去一周(4.15-4.19)上证综指上涨1.52%,创业板指下跌0.39%,沪深300 指数上涨1.89%,计算机(申万)指数下跌3.94%,跑输上证综指5.45pct,跑输创业板指3.55pct,跑输沪深300 指数5.83pct,位列全行业第25 名。

      周观点

      Llama-3 正式发布,开源大模型迎来新进展。4 月18 日,Meta 正式发布了开源大模型——Llama-3。据悉,Llama-3 共有80 亿、700 亿两种参数,分为基础预训练和指令微调两种模型。Llama 3 的主要亮点包括:(1)基于超过 15T token 训练,相当于 Llama 2 数据集的 7 倍还多;(2)支持 8K 长文本,改进的 tokenizer 具有 128K token 的词汇量,可实现更好的性能;(3)在大量重要基准中均具有最先进性能,Llama 3 8B 在MMLU、GPQA、HumanEval、GSM-8K 等多项基准上超过谷歌Gemma 7B 和Mistral 7B Instruct,Llama 3 70B 也在MMLU、HumanEval、GSM-8K 等基准上超越了闭源的谷歌GeminiPro 1.5、Claude 3 Sonnet;(4)新能力范畴,包括增强的推理和代码能力;(5)训练效率比 Llama 2 高 3 倍;(6)带有 Llama Guard2、Code Shield 和 CyberSec Eval 2 的新版信任和安全工具。基于最新的 Llama 3 模型,Meta 的 AI 助手现在已经覆盖 Instagram、WhatsApp、Facebook 等全系应用,并单独开启了网站。另外还有一个图像生成器,可根据自然语言提示词生成图片。此外,Llama 3 系列最大模型规模将超过4000 亿参数,目前正在训练中,英伟达科学家Jim Fan 认为,这一版本未来的推出将意味开源社区的一个分水岭,开源模型将一举翻越GPT-4 这一高峰。

      Create 2024 百度AI 开发者大会召开,“开箱即用”降低AI 应用开发门槛。4 月16 日,百度举办了Create 2024 百度AI 开发者大会,会上发布了一个强大的基础模型系列和三大AI 开发工具,并将它们组成了一个工具箱,支持开发者打包带走,随取随用。强大的基础模型系列,文心大模型系列,包括:旗舰版的ERNIE3.5 和4.0,和轻量版的ERNIE Speed、Lite、Tiny 等;正式发布文心大模型4.0 的工具版。模型算法的训练效率提升至原来的5.1 倍,周均训练有效率达到98.8%,推理性能提升105 倍,推理的成本降至原来的1%。三大“开箱即用”的AI 开发工具,包括智能体开发工具AgentBuilder、AI 原生应用开发工具AppBuilder、各种尺寸的模型定制工具ModelBuilder,代表了先进生产力。生态持续扩张,文心一言自23 年3 月16 日发布,截止目前用户数、API 日均调用量均突破2 亿,服务客户数达8.5 万,利用千帆平台开发的AI 原生应用数超过19 万。目前,文心大模型已成为中国最领先、应用最广泛的AI 基础模型。我们认为,在强大的基础模型、开箱即用的开发工具以及繁荣的生态赋能下,AI 原生应用的未来发展值得期待,带来AI 生产力、创造力的持续变革。

      投资建议

      建议关注:(1)AI 算力:工业富联、中科曙光、浪潮信息、软通动力、神州数码、拓维信息、海光信息、寒武纪、景嘉微等;(2)AI 应用:科大讯飞、金山办公、万兴科技、同花顺、佳发教育、新致软件、鼎捷软件、焦点科技等。

      风险提示

      下游景气度不及预期;政策推进不及预期;技术创新不及预期、行业竞争加剧。