通信行业周跟踪:英伟达新推H200 推理性能飞跃
投资要点
市场整体:本周(2023.11.13-2023.11.19)市场整体上涨,申万通信指数+3.20%,上证综指+0.51%,科创板指数+0.18%,深圳成指+0.01%,沪深300-0.51%,创业板指数-0.93%。细分板块中,周涨幅最高的前三板块为物联网(+7.67%)、连接器(+4.54%)、工业互联网(+4.26%)。从个股情况看,美格智能、剑桥科技、瑞可达、新易盛、博创科技涨幅领先,涨幅分别为+15.60%、+12.64%、+12.53%、+9.93%、+8.47%。源杰科技、中国电信、中国卫通、金山办公、中国移动跌幅居前,分别为-4.96%、-3.25%、-1.86%、-1.74%、-1.51%。
行业动向:英伟达新推H200,推理性能飞跃
事件:14 日美股盘前,英伟达宣布推出新一代AI 芯片H200,并将于2024Q2正式发货。
作为H100 的升级产品,两者相同之处在于均基于英伟达Hopper 架构打造,即两款芯片可以互相兼容,且可与GH200 兼容,且算力方面,同精度下两者算力能力保持一致;升级之处在于,1)H200 是英伟达首款使用HBM3e 内存的芯片;2)相较H100,H200 的内存容量由80GB 提升至141GB,带宽由3.35TB/s增加到4.8TB/s。
从表现上来看,H200 性能升级主要体现在在大模型推理和HPC 访问速度的显著提升:1)大模型推理方面,H200 在1750 亿参数的GPT-3 上推理速度提升60%,700 亿参数的Llama2 大模型上的推理速度提升90%;2)显存密集型HPC 应用方面,H200 访问与操作速度可提升至CPU 的110 倍。
点评:随AI 应用端落地推理侧性能要求将快速提高,此次H200 性能提升主要集中在推理侧而非训练侧,有望在继续加快AI 应用落地和打开应用场景。
此外,根据英伟达公布的芯片路线图,2024/25 年将会陆续推出基于Blackwell架构的B100 及再之后的X100 芯片等,算力板块将长期处于高速发展态势。
风险提示:
下游需求不及预期,技术突破不及预期,产能瓶颈,外部制裁升级。