携带的迷你“ChatGPT”！新加坡大学推出首个迷你AI模型 4个月训练出3万亿个代币【附AIGC技术赛道观察图谱】

瞻观前沿

新加坡科技设计大学(SUTD)的卢伟副教授、研究助理张培元先生和博士生们最近共同开发了一个名为TinyLlama的开源小语言模型。在曾光涛先生和王天铎先生的带领下，这个模型拥有11亿个参数，在多个基准测试中均表现优异，甚至超过了其他同等规模的开源模TinyLlama只用了短短四个月的时间，就已经预训练了总计3万亿个代币的数据集。

目前的大型语言模型(LLM)如ChatGPT或Google Bard都是由OpenAI或Google等大型科技公司开发的，并且需要数千甚至数万个图形处理单元(GPU)的支持，用户需要在线连接到它们的海量语言模型服务器。相比之下，TinyLlama仅基于16个GPU构建，占用的随机存取存储器(RAM)仅为550MB。这意味着TinyLlama可以轻松部署在移动设备上，让每个人无论走到哪里都可以在口袋里携带一个“迷你ChatGPT”。

小型科技公司以及个人研究人员和开发人员越来越需要更少资源来运行的小型语言模型。因此，这些模型(例如TinyLlama)对他们来说更可行，并且更适合手机等边缘设备。这种模型的紧凑性也使得它们能够满足多种需要在没有互联网连接的情况下进行实时机器翻译的应用程序，这意味着用户可以离线访问语言模型。

（图片来源：摄图网）

技术价值观察

AIGC全称为AI-Geneated Content,指基于大型预训练模型、生成对抗网络GAN等人工智能技术，通过已有数据寻找规律，并通过适当的泛化能力生成相关内容的技术。

AIGC产业可大致分为基础设施层、模型层及应用层，目前中国AIGC产业整体层级尚不够完整，模型层成为当前关键卡口。在一定程度上限制了上下层级的发展。

基础设施层：主要分为数据层、算力层、计算平台、模型开发训练平台和其他配套设施。模型层：即垂直化、应用化、场景化的模型和应用工具，主要分为底层通用大模型和中间层模型，底层通用大模型又可分为开源基础模型、非开源基础模型和模型托管平台;中间层模型有人类互动反馈、大模型调整和个性化模型。应用层：即面向C端用户的文字、图片、音视频等内容生成服务，按不同的价值创造逻辑，可分为生产可直接消费内容、结合底层系统生产高附加值内容、提供内容生产辅助工具、用于提供体系化解决方案四类。在这四类中，目前我国落地及变现进展最快的是生产可直接消费内容这一赛道。

迷你AI模型TinyLlama存取在存储器，可随身携带，适用于小型科技公司以及个人研究人员和开发人员，处于AIGC产业链应用层。

宏观市场观察

中国AIGC行业市场份额

目前，中国AIGC行业互联网等大厂具有明显优势，纷纷将资源投入与主营业务结合，打造自己的大模型掌握行业定价权，实现自身生态更好的发展。故挑选了华为、百度、腾讯以及新晋独角兽企业小冰进行市场份额分析。

AIGC多行业渗透，渗透度高

据IDC，2022年中国人工智能行业应用渗透度排名前五的行业依次为互联网、金融、政府、电信和制造。另外，AI为自动驾驶、交通物流所赋予的价值也不容忽视，据麦肯锡预计，AI为交通领域创造3800亿元的经济价值。

中国AIGC行业投融资仍处于起步阶段

从AIGC的投资轮次分析，目前AIGC行业的融资轮次仍处于早期阶段，D轮后的融资寥寥无几。根据前文的分析，2021年尽管AIGC行业的融资时间和融资金额水涨船高，结合轮次分析，也是主要集中在C轮之前，众多初创企业进入，获得了投资机构的关注和早期投资。

中国AIGC技术赛道热力图

根据前瞻产业热力图显示，目前AIGC关键技术强相关的城市集群主要集中在西北、华北和华中地区，尤其是陕西省成为重点发展区域。这些城市群已投入大量政策、资金、环境和人才资源用于AIGC研发，成为潜在的AIGC技术发展中心。根据热力图的分布西北地区有极大的可能性成为AIGC技术的先导区域。重点关注陕西省西安市雁塔区、北京市海淀区、湖南省长沙市开福区等地的相关企业，以及这些地方对AIGC产业发展的投资环境和潜力市场。

前瞻经济学人APP资讯组

更多本行业研究分析详见前瞻产业研究院《中国AIGC产业发展前景预测与投资战略规划分析报告》

同时前瞻产业研究院还提供产业大数据、产业研究报告、产业规划、园区规划、产业招商、产业图谱、智慧招商系统、行业地位证明、IPO咨询/募投可研、IPO工作底稿咨询等解决方案。在招股说明书、公司年度报告等任何公开信息披露中引用本篇文章内容，需要获取前瞻产业研究院的正规授权。

更多深度行业分析尽在【前瞻经济学人APP】，还可以与500+经济学家/资深行业研究员交流互动。