A前瞻官网
前瞻网
a 当前位置: 前瞻网 » 资讯 » 产经

携带的迷你“ChatGPT”!新加坡大学推出首个迷你AI模型 4个月训练出3万亿个代币【附AIGC技术赛道观察图谱】

分享到:
 趋势速递 • 2024-02-13 16:46:11 来源:前瞻网 E7702G1
100大行业全景图谱

瞻观前沿

新加坡科技设计大学(SUTD)的卢伟副教授、研究助理张培元先生和博士生们最近共同开发了一个名为TinyLlama的开源小语言模型。在曾光涛先生和王天铎先生的带领下,这个模型拥有11亿个参数,在多个基准测试中均表现优异,甚至超过了其他同等规模的开源模TinyLlama只用了短短四个月的时间,就已经预训练了总计3万亿个代币的数据集。

目前的大型语言模型(LLM)如ChatGPT或Google Bard都是由OpenAI或Google等大型科技公司开发的,并且需要数千甚至数万个图形处理单元(GPU)的支持,用户需要在线连接到它们的海量语言模型服务器。相比之下,TinyLlama仅基于16个GPU构建,占用的随机存取存储器(RAM)仅为550MB。这意味着TinyLlama可以轻松部署在移动设备上,让每个人无论走到哪里都可以在口袋里携带一个“迷你ChatGPT”。

小型科技公司以及个人研究人员和开发人员越来越需要更少资源来运行的小型语言模型。因此,这些模型(例如TinyLlama)对他们来说更可行,并且更适合手机等边缘设备。这种模型的紧凑性也使得它们能够满足多种需要在没有互联网连接的情况下进行实时机器翻译的应用程序,这意味着用户可以离线访问语言模型。

1

(图片来源:摄图网)

技术价值观察

AIGC全称为AI-Geneated Content,指基于大型预训练模型、生成对抗网络GAN等人工智能技术,通过已有数据寻找规律,并通过适当的泛化能力生成相关内容的技术。

AIGC产业可大致分为基础设施层、模型层及应用层,目前中国AIGC产业整体层级尚不够完整,模型层成为当前关键卡口。在一定程度上限制了上下层级的发展。

基础设施层:主要分为数据层、算力层、计算平台、模型开发训练平台和其他配套设施。模型层:即垂直化、应用化、场景化的模型和应用工具,主要分为底层通用大模型和中间层模型,底层通用大模型又可分为开源基础模型、非开源基础模型和模型托管平台;中间层模型有人类互动反馈、大模型调整和个性化模型。应用层:即面向C端用户的文字、图片、音视频等内容生成服务,按不同的价值创造逻辑,可分为生产可直接消费内容、结合底层系统生产高附加值内容、提供内容生产辅助工具、用于提供体系化解决方案四类。在这四类中,目前我国落地及变现进展最快的是生产可直接消费内容这一赛道。

迷你AI模型TinyLlama存取在存储器,可随身携带,适用于小型科技公司以及个人研究人员和开发人员,处于AIGC产业链应用层。

图表3:AIGC产业链

宏观市场观察

中国AIGC行业市场份额

目前,中国AIGC行业互联网等大厂具有明显优势,纷纷将资源投入与主营业务结合,打造自己的大模型掌握行业定价权,实现自身生态更好的发展。故挑选了华为、百度、腾讯以及新晋独角兽企业小冰进行市场份额分析。

图表4:2023年中国AIGC行业市场份额(单位:%)图表5:2022年中国AIGC行业主要企业研发投入(单位:亿元)

AIGC多行业渗透,渗透度高

据IDC,2022年中国人工智能行业应用渗透度排名前五的行业依次为互联网、金融、政府、电信和制造。另外,AI为自动驾驶、交通物流所赋予的价值也不容忽视,据麦肯锡预计,AI为交通领域创造3800亿元的经济价值。

图表1:2021-2022年中国各行业人工智能渗透度

中国AIGC行业投融资仍处于起步阶段

从AIGC的投资轮次分析,目前AIGC行业的融资轮次仍处于早期阶段,D轮后的融资寥寥无几。根据前文的分析,2021年尽管AIGC行业的融资时间和融资金额水涨船高,结合轮次分析,也是主要集中在C轮之前,众多初创企业进入,获得了投资机构的关注和早期投资。

图表2:2016年-2022年中国AIGC行业投融资轮次情况-按事件数量(单位:起)

中国AIGC技术赛道热力图

根据前瞻产业热力图显示,目前AIGC关键技术强相关的城市集群主要集中在西北、华北和华中地区,尤其是陕西省成为重点发展区域。这些城市群已投入大量政策、资金、环境和人才资源用于AIGC研发,成为潜在的AIGC技术发展中心。根据热力图的分布西北地区有极大的可能性成为AIGC技术的先导区域。重点关注陕西省西安市雁塔区、北京市海淀区、湖南省长沙市开福区等地的相关企业,以及这些地方对AIGC产业发展的投资环境和潜力市场。

中国AIGC技术赛道热力图

前瞻经济学人APP资讯组

更多本行业研究分析详见前瞻产业研究院《中国AIGC产业发展前景预测与投资战略规划分析报告

同时前瞻产业研究院还提供产业大数据产业研究报告产业规划园区规划产业招商产业图谱智慧招商系统行业地位证明IPO咨询/募投可研IPO工作底稿咨询等解决方案。在招股说明书、公司年度报告等任何公开信息披露中引用本篇文章内容,需要获取前瞻产业研究院的正规授权。

更多深度行业分析尽在【前瞻经济学人APP】,还可以与500+经济学家/资深行业研究员交流互动。

相关深度报告 REPORTS

2024-2029年中国AIGC产业发展前景预测与投资战略规划分析报告
2024-2029年中国AIGC产业发展前景预测与投资战略规划分析报告

本报告前瞻性、适时性地对AIGC产业的发展背景、供需情况、市场规模、竞争格局等行业现状进行分析,并结合多年来AIGC产业发展轨迹及实践经验,对AIGC产业未来的发展前景做...

查看详情

本文来源前瞻网,转载请注明来源。本文内容仅代表作者个人观点,本站只提供参考并不构成任何投资及应用建议。(若存在内容、版权或其它问题,请联系:service@qianzhan.com) 品牌合作与广告投放请联系:0755-33069875 或 hezuo@qianzhan.com

p36 q1 我要投稿

分享:
标签: AI模型 大学

品牌、内容合作请点这里:寻求合作 ››

前瞻经济学人微信二维码

前瞻经济学人

专注于中国各行业市场分析、未来发展趋势等。扫一扫立即关注。

前瞻产业研究院微信二维码

前瞻产业研究院

如何抓准行业的下一个风口?未来5年10年行业趋势如何把握?扫一扫立即关注。

前瞻经济学人 让您成为更懂趋势的人

想看更多前瞻的文章?扫描右侧二维码,还可以获得以下福利:

  • 10000+ 行业干货 免费领取
  • 500+ 行业研究员 解答你的问题
  • 1000000+ 行业数据 任君使用
  • 365+ 每日全球财经大事 一手掌握
  • 下载APP

  • 关注微信号

前瞻数据库
企查猫
前瞻经济学人App二维码

扫一扫下载APP

与资深行业研究员/经济学家互动交流让您成为更懂趋势的人

下载APP
前瞻经济学人APP

下载前瞻经济学人APP

关注我们
前瞻经济秀人微信号

扫一扫关注我们

我要投稿

×
J