HOME>关于我们>通义千问首次落地天玑9300移动平台!阿里云携手MediaTek探索端侧AI智能体

关于我们

通义千问首次落地天玑9300移动平台!阿里云携手MediaTek探索端侧AI智能体

3月28日,阿里云与知名半导体公司MediaTek联合宣布,通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台,可离线流畅运行即时且精准的多轮AI对话应用,连续推理功耗增量不到3W,实现手机AI体验的大幅提升。这是通义大模型首次完成芯片级的软硬适配,仅依靠终端算力便能拥有极佳的推理性能及功耗表现,标志着Model-on-Chip的探索正式从验证走向商业化落地新阶段。

端侧AI是大模型落地的极具潜力的场景之一。利用终端算力进行AI推理,可大幅降低推理成本、保证数据安全并提升AI响应速度,让大模型可以更好地为用户提供个性化体验。然而,要将大模型部署并运行在终端,需完成从底层芯片到上层操作系统及应用开发的软硬一体深度适配,存在技术未打通、算子不支持、开发待完善等诸多挑战。

据了解,通义千问18亿参数开源大模型,在多个权威测试集上性能表现远超此前SOTA模型,且推理2048 token最低仅用1.8G内存,是一款低成本、易于部署、商业化友好的小尺寸模型。天玑9300集成MediaTek第七代AI处理器APU790,生成式AI处理速度是上一代AI处理器的8倍。

阿里巴巴通义实验室业务负责人徐栋介绍称,阿里云与MediaTek在模型瘦身、工具链优化、推理优化、内存优化、算子优化等多个维度展开合作,实现了基于AI处理器的高效异构加速,真正把大模型“装进”并运行在手机芯片中,给业界成功打样端侧AI的Model-on-Chip部署新模式。

天玑9300设备上,可离线完成基于通义千问大模型的AI多轮会话

基于天玑9300芯片,通义千问18亿参数大模型在推理方面表现出了极佳的性能与功耗表现,推理时CPU占有率仅为30%左右,RAM占用少于2GB,推理速度超过20tokens/秒,系列指标均达到业界领先水平,可在离线环境下流畅实现多轮AI对话。据了解,相关成果将以SDK的形式提供给手机厂商和开发者。

此外,双方团队也已完成了通义千问40亿参数大模型与天玑9300的适配,未来还将基于天玑适配70亿等更多尺寸大模型,“打样”并支持开发更多AI智能体及应用。

MediaTek无线通信事业部副总经理李彦辑博士表示:“阿里云的通义系列大模型是AI领域的佼佼者,我们期待通过双方的合作可以为应用开发者和终端客户提供更强大的硬件和软件解决方案,同时促进生成式AI的端侧部署以及AI应用、AI智能体生态的快速发展,为用户带来更多令人兴奋的AI产品体验。”

当天,阿里云与MediaTek宣布启动联合探索AI智能体解决方案计划,整合MediaTek天玑移动平台的AI算力及阿里云通义千问的大模型能力,为开发者和企业提供更完善的软硬联合开发平台,以更好支持智能终端在端侧高能效地实现自然语言理解、复杂决策制定以及个性化服务生成,探索打造真正具备情境感知、自主学习和实时交互功能的下一代智能终端应用生态。

通义大模型已在各行业广泛落地,包括钉钉、淘宝、一汽红旗、央视网、浙江大学等众多应用、企业及机构。“淘宝问问”基于通义千问实现了全新的交互体验以及更精准的推荐;阿里云与中国一汽联合打造的大模型应用GPT-BI已率先落地,可结合企业数据自动生成分析图表。




http://www.beidisi.com

倍帝斯科技深圳办事处


24年新到货:

CD4019BF3299   CDIP   1622+    TI进口原装正品现货!军工器件!原厂COC!

CD4023BF3A3028CDIP1422+      TI进口原装正品现货!军工器件!原厂COC!

CD4027BF3618CDIP1622+           TI进口原装正品现货!军工器件!原厂COC!

CD4027BF3A3299CDIP1622+       TI进口原装正品现货!军工器件!原厂COC!

CD4029BF3A3107CDIP1622+       TI进口原装正品现货!军工器件!原厂COC!

CD4043BF3128CDIP1622+            TI进口原装正品现货!军工器件!原厂COC!

CD4046BF3A3622CDIP1622+        TI进口原装正品现货!军工器件!原厂COC!

CD4075BF3128CDIP1422+            TI进口原装正品现货!军工器件!原厂COC!

CD4518BF3525CDIP1622+            TI进口原装正品现货!军工器件!原厂COC!

LM193AJ/883Q3287CDIP822+     NSC进口原装正品现货!军工器件!原厂COC!

CD4002BF3849CDIP1421+           TI进口原装正品现货!军工器件!原厂COC!

CD4007UBF3A3176CDIP1421+     TI进口原装正品现货!军工器件!原厂COC!

CD4008BF3016CDIP1615+           TI进口原装正品现货!军工器件!原厂COC!

CD4015BF3A3287CDIP1621+       TI进口原装正品现货!军工器件!原厂COC!

CD4018BF3A3521CDIP1621+       TI进口原装正品现货!军工器件!原厂COC!

CD4049UBF3427CDIP1621+         TI进口原装正品现货!军工器件!原厂COC!

CD4052BF3A3304CDIP1621+         TI进口原装正品现货!军工器件!原厂COC!

CD4081BF3A3710CDIP1421+      TI进口原装正品现货!军工器件!原厂COC!

PE3336-53   PEREGRINE   08+    6000pcs

PE3236-21   PEREGRINE   08+    4800pcs

BTW69-1200RG     ST   2020+   6000pcs

SN65220DBVT    TI   2021+     9000pcs

SI4133-GT     Silicon  2020+     2500pcs

SI4133-GM     Silicon  2020+    2500pcs

SI4136-GT     Silicon  2021+   2500pcs

SI4136-GM     Silicon  2021+   2500pcs

STM32F103VET6    ST  2018+   1000pcs

STM32F105VCT6    ST   2018+   1000pcs

MAX6499ATA+T  MAXIM    2016+    2500pcs

MAX810LEUR+T  MAX   2019+    5000pcs

MAX810REUR+T  MAX   2019+    6000pcs

MAX812REUS+T  MAX   2019+    5000pcs

MAX813LCPA+   MAX   2019+    5000pcs

MAX708CPA+    MAX   2019+    3800PCS

MAX706TMJA    MAXI   2018+   500pcs

MAX809SN293D1T1G   ON   2018+    3000PCS

LM139J          TI    2022+      4500pcs

LM124J          TI    2022+      3000pcs

TPA6132A2RTER   TI   2018+      10000pcs

AD8313ARMZ      AD   2018+     5000pcs

74HC1G14GV      NXP   2018+      50000pcs

ADM706SAR       AD    2018+     10000pcs

SN74LVC1G125DBVR  TI   2018+     10000pcs

CP2102GM    SILICON    2021+       5000PCS    

CP2103GM    SILICON    2021+       5000PCS

LMR14206XMKE   TI     2021+       50000PCS

LT1070HVIT#PBF   LT    2010+      350PCS

HFBR1521Z     AVAGO   2018+    2000PCS

HFBR2521Z     AVAGO   2018+     2000PCS

MCA-50H+     MINI       2010+    500PCS

TPS51206DSQT  TI   2021+   3000PCS

TPS51216RUKT  TI   2021+    2964PCS

TPS51312DRCT  TI   2021+     5000PCS

TPS51362RVET  TI   2021+   3680PCS

TPS74801DRCT  TI   2021+     5260PCS

BQ24133RGYT   TI   2021+   3640PCS

LMR16006YDDCT TI   2021+   5500PCS

LMR16006YDDCT TI   2021+   3960PCS

TPS54302DDCT  TI   2021+   4200PCS

STM8S003F3U6TR  TLV61046ADBVR  

STGD8NC60KD    IRFH5300TRPBF    

BSS83EP2S180F1508C3N     

AM27S85AB3AOP421    CY883LQ057V3DG02  

TPS92610QPWPRQ1      STM32F103C8T6 

APA450FGG144     ASi5386AEGMR50S    

LV10M6.3X6.11002519     STM32F030R8T6  

MSM82C542J10     M04SAU169I7GF     

T232RLF25P0G3     TPS51200DRCR    

LPC1768FBD100B    ME28010m08      

 STM32F103RCT62       M040PB8740                                                         

欢迎新老客户咨询砸单。倍帝斯非常乐意与您合作双赢!

Tel :19198760708  邹先生

      0755-82799629

      QQ:3300327751

      Skype:livebeidiz