![]() |
+ 低压差线性稳压器 |
+ 白光LED驱动 |
+ MOSFET |
+ 32位ARM核Cortex系列 |
+ CMOS逻辑电路 |
当前,AI技术应用已经从感知理解世界迈上生成创造世界的新台阶,生成式AI和大模型展现了前所未有的发展潜力,正以燎原之势走进制造、金融、医疗、交通、教育等行业和领域,引发行业更多创新和变革,加速全社会数字化和智能化转型。作为中国领先的计算产品方案提供商和AI服务器市场TOP3,宝德计算凭借丰富的市场经验和对客户AI需求的深刻洞察,匠心打磨和推出了宝德生成式AI解决方案。 宝德AIGC解决方案是软硬一体化解决方案,既可以集群部署也可以单机部署,方案架构包含硬件层、平台层、服务层和应用层。在硬件层,宝德充分发挥了20年服务器行业技术积累,提供了x86和ARM架构的CPU/GPU/NPU/XPU等、涵盖AI训练服务器、AI推理服务器和AI边缘产品等多平台兼容,进行模型的高速训练、微调和高效推理。在硬件基础上,方案采用K8S进行集群资源管理(单机部署采用Docker)。 基于雄厚的硬件层和平台层,在服务层部署了ChatGLM大模型推理服务、由GLM微调而来的行业大模型-宝德酒业大模型推理服务、宝德自研的嵌入数据仓库服务,可以将行业数据转换成向量数据,存储到向量数据库中,通过相似度匹配算法查询出相关内容交给大语言模型进行推理、LLM Functions服务,主要让大语言模型拥有调用后端接口的能力。基于这些硬件和服务,宝德开发了诸如聊德宝、AI客服和数字人等多种AI应用,可广泛服务于行业大模型、智能语音助手、网络直播、线上教育和培训等领域。 值得一提的是,宝德深耕行业多年,基于对市场的理解和对客户生成式AI多样性的计算需求,可提供生成式AI解决方案的定制化服务。 AIGC快速发展之时,算力越来越紧缺和成本越来越高,逐渐成为影响AIGC发展和落地应用的“绊脚石”。并且,从大模型的发展和应用看,AI推理的规模远高于训练,有效降低推理成本成为宝德的思路。对此,宝德技术团队经过反复测试和调优,心准备了全部采用Intel全新的至强处理器(Max系列)平台,以及Intel GPU的AIGC解决方案,使其集强大的AI计算、推理性能和卓越的经济效益于一体,以充分释放AI动能。 英特尔®至强®可扩展处理器MAX系列CPU在大语言模型(LLM)推理方面有独特优势。它有32至56 个内核,可提供最高 112 线程,内置英特尔高级矩阵扩展(AMX)的AI加速功能,可帮助诸如图像识别、对象探测等任务中的张量处理获得多倍效率提升,并可用于INT8、BF16等不同数据格式,性能高达上一代10倍。而且所有MAX处理器都内置了64 GB的HBM2e 高带宽内存,分为4个16 GB 的集群,总内存带宽为1 TB / s,能够解决大模型工作负载经常受到内存带宽限制的窘境,数倍提升推理性能。并且,其价格极具竞争力。 宝德在基于此CPU和Intel Flex GPU的自研服务器PR2715E上开发部署了LLM 方案-聊德宝,它拥有调用私域数据的能力,让AI应用更加智能化、个性化地为用户提供服务,目前已经应用于宝德服务器AI客服、金沙古酒AI客服、金沙古酒直播数字人等产品。聊德宝具有快速迁移、便捷部署、多路并发的显著优势;最重要的是,该方案价格同比常规方案最高节约超过50%! 大模型和AIGC正在日新月异地蓬勃发展,加速应用场景落地和引领产业变革势不可挡。宝德将继续发挥AI优势,提高自身技术水平,融合行业和伙伴创新技术和能力,不断迭代优化生成式AI解决方案,打造高效便利和更加普惠的AI基础设施,加速释放AI动能,更好地服务中国数字经济高质量发展! 江南官方体育app 上一篇:亮钻科技基于RK3568平台推出 下一篇:amazon s3采用什么架构涉 |