滴普科技赵杰辉：生成式AI时代，如何让AI真正进入企业核心生产环节？｜WISE2024 商业之王

环境持续变化，时代总在迭变，“商业之王”们紧随时代浪潮，坚持创造，谋求新动能。立足中国经济大转型的当下，WISE2024 商业之王大会，一同发现真正有韧性的“商业之王”，探寻中国商业浪潮里“正确的事”。

环境持续变化，时代总在迭变，“商业之王”们紧随时代浪潮，坚持创造，谋求新动能。立足中国经济大转型的当下，WISE2024 商业之王大会，一同发现真正有韧性的“商业之王”，探寻中国商业浪潮里“正确的事”。

11月28-29日，为期两日的36氪WISE2024 商业之王大会于北京隆重召开，作为中国商业领域的全明星盛典，WISE大会今年已经是第十二届，在不断变化的时代里见证着中国商业的韧性与潜力。

2024，是有些模糊且变化多于稳定的一年。相比过去十年，大家的脚步正放缓，发展更加理性。2024，也是寻求新的经济动力的一年，新的产业变化对每个主体的适应性提出了更高的要求。今年WISE大会以Hard But Right Thing（正确的事）为主题，在2024，什么是正确的事，成为我们更想交流的话题。

时间来到2024年，中国企业已经经历了从数字化、云化，再到如今的人工智能革命等多个阶段。但这些变革，都离不开最底层的数字化——企业的数字化建设，相当于是这些变革的“地基”。

成立于2018年的滴普科技，就是这样一家深耕企业数字化转型多年的数据智能基础设施服务商，正致力于产业生成式AI落地和基础平台建设。

在今年的WISE大会上，董事长兼CEO赵杰辉带来了《产业生成式AI落地与基础平台建设》的主题分享。

“因为生成式AI的产生和应用，让原来的数据平台市场在变大，”赵杰辉表示，“所有这个行业里的客户和供应商，都需要重塑自己的产品组合。”

生成式AI浪潮来临后，大模型如何落地，成为2024年的热议话题。赵杰辉认为，企业只有大模型的通用、基础能力远远不够，必须在这个基础之上，和更小的垂直模型相结合，形成完整技术栈，才能让AI进入到核心的生产环节。

来源：36氪

以下为滴普科技CEO赵杰辉的演讲全文，经36氪整理编辑：
 

赵杰辉：大家好！

去年在这个舞台上，我跟大家分享了关于企业服务这个市场和AI融合的一些初步思考，经过这一年的发展，我们深刻的感觉到：生成式AI在彻底的重构企业服务这个市场。今天，将从这个角度继续分享一些我们的思考。

大家肯定知道企业服务市场在今年之前，基本上一直在做数据服务，经过这一年的发展后，会发现企业在数字平台建设上，正在被AI深度重塑这个市场。

这里分享几个要点。

首先，生成式AI的产生和应用，让原来的数据平台市场变大，因为AI可以更好的发挥整个数据对于企业的价值；

其次，所有这个行业里的客户和供应商需要重塑自己的产品组合，让数据平台的升级和客户落地，以服务AI落地赋能为唯一目的。因为，没有与AI融合的数据平台和IT建设投入，都缺少一定的实际价值。

今天上午，我还跟一个客户在交流，当时我提到了一点：以后所有的数据平台，包括数据湖仓的建设，都指向一个目的：为了AI在产业里面落地。

今年，IDC刚刚发布了《2023年中国制造业大数据解决方案市场份额》报告，目前跟AI结合比较深度的服务商，排名都靠前了，滴普科技也大幅度向上提升到了前几名。创业从2018年开始到现在，这6年时间，滴普科技的整个产品组合也是随着AI发展和落地有了很大的变化。

最早的时候，大家可能知道在企业服务这个市场，我们做了数据中台、数据集成工具、湖仓引擎等四款产品，最后统一重构为实时智能湖仓平台FastData。

在2022下半年的时候，基于模型的发展，跟数据的结合已经出现，我们的产品跟国产算力平台融合成为一体机的解决方案，最后形成了能在企业落地AI的非常基础的平台。

来源：36氪

 

目前平台升级为现在这个架构（如上图）。一个企业要想落地AI，在任何场景里面，首先要有一个比较有性价比的算力平台。之后，如果说企业只是做简单文档抽象工作，可能不需要非常复杂的融合数据平台。可一旦想让AI深入到业务本身的推理和决策过程，非常完善的企业融合数据平台和模型服务平台是必要的。

模型服务平台不仅仅是大语言模型。因为在企业提供所有的知识和数据之后，想在企业里面去落地大模型，要解决两个非常大的问题。

第一个问题，单有大语言模型不能解决这个需求。只有大语言模型的话，是能做一些文档的抽象等工作。但如果要在企业里面做业务决策辅助和推理，它一定要跟数据结合，FastData就是为这一目标做了深度升级。

第二个问题，只有大语言模型的话，当企业提供一堆的图纸、文档，包括很复杂的数据，这些很难变成语料，无法跟深入的专业机理模型配合。这个过程里面需要模型，跟原来的垂直模型或者小模型形成服务企业完整的模型技术栈，才能完成企业大模型的落地。

所以，企业AI的落地，从语料工程到多个小模型和大模型的协同，形成完整的技术栈是非常重要的事情，这也是我们FastAGI大模型服务平台去解决的问题。

我们现在最主要聚焦在几个重要领域，第一是大消费领域供应链快反的AI辅助，包括百丽时尚为代表的头部零售企业，我们基于原有的平台，已经做了深度的落地应用。

第二是在生产领域里面，对于图纸的辅助设计、工艺参数辅助调整，我们也完成了诸多落地。

另外，我们也跟香港的医疗机构深度合作，进行AI for healthcare方面的落地探索。

现在，面对大企业里面的核心场景，从供应链到生产过程，我们已经与诸多行业头部的企业展开了深度合作。

总体说。企业真正要进行大模型的场景落地，融合数据平台是非常重要的前提。还有在模型服务上，除了大语言模型外，还要和多个垂直模型协同。比如说工艺方面，工艺编制模型以及原有模型要形成完整的技术栈，才能去工作。

在基础大模型这个事情上，我一直有个观点：在大型企业做落地，一个大模型便能够切实的产生场景价值，目前我们看到的72B参数量以下的模型，就能够在现有条件下应对大多数应用场景。

如果在To B的客户落地大模型，并产生场景价值，是需要一定量级的模型参数，这样会导致一个问题，即成本和最后的收益不成正比。因此目前无论是我们做的供应链深度应用，还是生产过程的深度应用，大型企业To B场景的落地实践中，目前可以基于这个规模的模型为主，这主要考虑到企业落地过程中保证效果与成本的综合最优。

我们现在有两款基础模型，72B和32B，相对于做To C服务的模型，这两个模型最重要有几个特点：

首先，要对企业经常用到的所有语料进行扩充；

其次，在企业应用有三个重要的能力，都需要做到100%的精度。第一就是查数，自动生成精准SQL的能力需要极度的准确。第二就是对原有的各种系统的函数调用能力要做到100%准确。还有就是非常复杂的图纸、文档深度的RAG要非常精准。这些方面，滴普科技做了非常深度的工作。

再有就是安全，因为在企业里面一定会涉及到信息安全，这方面也非常重要。我们跟南方科技大学共同发布了中文的模型安全审查模型工具—Deepexi-guard，为企业的模型安全提供服务。

回到刚才提到的模型服务平台，我们来看这个模型服务平台和基础模型之间的关系。可以发现，真正把模型落到企业场景时，大语言模型是底下的那一层，再往上，需要把所用到的垂直模型和大语言模型做非常好的深度融合和协同，才能够在企业里面用起来，产生业务价值。

比如说如果要做工艺参数优化，要有原来工艺的机理模型，要有图纸设计，要让垂直专业模型要跟底层的大模型很好地协同，形成基础的企业模型技术栈才可以。

当把这个事情部署在客户那里的时候，客户会给你大量的规范文档知识，以及对接客户大量的系统数据。这个时候，你要具备非常强的语料工程能力。

比如某头部工程设计集团，达成合作之后，给了我们大几十G的图纸和规范。我们要把基于这些材料数据通过多种切片规则和智能预处理预料合成的方式，构建融合数据企业级知识库，之后对模型进行专项任务精调，准确理解相关提问人员需求，从而提升回答精度。所以，模型工程同样重要。

当你认为这个模型已经调试好了，怎么评估他是不是可以上岗工作？模型评估就变得非常重要，再往上就是大家所知道的应用开发平台。

另外，我们会面临一个很大的问题。在国内算力供应情况下，大量企业怎么快速落地这件事情？

目前，我们推出了基于国内外主流芯片的大模型训推一体服务器Fast5000E。

在大的企业里面其实去落大模型的时候，真正做基础训练的需求并没有那么大，主要是做SFT（监督式微调SFT, Supervised Fine-Tuning）。

大量的算力需求是在推理这一侧，目前国产芯片的能力水平基本能支撑企业推理使用。此外，我们做了一个加速卡，使可获得的英伟达芯片在插上加速卡之后，可以跑一定参数的模型推理，完成推理的过程。面向很多端侧的需求，例如生产线需要应用一些推理的设备，滴普科技后续会出一些端侧推理的产品。

至于在企业落地大模型，是租用算力中心的算力，还是用云上的，或者自己建一体机？

我的看法是这样的，在初期一至两年的建设中，如果有充分预算，且能够投入到大模型跟场景结合的公司，一般都是大型公司。这类公司在初期尝试的时候，会倾向于自己去买训推一体机，先把场景做起来，并不断完善，这样效率很高。

当AI在产业里面落地越来越成熟之后，大量的企业开始要去做这件事时，可能更多地就需要考虑租算力。

这是非常重要的一个过程，随着客户不同，阶段不同是有变化的。所以说，如果在核心场景中落地大模型，刚开始可以通过使用训推一体机的方式，来加速大模型在企业核心场景的落地应用的探索进程。

基本上，我们软件体系部署在企业之后，可以开箱即用。大部分客户两周之内就能看到初步的效果。

像刚才提到的，如果企业只是需要整理一下会议纪要、文档，用基础模型基本上问题不大。可如果要在这个企业里面做很多真实的实时业务的推理决策辅助，那么，数据平台的升级是非常重要的。

这里的核心是，原来系统里面的数据，其实是业务实时的状态记录，但是逻辑、知识、文档，包括公司管理规范，文档应该怎么管，这些都存在业务的上下文逻辑。

现在市场需要的数据平台，是要具备把结构化的数据和非结构化的数据进行统一管理的能力，只有这样，让数据平台形成企业的实时业务状态数据，以及能做到业务上下文逻辑的结构化，非结构化数据统一管理。形成企业超级数据融合体，才能支撑在模型训练完之后，进行深度的推理。

稍微介绍一下我们公司，滴普科技自2018年成立以来，获得了很多荣誉，也被纳入了诸多AI领域权威的榜单。目前在大企业的AI实际落地中也有了很多典型案例，非常欢迎大家一起参观交流。

最后总结一下，在企业以及大的行业里面要去落地人工智能和大模型，我们要思考的两个关键问题：

第一，升级整个企业的结构化、非结构化数据平台统一管理，为AI深度业务落地形成数据基础。

第二，企业需要完整的模型服务平台，它能够把多个垂直专业模型基于大语言模型进行整合，形成完整的模型技术栈，并能提供如语料工程、模型安全、模型评估等工程化。

谢谢大家！