大华股份张玮：图数融合 深耕大模型 赋能城市治理

2024年1月19日，在大数据模型日益成为社会热潮的当下，大模型开启数智安防新时代——第十届智慧城市建设创新发展大会暨深圳市智慧安防品牌推介会在深圳圆满举办。浙江大华技术股份有限公司智慧城市首席架构师张玮先生现场分享了“图数融合 深耕大模型 赋能城市治理”主题演讲。

浙江大华技术股份有限公司智慧城市首席架构师张玮

以下是张玮现场演讲实录，部分内容智慧安防网做了不改变原意的修改。

各位领导，各位嘉宾，大家上午好！非常感谢有这次机会，和大家分享一下大华在最近几年在智慧城市行业里面的一些实践和思考，这么多专家都在座，我今天也是抛砖引玉。

我们智慧城市行业持续发展，技术和业务就像两个轮子，共同推动我们行业的进步。在早期，这主要体现在行业信息化方面，随着大数据业务和技术的发展，我们开始尝试实现“最多跑一次”的政务服务改革，这实际上是业务对技术提出了新的要求。而物联网和视图智能的发展，又进一步推动了城市的精细化管理的发展，上海提到城市治理要像绣花针一样精细，其实这些都是技术和业务的进步在不断推动这个行业向前发展。

随着大模型、人工智能等技术的不断发展，业务与技术之间的火花愈发绚烂。回首过去，技术与业务相互推动，为智慧城市的建设留下了宝贵的财富。这些财富正是行业中积累的多样化数据，这些数据的多样性、规模性以及隐私性，都为数据处理带来了巨大的挑战，尤其是对于视频、物联网等行业而言，我们需要进行视图计算和挖掘，同时还要尝试将这视频物联数据和政务数据进行联动，以释放数据的最大价值。

在城市管理和治理中，视图智能确实能发现一些事件和个体。这些事件和个体背后的执法、服务处理逻辑却是各异的，因为人的背景据是不同的。以流动摊贩为例，他们背后可能有各种原因。对于这些人，我们的执法或服务手段不能一概而论。我们一直在思考如何让治理更贴近老百姓，更具人文关怀。这就是我们长期以来的挑战，也是我今天要重点探讨的主题——双数融合。如何实现政务数据与视频物联数据的融合，让治理更加人性化，是我们需要深入探讨的问题。

在2021年，我们发布了公司的战略规划，其中包括两大引擎：数字引擎与视图引擎。同时，我们明确了两个主要的发展赛道，分别是城市和企业。基于现在数据要素的新的要求，以及在大模型层面的积累，我们尝试在架构上做一个升级去适应这一新的挑战。

在数据资源化层面，我们建立了一体化的底层数据平台，为数据采集提供了坚实的基础。这一平台不仅整合了传统数据、物联和视频等多维度数据，还使其采集过程变得标准化和程序化。

2023年10月，我们发布了星汉大模型，很快我们便将视图智能引擎融合了“星汉”大模型能力，突破传统视觉认知方式，可实现全场景自主解析，具有更强的泛化能力和更高的准确性，为很多行业的拓展和场景的落地打开了想象的空间。

此外，在数据计算层面，我们将传统的数据计算和视图数据计算进行了整合，不仅仅是物理层面的，在治理、建模、计算等多个层面，我们基于双数融合的理念对数据智能引擎进行了升级。。

基于这两大引擎，我们针对政府城市管理和企业场景开发了天机和天衍等平台。我们希望更多的厂商和合作伙伴能够利用这些平台进行应用和服务创新。

与2021年的1.0版本相比，我们现在所展示的是全新的2.0架构版本，代表了我们在技术和业务方面进行了升级。

我们先来看一下我们视图智能引擎，通过多个项目实践，我们发现视图智能实时检测过程中普遍会遇到两个问题。第一个问题是如何合理调配和平衡计算力。由于很多现场的算力设备相当复杂，涉及边设备、端设备和中心设备等各种形态，因此如何确保算法和任务在合适的设备上运行是一个问题。

第二个问题是如何让算法在从实验室转移到现场后快速适应环境，从而提高其准确性。这也是我们在数字引擎升级过程中一直关注的问题。

如何更有效地平衡算力，在这一点上，我们尝试借鉴大数据处理的实现路径，算力池化，不仅关注中心智能的算力情况，还致力于实现边缘智能和端智能的算力池化。通过一个任务来管理所有的端、边和云的算力资源，形成一个完整的资源池，根据任务运行状态和网络状况，我们可以灵活地调配算力资源。

另外，我们也尝试在任务中心加载一些智能模型，以便进行灵活的调配。对于一些简单的、机械性的处理任务，我们可以将其放在边缘端处理；而对于一些复杂的、涉及联动和不同方位的计算或检测任务，则放在云端运行，我们尝试通过这样的分层方式来构建一体化、智能化的算力体系。这是我们的第一个尝试。

第二个尝试是如何解决算法问题，我相信许多公司都遇到过类似的问题。我们在2023年10月份发布了星汉大模型的能力。通过将其叠加到系统中，我们可以在预先使用大模型对现场大量数据进行运算调整，这样可以快速提升算法的准确性和性能。同时，我们利用本地大模型加载，使引擎在现场进行训练和本地算法的优化。这样做能够快速实现算法的本地优化。由于环境对检测技术结果有很大影响，通过大模型的加载，我们可以逐步提高算法的准确性。这是我们正在尝试解决的问题。

大模型的加载在操作层面上确实带来了简化。在传统的检测过程中，我们经常需要大量地调整规则配置以提升精确性。但有了大模型加载后，我们甚至不需要为每个摄像头单独配置算法,大模型全场景自主解析，系统自动识别，这大大降低了配置的难度。

我们在视图智能引擎方面做了许多尝试，包括算力的合理调配、模型加载以简化操作，以及提升算法稳定性。另外，我们尝试使用算力池化来统一管理云、边、端所有的算法层面的问题，并结合大模型进行迭代。

在实践过程中，我们遇到的一个重要问题是如何将事件检测的数据更好地应用到实际场景中。为了解决这一问题，我们提出了图数融合的方法。我们将传统的数据计算引擎进行扩展，让政务数据和视频物联数据在同一个引擎中运行。这样，我们可以通过一系列的算法工具直接关联两种数据，这在整个操作层面带来了更简洁的逻辑。

另一个尝试是解决数据全流程质量的问题。很多时候，终端检测到事件，但由于点位治理的问题，如位置标识不准确，导致任务无法围绕事件进行传导。我们从数据的采集到治理，再到价值的计算，都需要做好全流程数据质量的工作。我们也尝试使用智能手段对采集到的数据进行治理，通过标签化数据结合智能模型判断数据质量，我们可以反向推动数据采集源头的改进。这是我们在数据智能领域需要完成的一个重要环节。

同时，在数据系统中，我们也尝试使用人、地、事物、管理对象和配套资源等关键要素来关联整个系统节点。我们还建立了城市事件中心，以城市管理为核心事件，基于事件发现发生的规律，我们可以更好地指导或辅助城市管理的提质和增效。我们开发了最新的数据探索平台，通过拖拉拽的方式，它能够直观地展示以人、地、组织为核心的各种信息关联，不仅包括视频数据，还包括传统的政务数据。同时，我们也支持12种开发语言进行底层开发，这样更加灵活。

结合大模型和图数融合技术，我们推出了政府天机系列能力平台，包括行业模型智算引擎、孪生场景生成引擎、数据资产管理服务、数据要素运营中心四大核心能力支撑，并且我们积累了200多个能够快速构建起具备综合管理决策能力的数字孪生应用场景。

在早期的智慧城市和一网统管项目中，按照客户的要求来实施项目，需要经历反复的需求确认过程，整个过程相对漫长，在客户应用从模糊到清晰的过程中，我们会浪费一些时间。因此，我们思考如何将我们的传统能力标准化，或者将管理模型标准化。这是我们在这些场景中考虑的重要问题。

以行业计算为例，我们在行业计算中积累了固定的行业内部管理模型。例如，在渣土车管理中，从工地到路面再到渣土投放点，有一套完整的管理模型。当我们沉淀这样的模型后，就可以得出一个经验：要实现这样的模型，必须有相应的设备安装和数据采集，以及对应的数据一二三。

随着这些模型的沉淀和积累，我们可以开发出一个成熟的、可复制的产品。这也是我们从技术角度尝试推动业务发展的方式。通过标准化我们的能力和管理模型，我们可以更高效地满足客户需求，并加速项目的实施过程。

此外，我想谈谈数字孪生这一新技术。有人可能会质疑传统视频厂商涉足这一领域是否恰当。但实际上，我们一直在思考如何解决城市大场景和局部小场景结合中的一些难题。数字孪生为我们提供了一个解决方案。

我们知道，传统的视频监控场景中，我们可能会使用高点AR和视频标签来叠加数据、进行实时监测等。这种手段在固定场景中很有效，但如果应用到整个城市，数字孪生技术则更为适用。

通过数字孪生技术，我们可以为城市或区域建立模型，并在其上叠加已有的政务数据、人、地、事、物等结构化数据，以及视频数据。将这些数据加载到数字孪生模型中，可以带来更直观的管理体验，提高整个管理的效率。

在传统的高点AR无法完全覆盖的重点部位，我们通过视频与三维模型的拼接，将视频直接贴合到已建好的三维模型上，生成完整的视频实景图。通过自动巡航任务或脚本，帮助现场管理人员解决各种问题，进一步简化操作难度。

从宏观和微观两个层面来看，我们将路况和路网数据叠加到整个城市的三维模型上，可以全面的展示城市的交通状况，具体到某个路口时，我们将路口的视频和车流数据融合，得到该路口的详细数据。这些数据对于道路仿真评价或城市仿真评价非常有价值。基于大模型加载的数字孪生技术，其准确率会有明显的提升，同时在整体算力部署上相对传统模式更为节省，我们未来会持续发力的数字孪生技术领域。

最后，我想强调的是，随着大模型的不断发展，业务管理手段和服务方式都将发生变革。创新场景和创新变革将不断涌现。大华更愿意扮演数据、能力供给者的角色，与广大合作伙伴共同开创新的局面。在和合作伙伴的交流合作中，我们提供了三种不同的合作模式：

在方案共建方面，伙伴和大华可以将各自成熟的业务或者产品组装成完整的解决方案，形成优势互补，提升整体方案竞争力。例如我们与恒时共同推出了事件管理处置方案，结合大华的物联智能平台和恒时的事件管理处置类平台，形成具备统一用户、权限和数据的完整业务闭环解决方案，同时我们还将事件平台中的数据回流到数据智能引擎中去参与计算，围绕城市事件发生的规律和趋势去做一些研判和分析，实现了产品能力互补和业务环节的补齐。

在产品共创方面，伙伴可以基于大华物联数智平台基础能力和低代码引擎，共同发布联合产品，在双方渠道进行销售，降低研发成本，提升上市速度和利润空间。

在能力共享方面，合作伙伴可以依托大华物联数智平台提供的完整能力，根据业务需要灵活组装，构建各类强大的业务应用。

我今天分享的内容大概就是这些，我也希望和各个伙伴们一起携手，在大模型这个时代来临我们一起共创、共建、共赢，谢谢！