NLPIR-KGB系

使用微信扫描二维码分享朋友圈，成交更快更简单！

　　随着云计算、物联网和互联网等技术的快速发展，各种移动设备、传感网络、电商网站、社交网络时时刻刻都在生成各种各样类型的数据，大数据时代已经到来。大数据即数据体量巨大、数据类型多样、数据的质量低、处理速度迅速的数据。大数据分析的核心是从大量数据中获取有价值的内容，更准确、更深层次的知识，而不是对数据简单的统计和分析。

　　在大数据处理的过程中，数据分析是核心，因为大数据的价值全部在数据分析过程中产生。互联网、硬件等技术迅猛发展，加深了人们对数据分析的需求。如果大数据是一种产业，赚钱的重点在于如何提高数据的分析能力，通过分析发现数据的更多潜在的价值。在大数据时代，数据分析是数据价值发现的最重要环节，也是决策的决定性元素。目前，在很多领域尤其是在商业领域如银行、电信、电商等，数据挖掘可以解决很多问题，包括市场营销策略制定、背景分析、企业管理危机等。大数据的挖掘常用的方法有分类、回归分析、聚类、关联规则、神经网络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。

　　大数据的特点是数据量大，但并没有增加数据价值，相反增多了数据噪音，有很多数据放在存储器里就没再用过。数据量的突然增加，各种媒体数据被任 意碎片化。在应对处理大数据的技术挑战中，大数据的降噪与清洗技术值得高度重视。早期主要是结构化数据的挖掘，可从数据库中发现时序知识、关联知识和分类知识等。在大数据时代，数据库已经不能满足人们的需求了。大数据中数据类型繁多，我们进入了一个非结构化数据挖掘时代。因此，非结构化数据挖掘是大数据处理的重要解决问题。

　　北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。

　　其中KGB(Knowledge Graph Builder)知识图谱引擎是我们自主研发的知识图谱构建与推理引擎，基于汉语词法分析的基础上，采用KGB语法实现了实时高效的知识生成，可以从非结构化文本中抽取各类知识，并实现了从表格中抽取指定的内容等。KGB同时可以定义不同的动作，如抽取动作，并能自定义各类后处理程序。利用KGB知识图谱引擎可以抽取到产品的详细报价信息，方便进行下一步的数据挖掘与图谱构建。

　　随着云计算、移动互联网以及物联网等技术的发展和完善，相信大数据在各个领域的应用会越来越广泛和深入，相关的研究也会越来越全面和深入，在信息管理领域，综合应用数据挖掘技术和人工智能技术，获取用户知识、文献知识等各类知识，将是实现知识检索和知识管理发展的必经之路。