如何处理海量数据?自2017年3月起,新标准DIN SPEC 91349 “智能数据守则的分类系统”(Taxonomie zu Regelwerken bei Smart Data),即海量数据处理规则的分类,为我们在数据丛林中指明了方向。这项标准是德国联邦经济与能源部(BMWi)“智能数据——数据中的创新”技术项目的一项附带研究和德国标准化协会(DIN)合作的成果。
单从“大数据”这个名字就可以看出,这其中涉及到极其巨大的数据量。这些数据每秒在数字高速公路上飞驰,得到保存和处理。我们需要有新的科技用以高效地分析这些数据并将其转换成信息和知识。但这还远远不够。为了提升IT系统的安全性和质量,保障数据安全,我们还需要规定和标准。
然而恰恰是在大量数字数据处理的规则领域至今仍缺少一个统一的分类。这个领域中包括一些正式的标准以及关于智能数据的类似标准的守则和规章。
DIN SPEC 91349就这样应运而生了。这一标准为智能数据守则确定了一个统一的分类系统。
DIN SPEC是德国标准化协会(DIN)一类以快速研究创新型主题、概念和想法,然后推广应用于市场为特点的标准化程序。一个标准能否快速顺利进入市场是具有决定性意义的,尤其是在科学技术日新月异的大数据和智能数据领域。而一项DIN SPEC标准,由优秀灵活的工作团队起草,数月之内就能发布。德国标准化协会(DIN)的任务则是保证DIN SPEC标准不与现行标准和国际标准发生冲突,并在国际范围内发布DIN SPEC标准。
智能数据项目附带研究的负责人,卡尔斯鲁厄信息技术研究中心(FZI)理事会成员,工学博士Stefan Jähnichen教授说道:“这样一个分类系统中,除了要包括正式的标准,还要包括单个软件生产商的技术说明书、数学程序或者诸如最佳实践建议(Best-Practice-Empfehlungen)和行业自律等信息。整体看来,此系统涉及到合同结构、交易条件、审计、许可证、法律和条例。对于中小型企业而言,要想进入大数据和智能数据领域,只有在DIN SPEC 91349的标准化和结构化基础上才有可能清楚了解利弊和做出评价。”
德国标准化协会(DIN)数字科技的项目协调员,工学士Filiz Elmas女士说道:“DIN SPEC 91349是智能数据领域的一个分类系统,它将现有标准、规范和守则进行分类,并以一个二维模型和附加的表格展示的形式呈现出来。此外,这一分类系统还包括一个示意图,其中极为详尽地描述了关于智能数据及其分领域的操作步骤和规则。这样,这项DIN SPEC标准就能得到准确的理解、对比、分类和应用。DIN SPEC 91349标准尤其能够为中小型企业在大数据守则的使用中提供保护和指明方向。”
DIN SPEC 91349标准的内容已经在欧洲范围内引发了极大兴趣,因而现在这项标准已经提交国际评估。为了DIN SPEC 91349标准得到普遍应用,未来会建立一个可公开访问的数据库,企业可以在这个数据库中查询他们的问题。