本页由繁体中文版自动转换
资料网格
资料网格的处置是把事实留在各领域自己手上,并要求它做成有品质保证的产品。
跨领域的互通标准由联邦决定,不由中央指定。
- 成立条件
- 领域多、变更快,改一个共用定义总得先等一个人或一个决定时。
- 证据强度
- 概念框架;书目已核
- 失效样貌
- 只拆分而缺产品保证与平台,会成孤岛;在小团队照搬联邦治理,多出的多是协调成本。
结构为概念示意,不含领域数、规模或任何量测数字。 放大看图 ▸转发 PNG ▸
一、发生什么事
资料该由一个中央团队统一管理,还是留在产生它的各领域手上,是企业规模下的一个取舍。这一页是本书架唯一明文反对「单一真相来源」的节点,而它反对的方式值得看清楚。
它的诊断从一个运维现象开始:中央资料团队成为瓶颈,而整合式的大水池在企业规模下整合复杂度爆炸。原因不是技术不够好,是结构:每个新需求都要经过同一批人、同一个模型。
它的处置是四件事[2]Dehghani, Z. (2022). Data Mesh: Delivering Data-Driven Value at Scale. O'Reilly. 书目经双源核对。出处经跨模型双查核实。此句曾对照早期释出版逐字确认:资料网格必须离开诸如单一真相来源、或单一受严格控制的正典模型这类资料神话。早期释出版把这段放在题为〈After the Inflection Point〉的一章;正式版目录中此题为第 7 章,第 2 章另有一节题为〈Embrace the Most Relevant Domain Data: Don’t Expect a Single Source of Truth〉。正式版的章次与页码本站未核。。第一,领域自己持有自己的资料。第二,资料要做成产品:可被发现、可被定址、可与他人互通,也就是要有品质保证,不是把档案丢出去就算。第三,平台层要把「提供一份产品」的成本压低,否则自治只是把负担转嫁给领域。第四,跨领域的标准由联邦决定并以计算方式落实,不由中央指定。
而它最直接的一句话是:资料网格必须离开诸如单一真相来源、或单一受严格控制的正典模型这类说法[2]Dehghani, Z. (2022). Data Mesh: Delivering Data-Driven Value at Scale. O'Reilly. 书目经双源核对。出处经跨模型双查核实。此句曾对照早期释出版逐字确认:资料网格必须离开诸如单一真相来源、或单一受严格控制的正典模型这类资料神话。早期释出版把这段放在题为〈After the Inflection Point〉的一章;正式版目录中此题为第 7 章,第 2 章另有一节题为〈Embrace the Most Relevant Domain Data: Don’t Expect a Single Source of Truth〉。正式版的章次与页码本站未核。。
它还做了一个很有用的区分[1]Dehghani, Z. (2019-05-20). How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh. martinfowler.com. 书目经出版社记录核对。主张已对照全文核实。出处经跨模型双查核实。原文逐字确认:来源对齐的领域资料集必须与内部作业系统的资料集分开,前者体量更大、代表不可变的带时间事实、且变动频率低于其来源系统。:来源对齐的资料集(各领域自己产生的、不可变的带时间事实)与消费对齐的资料集(为了下游用途而转换、加工出来的视图)。这两者不该混在一起管:前者是事实,后者是派生物。这个区分可以与「事件溯源」对照着读:两者都把事实与派生物分开,事实在一处,派生物可以有很多个;事件溯源在单一系统之内这样分,这里是在整个组织的资料上这样分。
二、为什么这对你重要
这页是本书架给你的尺度感,而尺度感通常比原则本身更难得。
「单一真相来源」一页说:每个元素只在一处被维护,他处引用。这条原则在你自己的知识库里几乎总是对的。这页说:当领域数量与变更速度超过某个点,维持一个全域统一的正典模型会让那个模型变成瓶颈。两页都对,差别在规模与参与人数。
判断自己在哪一边,有一个很实际的讯号:如果每次要改一个共用的定义,都得先找一个人(或等一个决定),那个共用定义已经是瓶颈了。 一个人的系统没有这个问题(那个人就是你);两三个人的系统开始有;十个人的系统一定有。反过来,如果你的系统只有你一个人或两三个人,先不必急着把共用定义分给各领域。
而这页真正该带走的,是资料网格四个原则中最容易被跳过的两个。
「做成产品」这一项比自治重要。 把事实留在各领域手上很容易,难的是要求每一份都可被发现、有明确的拥有者、有品质承诺。少了这一项,去中心化就退化成一堆各自为政的孤岛:你把瓶颈换成了迷路。
「平台把成本压低」这一项决定成败。 如果提供一份合格产品的成本很高,各领域就会敷衍它,或干脆绕过去。这一项在个人层面的对应物是:如果你的归档规矩太麻烦,你就不会照做,然后你会怪自己不够自律,而真正该修的是成本。
Lab 实测 有实测才写
本节点暂无实测。
- 常见转述「资料网格就是把资料湖拆成几个小湖」:四个原则里有两个与拆分无关(产品级品质保证、联邦式治理)。只拆不治,得到的是几个各自为政的孤岛。 #
- 常见转述「联邦式治理就是没有治理」:它指的是跨领域的互通标准由参与者共同决定并以计算方式落实,不是取消标准。这与中央指定的差别在谁决定,不在有没有。 #
- 常见转述「资料网格已有成熟的学术界定」:2024 年一篇计算机综述期刊的系统性回顾,整理的是 114 篇业界灰色文献;其摘要指出,业界文章已相当多,学界对这个概念的界定与延伸则仍然缺乏。 #
记录核查深度,不担保结论为真。
修正记录- 本页不使用某句被广泛转引的话:深度覆核未能在所查版本中逐字定位它,最接近者是一个小节标题,因此该句被判为改写而非引文,状态未解。本站不引用状态未解的句子。
如何阅读来源注记 「书目经…核对」指作者、年份、题名与出版项已确认;不代表该来源的主张已被核对。「对照全文核实」指主张已与来源文本本身比对。 定义版本:2026-09-20。
新书架开架时通知我
开架通知只在新书架开架或阅读规则变更时寄出。