數據中台
數據中台同一筆變更,該套到哪一列?導入 CDC,怎樣判斷舊表值不值得補主鍵?
有唯一鍵,拿它當 CDC 的判斷就可以了嗎?主鍵、唯一鍵、rowid 在 CDC 套用時各自怎麼壞,Debezium 實測結果,以及一張舊表該先補主鍵還是先接 CDC 的判斷。
數據中台
有唯一鍵,拿它當 CDC 的判斷就可以了嗎?主鍵、唯一鍵、rowid 在 CDC 套用時各自怎麼壞,Debezium 實測結果,以及一張舊表該先補主鍵還是先接 CDC 的判斷。
數據中台
有主鍵,就認得出每一筆資料嗎?把「主鍵、唯一鍵」這種角色,和「自然鍵、代理鍵」這種值的來源拆開,用兩個維度判斷一把鍵能不能用:此刻認得準,明天還認得。附會員合併的逐步實測、外鍵的極限,與五種鍵的可用程度排序。
數據中台
CDC 啟用了,資料就會正確同步嗎?這篇拆開三種做法的機制與代價——查詢法、觸發器法、讀日誌,看開源工具在表沒有主鍵時的實際行為,並把 Oracle、SQL Server、PostgreSQL、MySQL、MariaDB 與 Informix 六家的原生 CDC 攤開來比。
數據中台
兩份報表,一份男女加起來 92.38%、一份剛好 100%,加得起來的那份反而錯得最深。當系統禁止 NULL,「不知道」就被存成空白,常見的缺值檢查全都回報「完整」。這篇談空白怎麼騙過檢查,以及數據中台怎麼給「未知」一個名字。
數據中台
主檔的失效日全都是 2899-12-31。它不是到期日,是「這一筆還沒結束」被硬塞進日期欄位之後的樣子。在那套系統裡一切正常,跨出邊界就只剩一個假日期——分析算出 873 年、BI 軸被拉開、AI 照字面理解。這篇談中台這一層該怎麼接。
數據中台
小明 8 月在台北下單,12 月搬到台中。隔年老闆要 8 月的各城市銷售——這筆錢算台北還是台中?兩個答案都對,差別在維度表有沒有留住版本。用三種留法看數據中台怎麼保存歷史,以及為什麼歷史是唯一一項不能事後補課的功課。
數據中台
老闆同一個提問,直接查線上交易資料庫要串五張表、現場算金額;星形架構三個 JOIN 收工。用一場 SQL 對決看懂 OLTP 與 OLAP 的差異
數據中台
事實表存數字與事件,維度表存看資料的角度,星形架構把它們組成最適合分析的模型。用小明買咖啡豆的一筆訂單,圖解數據中台為什麼能讓資料一目瞭然,以及它與正規化、反正規化的差別。
數據中台
數據中台不是把開源工具串起來就好。從電商訂單的例子看資料庫的正規化與反正規化:拆開好管理、合起來好查詢,還有保留當下狀態的快照設計。中台真正在做的,是用空間換掉使用者腦中的表結構知識。
AI
與其說這是一場年會,不如說是一場展示「如何以 AI 打造工作與學習新日常」的精彩 Show。每位講師皆傾囊相授,分享自身如何在工作、學習,以及個人與企業流程中導入 AI,激發了我極大的啟發與反思。 我…
AI與資料分析
Data Mesh 實際上是一組數據平臺架構原則,融合了分佈式領域驅動的架構(Distributed Domain Driven Architecture)、自助平臺設計(Self-serve Platform Design)以及將數據視爲產品(Thinking Data as a Product)的思維
學習心得
建立具韌性的財務安全網,把日子過成喜歡的樣子 我為什麼想上這一堂課? 打造全方位的理財知識 從小理財我走保守路線,以存錢居多,雖有小參與股市,但主要是測試自己承擔風險的能力到哪。當進入不惑之年,有時候…