數據中台
為什麼資料庫裡會有 2899 年?一個假日期,和它離開系統之後的麻煩,數據中台能解這些麻煩?
主檔的失效日全都是 2899-12-31。它不是到期日,是「這一筆還沒結束」被硬塞進日期欄位之後的樣子。在那套系統裡一切正常,跨出邊界就只剩一個假日期——分析算出 873 年、BI 軸被拉開、AI 照字面理解。這篇談中台這一層該怎麼接。
數據中台
主檔的失效日全都是 2899-12-31。它不是到期日,是「這一筆還沒結束」被硬塞進日期欄位之後的樣子。在那套系統裡一切正常,跨出邊界就只剩一個假日期——分析算出 873 年、BI 軸被拉開、AI 照字面理解。這篇談中台這一層該怎麼接。
數據中台
小明 8 月在台北下單,12 月搬到台中。隔年老闆要 8 月的各城市銷售——這筆錢算台北還是台中?兩個答案都對,差別在維度表有沒有留住版本。用三種留法看數據中台怎麼保存歷史,以及為什麼歷史是唯一一項不能事後補課的功課。
數據中台
老闆同一個提問,直接查線上交易資料庫要串五張表、現場算金額;星形架構三個 JOIN 收工。用一場 SQL 對決看懂 OLTP 與 OLAP 的差異
數據中台
事實表存數字與事件,維度表存看資料的角度,星形架構把它們組成最適合分析的模型。用小明買咖啡豆的一筆訂單,圖解數據中台為什麼能讓資料一目瞭然,以及它與正規化、反正規化的差別。
數據中台
數據中台不是把開源工具串起來就好。從電商訂單的例子看資料庫的正規化與反正規化:拆開好管理、合起來好查詢,還有保留當下狀態的快照設計。中台真正在做的,是用空間換掉使用者腦中的表結構知識。
AI與資料分析
最近為了準備醫院指標平台所需的資料倉儲,我盤點目前醫院內各式各樣報表的產生方式,發現與我十幾年前使用的資料處理流程架構相同,仍以 ETL 處理為主。 過去,數位化資料量不大,主要依賴 ETL 方式處理…
數據中台
透過覆盤,讓我們有機會遇到更好的自己 這週完成 這週與團隊合作完成了最小MVP ,完成一隻指標的資料提供。 將原始數據資料,透過 #Airflow 落到資料倉儲中,經過 #dbt 轉換清理後,再透過 …