【建立數據平台 ing】小穗步覆盤 #01

透過覆盤，讓我們有機會遇到更好的自己

這週完成

這週與團隊合作完成了最小MVP ，完成一隻指標的資料提供。

將原始數據資料，透過 #Airflow 落到資料倉儲中，經過 #dbt 轉換清理後，再透過 airflow 提供到指標平台的資料庫，讓指標平台串接使用，雖然累但是很開心。

這半年來的新技術dbt、airflow 與資料庫中數據的特性理解與應用，總算迎來了第一階段小成果。

未來還有200多隻指標的資料要提供，心裡思考如何設計能提高維運的效率？如何能儘量共用？如何讓使用者自己拉去需有的資料？

最終目的是從資料找到能真正輔助決策的關鍵，更好的管理，輔助LLM相關應用的資料串接，發揮資料的價值，是我時時放在心中思考的點。

這週好的地方

準備資料給特定系統使用，需要符合特定的格式，需再特定時間完成，這週就是不斷溝通的過程。

自己好的地方，確認最小需完成的項目與不斷主動與廠商溝通，那邊一定要配合？那邊是有彈性？那邊能降低資料倉儲中客製化的比例？提高後續資料的共用性。

自己第二個好的地方，善用提問，讓團隊能給建議協助。現在執行的方法我們能在期限內達成？］，夥伴就會思考現在的作法有沒有需要調整的地方，我喜歡自己卸下一定要給答案的角色，希望自己能越來越善用提問。

團隊好的地方，主動詢問有沒有需要幫忙的地方，內心超開心高興，雖然工作時程短，一開始團隊認為是無法達成的短期目標，最後齊心完成，意外激發出團隊的向心力。

可以更好的地方

這週為了在時效內完成，考量夥伴要請假的時間，熬夜寫程式。

年紀有了果真不能熬夜，隔天立馬沒精神，無法思考，週末身體反撲，鼻痛又再發作，只好大睡特睡捕回來，一定要記錄下來，提醒自己提早交付或者溝通出合理的繳付時間，達成不熬夜目標。

下一步行動

這次建立 資料倉儲，採用對我來說dbt 與airflow 框架，對團隊來說是陌生的，很多事情必須先由核心成員打頭陣，先產生基礎流程，夥伴才能有跡可循近來協助進行。

接下來要拆解出來這次的工作流程，建立出工作流程步驟，後續要持續優化這流程，盤點出儘量能自動化的地方，讓大家能在人力有限下，協作完成這個大工程。

這次MVP達成過程中，因為更瞭解資料特性後，catch data change ( #CDC)變成必需品了，如何能跨部門與上下溝通，成功導入工具，達成這目標，是下一個挑戰。

其他【持續練習放鬆】

達成挑戰前，還是要有適度放鬆，謝謝老公提議週末逛了#總站夜市，#大地商場 的烤香魚特餐好吃😋，小孩套圈圈100元，四瓶戰利品，大家都心滿意足。

你也有用過 dbt 建立數據中台的經驗，歡迎來信交流。suipichen@gmail.com

#小穗步工作記錄

#小穗步覆盤

#小穗步反思

#資料倉儲

#數據中台