小小大大學

🔍 一、為什麼 Automation 排程會「突然失敗」？ 很多人在使用 Spotfire 或類似報表系統時，都會遇到一個問題： 👉 排程有時候成功，有時候失敗（而且沒有明顯原因） 這種「不穩定」其實比直接壞掉更難處理。 如果你是工程師，第一直覺可能會是： 是不是程式寫錯了？ 但實務上， 80% 的排程問題，其實不是程式問題，而是「環境問題」 。 🧠 二、先用白話理解整個系統在做什麼 想像一個流程： 排程觸發 → Server → 資料庫 → 執行節點 → 回傳結果 可以想成： Server = 大腦 🧠 Database = 記憶 📚 Node Manager = 工人 👷 只要其中一個環節卡住，整個流程就會失敗。 🚨 三、實際案例：兩個最常見的致命問題 在實際 log 分析中，最常看到這兩種錯誤： ❌ 問題一：資料庫連線拿不到（DB Connection Timeout） 📍 現象 系統在執行排程時，突然無法連線資料庫。 📍 白話解釋 就像這樣： 👉 你要查資料 👉 但資料庫說：「我現在很忙，你等一下」 👉 等太久 → 超時 → 失敗 ❌ 📍 錯誤範例 Error: Unable to acquire database connection Reason: Connection pool exhausted Timeout: 10 seconds 📍 可能原因 同時太多人使用資料庫 連線池設定太小 有 SQL 卡住（lock / blocking） 網路延遲 ❌ 問題二：SSL 憑證驗證失敗（Node Manager 斷線） 📍 現象 執行報表的節點（Node）無法跟 Server 溝通。 📍 白話解釋 就像： 👉 Node 說：「我要確認你是不是合法的 Server」 👉 但它無法驗證憑證 👉 所以直接拒絕連線 ❌ 📍 錯誤範例 Error: Secure connection failed Cause: Certificate validation could not be completed Detai...

 很多工程師都會遇到這種情況： 👉 畫面顯示「無資料」 👉 API 呼叫成功（HTTP 200） 👉 Swagger 測試也正常 👉 但 Response 卻是： [] （空陣列） 最讓人困惑的是： 👉 資料庫明明有資料！ 這篇文章會用「白話＋工程師角度」帶你一步步找出問題，並教你怎麼從根本解決。 🚨 問題核心：為什麼 API 會回 [] ？ 在多數後端程式中，回傳空陣列通常只會發生在這兩種情況： 情況一：查詢條件找不到資料 也就是： 👉 你查的條件「沒有對應資料」 情況二：程式主動把資料擋掉（設計邏輯問題） 例如： 如果日期清單是空的 → 直接回 [] 👉 這種設計會導致： 即使「主資料有」，但「輔助資料沒有」 👉 API 還是回空 🧩 常見資料流程（簡化理解） 很多報表 API 其實做兩件事： ① 先拿「日期清單」 從某張參數表抓日期 ② 再拿「主資料」 從另一張表抓數據 👉 最後組成結果回給前端 ❗ 致命設計錯誤（超常見） 很多程式會寫成： 👉 如果日期清單是空 → 直接回空資料 但問題是： 👉 日期表和主資料表「不是一定同步」 🧪 實際排查方法（Oracle SQL） 以下是你可以在資料庫直接驗證的步驟。 ✅ Step 1：確認主資料是否存在 SELECT COUNT(*) FROM 主要資料表 WHERE 版本欄位 = '你的版本'; 結果判斷： 0 → 有資料 ✅ = 0 → 根本沒資料 ❌ ✅ Step 2：檢查「版本字串」是否完全一致 SELECT 版本欄位, LENGTH(版本欄位) FROM 主要資料表 WHERE 版本欄位 LIKE '關鍵字%'; 常見問題： 多空白 少一段（例如 .01） 全形 / 半形不同 👉 這種問題超常見！ ✅ Step 3：檢查日期清單是否抓得到 SELECT COUNT(DISTINCT 日期欄位) FROM 日期來源表 WHERE 版本欄位 LIKE '%關鍵字%' AND 日期欄位 IS NOT NULL; 👉 如果這裡是 0： ✔ API 會直接回 [] ❌ 就算主資料有...

🚨 問題現象：為什麼系統 10 月後完全沒資料？ 在實務專案中，你可能會遇到一種情況： 👉 系統「某個時間點之後完全沒有資料載入」 👉 排程看起來正常，但資料就是沒有進來 這種問題非常常見，而且 很容易被誤判成資料問題或程式邏輯錯誤 。 但其實，真正原因可能是： 💥 JVM（Java 虛擬機）記憶體爆掉，程式直接被系統強制終止 🔍 真正原因解析：JVM 記憶體不足（不是你想的那麼簡單） 從 log 觀察可以看到類似訊息： Native memory allocation failed Out of memory condition GC region allocation error 這代表什麼？ 👉 JVM 嘗試向系統申請記憶體失敗 👉 作業系統拒絕分配 👉 JVM 被迫中止（直接 crash） ⚠️ 重點：不是只有「Heap 記憶體」會影響 很多人以為： JVM 記憶體 = -Xmx（最大 Heap） 但其實錯了 ❗ JVM 使用的記憶體包含： Heap（物件資料） Thread Stack（執行緒） Code Cache（JIT 編譯） Direct Memory（NIO） GC 空間 Class Metadata 👉 所以實際使用量通常是： 實際記憶體 ≈ Heap + 額外30%~50% 📉 為什麼 10 月之後才爆？ 這種情況通常是： ① 資料量變大 批次檔案變多 單一檔案變大 ② 系統記憶體壓力增加 同機器多服務 RAM 被吃掉 虛擬記憶體不足 ③ Windows Pagefile（虛擬記憶體）問題 這是 最關鍵但最容易忽略的點 ： 👉 JVM 會用到「系統承諾記憶體（Commit Memory）」 如果 Pagefile 太小或關閉： 💥 就會出現記憶體申請失敗 🧨 另一個隱藏問題：資料轉換錯誤（NullPointerException） 在資料處理流程中，還可能看到這類錯誤： Null reference encountered Data field missing 這代表： ...

一、前言：為什麼報表「看起來正常」，卻偷偷出問題？ 在企業裡，很多人每天都在使用報表做決策，例如： 製程是否異常 測試結果是否達標 某一條件是否需要調整 但有一天你打開報表時，系統跳出一句英文警告： There are some inconsistencies and some data might not be shown accurately. 多數人第一反應是： 「看不懂，但先關掉應該沒事吧？」 其實這是一個非常重要、不能忽略的警訊。 這篇文章會用「 完全不需要程式背景 」的方式，解釋這段訊息到底在說什麼、會造成什麼影響、以及為什麼工程師一看到會特別緊張。 二、什麼是「Linked Data」？用生活化比喻來說 先不要管專有名詞，我們用一個簡單的例子。 📦 想像你有一張 Excel 報表 這張報表不是自己打的，而是： 自動從另一個資料來源「連結」過來 只要原始資料一更新，報表就會跟著變 這種「 報表不是獨立存在，而是連到別的資料 」的狀態，就叫做 Linked Data（連結資料） 。 三、系統警告的核心意思是什麼？ 系統實際上在說的是這一句話： 「你現在看到的報表，和我一開始認得的資料長得不一樣了。」 而這個「不一樣」，主要分成兩種情況。 四、第一種問題：報表以為會有的資料「不見了」 系統會說類似這樣的話： 某些原本存在的欄位，現在找不到了， 可能被刪掉，或是被改名字了。 🧠 用白話說就是： 報表在設計時，有人跟它說： 「之後你會看到 A、B、C 這幾個資訊」 但現在實際拿到的資料是： 「只有 A、B，C 消失了」 這時候系統就會很誠實地提醒你： 「⚠️ 我找不到 C，但我不知道你是不是還在用它。」 五、第二種問題：資料來源突然多了「新欄位」 同時，系統也可能告訴你： 我發現資料裡多了一些以前沒有的欄位。 這代表： 資料來源有更新 有人新增了新的測量項目 或資料結構被調整過 這本身不一定是壞事 ，但會讓整體結構跟原本不一樣。 六、為什麼這個警告「...

🧠 前言（給完全不懂的人） 在企業系統或資料處理流程中，常常會遇到一個問題： 👉 資料一直累積，資料夾越來越大 例如： 測試數據（STDF） Log 檔 報表資料 如果不定期整理，可能會導致： 磁碟爆滿 系統變慢 備份時間變長 所以我們需要一個自動機制： ✅ 每個月自動把「舊資料」搬走 🎯 本篇要解決的問題 我們要做到： ✅ 每月自動執行 ✅ 搬移「2 個月前」的資料 ✅ 安全（避免誤刪） ✅ 有紀錄（log） ✅ 可先預覽再執行 ⚙️ 核心概念（先理解再寫程式） 你可以把整個流程想成： 現在時間：2026/03 ⬇ 找出：2026/01 以前的資料 ⬇ 搬到：舊資料資料夾 ⬇ 記錄搬了什麼 🧩 Step 1：建立自動搬移腳本（核心程式） 📄 PowerShell 腳本（move_old_data.ps1） # 設定來源與目標資料夾 $sourcePath = "Z:\Data\Current" $archivePath = "Z:\Data\Archive" # 設定時間條件（2個月前） $thresholdDate = ( Get-Date ). AddMonths ( - 2 ) # 是否為測試模式（true = 不搬移） $previewMode = $true # 建立 log 檔 $logFile = "D:\Logs\data_move_ $( Get-Date - Format 'yyyyMMdd_HHmm' ) .log" function Write-Log ( $message ) { $time = Get-Date - Format "yyyy-MM-dd HH:mm:ss" $text = "[ $time ] $message " $text | Out-File - Append - FilePath $logFile Write-Host $text } Write-Log "開始執...

前言： 「我只是想過濾小於 0.01% 的資料，為什麼整個系統直接消失？」 這篇文章，寫給三種人： 🧠 完全不懂程式，但每天要看報表的人 🧑‍💻 工程師，但第一次碰到資料分析工具 Script 🏢 主管 / PM，看不懂錯誤，只看到系統「怪怪的」 這不是理論文，而是一個 真實發生在企業資料分析系統中的工程事故 。 一、問題現象（給完全不懂技術的人看） 事情是這樣的： 📌 使用者在報表中 📌 希望「只顯示比例大於 0.01% 的資料」 📌 在畫面上「手動設定」時可以正常運作 📌 但一按「自動化按鈕」 📌 圖表會更新、但資料卻完全沒有被過濾   📌 有時甚至「整個系統直接跳掉」 更詭異的是： ❌ 沒有錯誤訊息 ❌ 沒有警告 ❌ 連系統 log 都沒有留下 二、為什麼「手動可以、程式不行」？ 這是很多非工程背景的人最困惑的地方。 🔍 關鍵原因一句話版： 手動操作會偷偷幫你做「資料清洗」，但程式不會。 用生活例子來說： 你在 Excel 裡看到： 0.01 0.00 — NaN ∞ 人眼會自動忽略「奇怪的東西」。 但對程式來說： — 不是數字 NaN 不是數字 ∞ 不是數字 "0.01%" 也不是數字 👉 只要程式嘗試把它們當成數字，就會直接出錯。 而在某些資料分析工具中： ❗ 發生錯誤時 ❗ 不會顯示錯誤訊息  ❗ 而是「直接中斷整個腳本」 這正是為什麼你會看到： 圖表不更新 log 不顯示 系統彷彿「什麼都沒發生」 三、真正的工程問題在哪？ ❌ 錯誤的工程假設是： 「這個欄位看起來是數字，所以一定可以拿來比較」 ✅ 但在真實系統中，資料可能來自： 多個資料庫 多次計算 多個轉換流程 人工匯入 例外除零 系統預設值 導致 同一欄位裡，混雜了： 真正的數字 空值 字串 特殊符號 四、為什麼系統...

Spotfire IronPython 出現 unexpected token | 是什麼意思？新手也能看懂的完整解析 在使用 Spotfire 搭配 IronPython 腳本時，有些人會突然遇到一段看起來很可怕的錯誤訊息，例如： Microsoft.Scripting.SyntaxErrorException: unexpected token '|' 這種錯誤常常讓人很困惑，尤其是剛接觸 Spotfire、IronPython，或是平常主要寫 Java、C#、JavaScript 的工程師，常會一時看不出問題到底在哪裡。 其實，這類錯誤的核心原因通常不複雜。簡單來說，就是： 你的腳本裡用了 IronPython 不接受的 | 符號寫法，所以程式還沒開始執行，就先在「讀程式碼」這個階段卡住了。 這篇文章會用最白話的方式，帶你看懂： 這個錯誤代表什麼 為什麼會發生 哪些情況最常出現 怎麼快速排查 怎麼改成 Spotfire / IronPython 可執行的版本 一、先理解：這不是執行失敗，而是「語法看不懂」 很多人看到長長一串錯誤堆疊，會以為是資料有問題、權限有問題，或 Spotfire 壞掉了。 但這次不是。 這種錯誤屬於 語法錯誤（Syntax Error） 。 意思是：系統在執行前，先檢查你的程式碼長什麼樣子，結果看到某個符號時，發現「我不懂這是什麼」，所以直接停止。 你可以把它想像成： 你交了一篇作文給老師 老師還沒開始看內容 一翻開就看到一個根本不屬於這個語言的符號 老師直接說：「這句話語法不成立」 所以重點不是資料內容，而是 程式碼寫法本身不符合 IronPython 的語法規則 。 二、 | 為什麼會出錯？ | 這個符號在某些語言或某些版本的 Python 中可以使用，但在 Spotfire 常見的 IronPython 環境裡，很多情境下都不適用。 也就是說： 你以為可以用的寫法，IronPython 不一定支援。 尤其當你是從以下來源複製程式時，更容...