佛州棕櫚灣市自主開發AI 應對數據風險與採購挑戰

美國佛羅里達州棕櫚灣市（City of Palm Bay, Florida）為避免對商業人工智慧（AI）平台產生依賴，並確保資料安全，決定自主開發內部AI聊天機器人。此舉取代了該市先前訂閱的商業聊天機器人服務，展現地方政府在數位轉型中，面對特定需求與公部門採購流程時的潛在策略。

棕櫚灣市資訊科技總監 Rob Beach 表示，自2025年起，市府便開始評估採用商業AI平台的風險與效益。他們發現，公眾可用的AI工具可能將政府資料傳輸至市府環境之外，引發資料外洩的疑慮。為此，棕櫚灣市在全面評估商業平台的風險、成本與限制後，於2025年初啟動了內部AI基礎設施（包含硬體與軟體）的開發，並在2026年初研究全面自主託管的聊天機器人解決方案。

Rob Beach 強調，市府希望尋求一種方案，既能避免對外部AI服務的依賴，確保內部資料不會意外外洩，又能省去重複性訂閱費用，並建立負責任的AI治理途徑。為此，棕櫚灣市建置了一套基於市府自有基礎設施運行的生成式AI聊天機器人。這套系統利用檢索增強生成（RAG）技術，在大型語言模型（LLM）生成回應前，會先搜尋市府預先選定、審查並批准的資料集，例如各部門文件、員工通訊錄、行事曆等，確保所有回答僅來自這些核准的來源，而非模型內部的訓練資料，藉此有效降低「AI漂移」（AI drift）的風險。

為了進一步強化安全性，這套系統還納入了輸入過濾、越獄篩檢、輸出洩漏清除等多重防護措施。當問題與常見問題（FAQ）相符時，系統甚至能直接繞過大型語言模型提供答案。目前，該聊天機器人已能讓市民查詢政策、尋找部門資訊，並瀏覽市府活動與員工通訊錄等服務。

儘管在設計安全的內部環境、避免AI產生不實資訊（hallucinations）、確保正確意圖路由及擴展基礎設施等方面面臨挑戰，棕櫚灣市透過分層架構、嚴格的治理實踐、容器化基礎設施以及對所有可檢索內容的直接管理，成功克服了這些困難。Rob Beach 指出，隨著治理與內容成熟度的提升，市府將逐步擴大此系統的應用範圍，包括增加更多市民服務、整合更多部門、改進儀表板與數據收集自動化，並開發工具以減輕員工工作負擔。