亞馬遜（Amazon）旗下Amazon Web Services（AWS）在2024年re:Invent全球大會上，宣布推出Amazon Bedrock的多項創新功能。Amazon Bedrock是AWS一項全受管服務，旨在運用高效能基礎模型建構和擴展生成式人工智慧（AI）應用程式。此次發布進一步彰顯了AWS對模型選擇的承諾，同時優化大規模推論的執行方式，幫助客戶從資料中挖掘更多價值。Amazon Bedrock的全新功能也將協助客戶避免因模型幻覺（hallucination）造成的事實錯誤、協調多個AI驅動的代理以執行複雜任務，以及打造更小、特定任務導向的模型，以更低的成本和延遲提供與大型模型相近的效能。
AWS AI和資料全球副總裁Swami Sivasubramanian表示：「Amazon Bedrock服務持續快速增長，因為具備廣泛而領先的模型選擇、可輕鬆基於自身資料進行客製化的工具、內建的負責任AI功能以及開發複雜代理的能力，成為越來越多客戶的選擇。為了讓客戶充分釋放生成式AI的潛力，Amazon Bedrock一直致力於解決開發人員目前面臨的最大挑戰。透過本次新發布的一系列新功能，我們將幫助客戶開發出更智慧的AI應用程式，讓他們為最終用戶創造更大價值。」
匯集領先AI公司的廣泛模型選擇
Amazon Bedrock為客戶提供豐富的全受管模型選擇，這些模型來自領先的AI公司，包括AI21 Labs、Anthropic、Cohere、Meta、Mistral AI以及Stability AI等。此外，Amazon Bedrock是客戶使用新發布的Amazon Nova模型的唯一管道。Amazon Nova是新一代基礎模型，以業界領先的性價比在多種任務上展現出頂尖智慧。透過本次發布，AWS在Amazon Bedrock上新增更多業界領先的模型，進一步擴展Amazon Bedrock的模型選擇範圍。
- Luma AI的Ray 2：Luma AI的多模態模型和軟體產品借助生成式AI推動影片內容創作。AWS將成為首家向用戶提供Luma AI最先進的Luma Ray 2模型（其著名影片模型的第二代）的雲端服務供應商。Ray 2象徵生成式AI輔助影片創作的重大進步，它能夠根據文本和圖像高效生成電影級質感、逼真的高品質影片。用戶能夠快速嘗試不同的拍攝角度和風格，打造角色連貫、物理效果準確的影片，為建築、時尚、電影、平面設計以及音樂等領域提供創意成品。
- poolside的malibu和point：poolside解決大型企業現代軟體工程面臨的挑戰。AWS將成為首家提供poolside的malibu和point模型使用權限的雲端服務供應商，這兩個模型在程式碼生成、測試、文件編製以及即時自動完成程式碼方面表現出色。這有助於工程團隊提高生產力，更快編寫出更優質的程式碼，並加速產品開發週期。這兩種模型還能夠根據客戶的程式碼庫、實際操作以及文檔進行安全、隱私的微調，使其能夠適應特定專案，幫助客戶以更高的準確性和效率處理日常軟體工程任務。此外，AWS還將成為首家提供poolside Assistant使用權限的雲端服務供應商，該功能可以將poolside的malibu和point模型強大的功能加入開發人員偏好的整合開發環境（IDE）中。
- Stability AI的Stable Diffusion 3.5 Large：Stability AI是視覺媒體領域領先的生成式AI模型開發者，在圖像、影片、3D和音訊方面擁有先進的模型。Amazon Bedrock即將新增Stability AI最先進的文本轉圖像模型Stable Diffusion 3.5 Large。該模型能夠根據各種風格的文本描述生成高品質圖像，加速媒體、遊戲、廣告以及零售領域的客戶創造概念藝術、視覺效果以及詳細的產品圖像。
透過Amazon Bedrock Marketplace使用100多個熱門、新興和專業模型
儘管Amazon Bedrock中的模型能夠支援眾多任務，許多客戶仍希望將新興的專用模型融入到他們的應用程式中，以支援獨特的應用情況，例如分析財務文檔、生成新型蛋白質等等。如今，客戶能在Amazon Bedrock Marketplace上輕鬆地查找與選擇100多個模型，這些模型可部署在AWS上，並能透過Amazon Bedrock提供一致的使用體驗。這涵蓋了Mistral AI的Mistral NeMo Instruct 2407、Technology Innovation Institute的Falcon RW 1B以及NVIDIA NIM微服務等熱門模型，以及眾多專業模型，例如用於金融產業的Writer的Palmyra-Fin、用於翻譯的Upstage的Solar Pro、用於文本轉音訊的Camb.ai的MARS6、用於生物學的EvolutionaryScale的ESM3生成模型等。
客戶一旦找到他們想使用的模型，就能根據自身的擴展需求選擇合適的基礎設施，並透過全受管端點輕鬆將其部署在AWS上。客戶隨後可將該模型與Amazon Bedrock統一的應用程式介面（API）安全整合，進而使用Guardrails和Agents等工具，並受益於內建的安全和隱私功能。
Zendesk是一家全球服務軟體公司，服務全球10萬個品牌的多元文化客戶群。Zendesk可以在Amazon Bedrock中使用用於翻譯的Widn.AI等專用模型，透過電子郵件、聊天、電話以及社群媒體對客服需求進行個人化和在地化處理。這將為客服人員提供所需的資料，例如客戶透過母語表達的情緒或用意等，最終提升客服體驗。
提示詞快取和Intelligent Prompt Routing幫助客戶大規模處理推論問題
在選擇模型時，開發人員需要權衡多種因素，如準確性、成本和延遲。優化其中任一因素，都可能要其他因素讓步。為了在應用程式部署到生產環境時平衡這些考量因素，客戶會採用多種技術，例如快取常用提示詞或將簡單問題分配給較小的模型。然而，運用這些技術既複雜又耗時，需要專業知識來反覆測試不同方法，以確保最終用戶獲得良好的體驗。正因如此，AWS新增了兩項功能，幫助客戶更有效地大規模管理提示詞資訊。
- 透過快取提示詞功能降低回應延遲和成本：Amazon Bedrock現已支援安全地快取提示詞，進而減少重複處理，且不會影響準確性。對於支援的模型，此功能可將成本降低最高90%，並將延遲縮短最多85%。例如，律師事務所可以打造一個生成式AI聊天應用程式，用於回答律師有關文件的問題。當多名律師在提示詞中詢問關於文檔同一部分的問題時，Amazon Bedrock能夠快取該部分內容，使其只需要處理一次，之後每當有人想要詢問相關問題時，便可重複使用，透過減少模型每次需要處理的訊息量來降低成本。Adobe的Acrobat AI助理藉此實現快速的文檔摘要和問答功能，提高了用戶的工作效率。根據初步測試，借助Amazon Bedrock上的提示詞快取功能，Adobe發現回應時間縮短了72%。
- Intelligent Prompt Routing功能有助於優化回應品質和成本：借助此功能，客戶能設定Amazon Bedrock自動把提示詞分配至同一模型系列裡的不同基礎模型，以優化回應品質和成本。運用先進的提示詞配對和模型理解技術，Intelligent Prompt Routing能夠預測每個請求對應的每個模型的效能，並將請求動態分配至最可能以最低成本提供所需回應的模型。Intelligent Prompt Routing可在不影響準確性的情況下，將成本降低多達30%。Argo Labs為餐廳提供創新的語音客服解決方案，透過Intelligent Prompt Routing處理各類客戶諮詢和訂位業務。當客戶提出問題、下單以及訂位時，Argo Labs的語音聊天機器人會動態地將查詢請求分配至最合適的模型，進而優化回應的成本和品質。例如「今晚這家餐廳有空位嗎？」這樣簡單的是非題，可以由較小的模型處理，而「這家餐廳提供哪些素食選項？」這類較複雜的問題則可由較大的模型來回答。借助Intelligent Prompt Routing功能，Argo Labs能夠運用語音客服無縫處理客戶互動，同時達成準確性和成本之間的平衡。
Amazon Bedrock知識庫的兩項新功能助力客戶最大程度發揮資料價值
無論自身資料儲存於何處、採用何種格式，客戶都希望運用資料為最終用戶建構獨特的、生成式AI驅動的體驗。知識庫是一項全受管功能，客戶借助檢索增強生成（RAG），能夠輕鬆運用上下文和相關資料客製化基礎模型的回應。雖然知識庫已能便捷地連接至Amazon OpenSearch Serverless和Amazon Aurora等資料來源，但許多客戶還希望將其他資料來源和資料類型融入生成式AI應用程式中。因此，AWS為知識庫新增了兩項功能。
- 支援結構化資料檢索功能以加速生成式AI應用程式開發：Knowledge Bases提供了首批受管式、可立即使用的RAG解決方案，使客戶能夠直接查詢生成式AI應用程式中結構化資料的儲存位置。此功能有助於打破資料來源之間的資料孤島，將生成式AI開發週期從一個多月縮短至幾天。客戶能夠建構應用程式，讓應用程式運用自然語言查詢Amazon SageMaker Lakehouse和Amazon S3資料湖、Amazon Redshift雲端資料倉儲等資料來源中的結構化資料。借助這項新功能，提示詞資訊會轉換為SQL查詢，用於檢索資料結果。Knowledge Bases會根據客戶的架構和資料自動調整，從查詢模式中學習，並提供一系列客製化選項，進一步提高針對所選的應用情況的準確性。信用情報公司Octus將運用Knowledge Bases中全新的結構化資料檢索功能，讓最終用戶使用自然語言查詢結構化資料。透過將Knowledge Bases與Octus現有的主要資料管理系統相連，最終用戶的提示詞資訊能轉換為SQL查詢，讓Amazon Bedrock運用這些SQL查詢檢索相關資訊，並作為應用程式回應的一部分回覆給用戶。這將幫助Octus的聊天機器人向用戶提供精準的、由資料驅動的洞察，提升使用者與公司一系列資料產品之間的互動。
- 支援GraphRAG功能以生成更具相關性的回應：知識圖譜讓客戶透過將相關資訊映射成網狀結構，來針對資料間的關係進行建模和儲存。將這些知識圖譜融入RAG時會格外有用，系統可依據圖譜輕鬆審閱並檢索相關資訊片段。如今，由於支援GraphRAG，Knowledge Bases讓客戶無需具備圖形資料庫的專業知識，即可使用Amazon Neptune圖形資料庫服務自動生成知識圖譜，並跨資料連接實體之間的關係。Knowledge Bases能夠更便捷地生成更準確、更相關的回應，借助知識圖譜關連性，查看根源資訊以了解模型如何得出特定回應。BMW集團將在旗下的My AI Assistant（MAIA）使用GraphRAG。MAIA是一款AI驅動的虛擬助理，可幫助用戶尋找、了解並整合託管在AWS上的公司內部資料資產。借助由Amazon Neptune支援的GraphRAG自動化圖形建模功能，BMW集團能夠依據資料使用情況，持續更新MAIA所需的知識圖譜，從資料資產中提供更相關且全面的洞察，進而持續為數百萬車主打造優質體驗。
Amazon Bedrock Data Automation將非結構化多模態資料轉換為結構化資料，用於生成式AI和分析
如今，大多數企業資料都是非結構化的，這些資料位於文檔、影片、圖像以及音訊等內容中。許多客戶希望運用這些資料挖掘洞察或為客戶打造新體驗，但將資料轉換為便於分析或RAG所需的格式往往是艱難的人工過程。例如，銀行在處理貸款業務時可能會收到多個PDF文檔，需要從每個文檔中擷取資訊，統一姓名、出生日期等資料的寫法，然後將結果轉換為文字，再輸入資料倉儲進行分析。借助Amazon Bedrock Data Automation，客戶能夠使用單個API從非結構化內容中大規模自動擷取、轉換並生成資料。
Amazon Bedrock Data Automation能夠快速且具成本效益地從文檔、圖像、音訊以及影片中擷取資訊，並轉換為結構化格式，適用於智慧文檔處理、影片分析以及RAG等應用。此功能可以使用預先定義的預設設定生成內容，例如影片片段每個場景的描述或音訊的逐字內容，客戶也可以根據自身的資料架構生成客製化的輸出內容，並將其輕鬆載入到現有的資料庫或資料倉儲中。透過與Knowledge Bases整合，Amazon Bedrock Data Automation還可以解析內容來支援RAG應用程式，透過整合嵌入在圖像和文本中的資訊，提升結果的準確性和相關性。同時，此功能提供信心分數，並基於原始內容生成回應，有助於降低生成幻覺的風險，並提高透明度。
Symbeo是一家隸屬於CorVel的公司，提供自動化應付帳款解決方案。Symbeo計畫運用Amazon Bedrock Data Automation，從複雜的文檔（如保險理賠、醫療帳單等）中自動擷取資料。這將幫助Symbeo團隊更快速地處理理賠事務，並縮短向客戶回覆的處理時間。數位資產管理平台Tenovos使用Amazon Bedrock Data Automation在大規模語義搜尋中提升內容的重複使用率50%以上，節省了數百萬美元的行銷費用。
Amazon Bedrock Marketplace現已正式可用，同時Amazon Bedrock Knowledge Bases中的推論管理功能、結構化資料檢索、GraphRAG以及Amazon Bedrock Data Automation均已可供預覽。此外，Luma AI、poolside和Stability AI的模型也即將上線。
AWS強化Amazon Bedrock，推出業界首創的AI防護、全新代理以及模型客製化功能
Swami Sivasubramanian表示：「Amazon Bedrock已成為客戶將生成式AI變成應用程式和業務核心的必備工具。在過去一年中，Amazon Bedrock的客戶群成長了4.7倍。隨著時間推移，生成式AI改變更多公司和客戶體驗，推論將成為每個應用程式的核心。隨著這些新功能的推出，我們正在代表客戶進行創新，以解決整個產業將生成式AI應用程式推進到生產時面臨的主要挑戰，例如模型幻覺和成本。」
透過Amazon Bedrock Guardrails，Amazon Bedrock能藉由自動推理檢查驗證事實回應的準確性、產生可稽核的輸出，並向客戶顯示模型得出結果的確切原因。這提高了透明度，並確保模型回應符合客戶的規範和政策。而在Amazon Bedrock中使用多代理合作，客戶可以為專案的特定步驟打造和分配專門的代理來獲得更準確的結果，並透過協調多個代理平行工作來加速任務。模型蒸餾技術則是在客戶提供範例提示詞後，由Amazon Bedrock完成所有回應生成並微調較小的模型。這為客戶提供了一個具有大型模型的相關知識和準確性，但兼具小型模型速度和成本的模型，使其成為生產應用的理想選擇。