回到頂端
|||
熱門: Google 中油 工人

透過維基百科之眼看世界

中央商情網/ 2012.07.05 00:00
(中央社2012年7月5日電)美國商業資訊報導,技術計算領域的領先公司SGI(NASDAQ:SGI)與伊利諾伊大學的Kaley H. Leetaru合作,製作了英文版維基百科(Wikipedia)全文的歷史地圖繪製和探究(按時間和地點繪製),這是前所未有的創作。

結合記憶體內資料發掘(in-memory data-mining)技術,在一天之內就能實現將維基百科紀錄的現代歷史轉換成可視的地圖。透過把英文版維基百科整體下載到SGI UV 2000中,Leetaru能夠展示維基百科中過去兩個世紀的世界,同時還能看到對應的地點、年份和當時世界正面或負面的情緒。

雖然之前有幾個專案透過編輯手動把維基百科的條目按地點中繼資料繪製地圖,但其中所涉及的地點條目只占整個維基百科的一小部分。目前這個專案對所有文章內容解鎖,在400萬頁文件中定位每一個地點和日期,找出它們之間的連結,然後建立一個大規模的網路。

SGI行銷長兼策略主管Franz Aman認為,「這種新的分析方法能讓讀者從分散的文件中抽身,用全局的視角審視維基百科中大量的資訊。前者是一棵樹一棵樹的看,而後者則是從整片森林的角度看。我們能看到維基百科作為人類知識最全集錦之一是如何演繹歷史,並發現以前忽視的資訊,如某特定時間和地點的全球情緒,或者可能存在的知識盲點。」

Franz Aman補充說,「我們熱衷於使用Google Earth,因為我們能放大瀏覽。SGI UV 2這個工具就是把同樣的概念運用於巨量資料(Big Data),得以放大瀏覽巨量資料。」

根據這種分析方法,維基百科的歷史涵蓋範圍大致經歷了四個成長階段:1001-1500(中世紀)、1501-1729(現代早期)、1730-2003(啟蒙時代)和2004-2011(維基百科時代)。

維基百科將繼續致力於加強對歷史事件的涵蓋,而不是對現在發生的事件做過多紀錄。維基百科對每年歷史的紀錄基本上涵蓋主要的全球事件:過去的1000年中最具負面影響的是美國內戰,其次是第二次世界大戰。

這項分析也顯示了版權差距(copyright gap)對維基百科並不是問題,因為維基百科對歷史事件的涵蓋範圍從1924年至今呈現穩定的指數成長。現實中,版權差距使得大部分20世紀的歷史都只能保留在印刷品中,無法數位化。

「維基百科的單向性連結、缺乏鏈結、資訊內容的不均勻分佈,這些都給維基百科這類知識大全的中繼資料發掘帶來了限制。」Leetaru表示,「有了SGI UV2,大容量的共用儲存能讓我幾乎即時地對整個資料集提問。

維基百科擁有大量的高速緩衝記憶體結合共用儲存,我只要動動指尖,寫幾行程式碼,在整個資料集中執行,就可以查詢任何腦海中浮現的問題。如果沒有橫向擴張的計算方法,這是不可能實現的。這就像從打字機升級到文字處理器-我可以用完全不同的方法展開研究,把精力從演算法轉移到結果上。」

裝載SGI UV 2000後,大腦(Big Brain)電腦這一巨大的資料集用演算法在維基百科的各條目上定位地點和日期,進行全文地理編碼和完整日期編碼。在西元前1000年到2012年間共擷取了超過8000萬個地址和4200萬個日期,每篇文章平均有19個地址和11個日期(相當於平均每44個文字和75個文字分別含有一個地點和日期)。

各個日期和地點之間的連結匯聚成一張巨大的網路,展現了維基百科看待歷史的角度。有了這個工具,Leetaru能夠在SGI UV 2上對整個資料集進行即時分析,編制出按地點和時間排列的可視地圖。

從這些地圖上,Leetaru不但能觀察到整段歷史的演化,還能看到過去幾千年中整個世界的情緒。同時,Leetaru還能在SGI UV 2上對各種理論和研究問題進行互動測試。上述這些工作都可以在一天之內完成。

SGI UV 2產品線讓使用者能夠在一個系統上找到最難問題的答案,而這套系統操作起來就和工作站一樣容易。SGI UV 2內建IntelXeonE5處理器、採用標準Linux系統,並支援各種儲存選項,從而提供完整和產業領先的無極限計算解決方案。

SGI UV 2的最低配置為16核心和32G記憶體,日後可無縫擴充。該新一代平台的核心數量增加了一倍(高達4096個),連貫主記憶體增加了三倍(高達64TB),可用於單一映射系統的記憶體計算。SGI UV 2可以將共用記憶體擴充到8PB,每秒輸入/輸出速率最高達每秒4TB(每小時14PB)。它能夠在不到三秒鐘之內完成對美國國會圖書館所有藏書內容的檢索。

社群留言