歡迎光臨
每天分享高質量文章

Google推出資料集搜索!百度,你怎麼看?

導讀:繼 Google Scholar(Google 學術搜索)之後,Google 又為科研工作者推出了一款重磅產品——Google Dataset Search(Google 資料集搜索)。

作者:非主流

來源:AI科技大本營(ID:rgznai100)

網址:

https://toolbox.google.com/datasetsearch

為什麼說這款產品如此重要?因為資料從未如此重要。由於深度學習的興起,AI 研究員需要大量的資料來訓練他們的模型,吳恩達就曾表示,深度學習像火箭,計算是引擎,資料是燃料。有時候,資料可能比演算法更重要。

然而,資料集和相關資料往往分佈在網上的多個資料儲存區中。在大多數情況下,搜索引擎既無法提供這些資料庫相關信息的鏈接,也不會將這些信息編入索引,這會導致資料尋找變得無比繁瑣,或者在某些情況下無法實現。

一些掌握了大量資料的互聯網公司也因此擁有很大的優勢,而高校的學者除了一些公開的知名資料集,想要擁有大量的資料則非常困難,因此 Google 的這款產品可謂是及時雨。當然,其他需要各種資料的工作者也能從中受益。

Google Dataset Search 為用戶提供了能夠同時搜索多個儲存區的單個界面,希望藉此改變用戶發佈和運用資料的方式。

現在,就讓我們來一起看下這款搜索工具。

與 Google Scholar 類似,Google Dataset Search 可方便用戶查找托管在任何位置的資料集,無論是出版網站、數字圖書館還是作者的個人網頁。

為了創建 Dataset Search,Google 還為資料集提供方制定了一套資料指南(https://developers.google.com/search/docs/data-types/dataset)。這些指南包括有關資料集的重要信息:資料集的作者,發佈時間,資料收集方式,使用資料的條款等等。然後,Google 收集並鏈接這些信息,分析同一資料集的不同版本可能在哪裡,並找到可能描述或討論這一資料集的出版物。

Google 的指南是基於一個資料集的開放標準(schema.org),任何發佈資料的人都可以通過這種方式描述他們的資料集。

在這個新版本中,用戶可以找到很多環境和社會科學相關的資料集,以及其他學科的資料,包括政府資料和新聞機構提供的資料,如 ProPublica。隨著越來越多的資料倉庫使用 schema.org 標準來描述他們的資料集,Google Dataset Search 能夠搜索到的資料集的種類和改寫面將持續增長。

目前 Google Dataset Search 已經支持多種語言,筆者嘗試了下,除了英文,還支持中文。

我們先嘗試下英文搜索,如果你想分析天氣記錄,那麼就可以在 Google Dataset Search 的輸入欄里嘗試輸入“daily weather”,結果如下圖所示:


       

可以看到,左邊欄呈現的是各種資料源,右邊則是相應的介紹,包括資料集的名稱、下載鏈接、更新日期、提供者、說明等等,非常清晰。

現在,我們來嘗試下中文,在搜索欄輸入“房價”,第一條就是中國房價的資料集,該資料集由 CEIC 提供,涵蓋的時間段從 2017年7月1日  — 2018 年 6 月 1 日,算是非常新的資料了。


打開該資料集的鏈接,嗯,是個收費網站。不過,花錢能解決的事,總比毫無頭緒來得好。

Dataset Search 的發佈凸顯了 Google 對資料集的重視。最近,Google 也對自家的 Google Search 也進行了改進,使得用戶搜索結果中發現表格資料變得更加容易,不過該計劃更側重於新聞機構和資料記者,而 Dataset Search 的受眾則更加廣泛。

Google 表示,這個專案能夠帶來下列好處:

  1. 形成資料共享生態系統,鼓勵資料發佈者依照最佳做法來儲存和發佈資料;

  2. 為科學家提供相應平臺,方便大眾取用他們創建的資料集,展現他們的研究成果所帶來的影響力。

當然,Google Dataset Search 的搜索質量取決於資料發佈者,因此,如果大家都用開放標準來描述自己的資料,那麼搜索結果肯定會越來越好。

Google Dataset Search 目前仍處於測試階段,雖然支持中文搜索,但中國大陸的用戶想要使用依然需要“梯子”,不過這麼好的工具,錯過豈不可惜!

針對 Google Scholar,2014 年 6 月百度上線了“百度學術”,不過大家似乎仍對 Google Scholar 情有獨鐘。這次,百度怎麼看?

更多精彩


在公眾號後臺對話框輸入以下關鍵詞

查看更多優質內容!


PPT | 報告 | 讀書 | 書單

Python | 機器學習 | 深度學習 | 神經網絡

區塊鏈 | 揭秘 | 乾貨 | 數學

猜你想看

Q: Google資料集搜索,你要用嗎

歡迎留言與大家分享

覺得不錯,請把這篇文章分享給你的朋友

轉載 / 投稿請聯繫:[email protected]

更多精彩,請在後臺點擊“歷史文章”查看

赞(0)

分享創造快樂