歡迎光臨
每天分享高質量文章

【資料】即使不會爬蟲技術,也能輕鬆獲取的重要資料

小編邀請您,先思考:

1 對於具體的業務問題,如何做好資料準備?


很多做資料分析的同學,對資料的獲取有一個誤區,覺得在網際網路上獲取資料,必須透過爬蟲進行爬取。殊不知,有些必須知道的資料,即使不會爬蟲的技能,也可以輕鬆獲取。


根據這些資料型別的不同,我把它們劃分為實時資料、趨勢資料以及關聯資料,這裡,我們先來瞭解一下,網際網路上,有哪些基於地理位置資訊的實時資料。


一、實時資料


實時資料,顧名思義,是事物當前狀態的資料。更好的,經過整合的實時資料,可以為我們儘早地處理問題,提供最佳的契機。


那麼,網際網路上,有哪些實時資料可以唾手可得呢,下麵我們先來看看,和地圖,也就是地理位置有關的實時資料吧?


1、高德地圖交通大資料,網址:http://report.amap.com


高德地圖在所有的導航App中,目前市場佔有量第一,透過高德地圖交通大資料,我們可以得到很多關於交通方面的實時資料。


1)城市交通詳情,透過高德地圖交通大資料,我們可以輕鬆從網站上面,查出目前每個城市的擁堵指數,如下圖所示:



點選到具體的城市裡面,還可以看到每個城市的每個區域,交通的擁堵情況,如下圖所示:



甚至還可以知道每條主幹道的交通指數情況:



2)交通生活圈,透過高德地圖交通大資料,我們可以輕鬆從網站上面,查出我國各大城市地標建築在20、30、45、60、90分鐘內,可以到達的地方,例如如果選擇了廣州的北京路作為出發地,30分鐘內可達到的地區,如下圖所示:



3)擁堵榜,透過高德地圖交通大資料,我們可以輕鬆從網站上面,查出我國每個火車站、機場、收費站以及高速公路的擁堵指數,例如選擇瀋海高速,即可得到瀋海高速目前每一段的擁堵情況顯示,如下圖所示:



4)交通預測,透過高德地圖交通大資料,我們可以輕鬆從網站上面,查出我國主要城市未來一週的交通預測情況,例如選擇廣州市,廣州市未來一週的交通情況,即可透過下圖進行瞭解。



5)交通報告,透過高德地圖交通大資料,我們可以輕鬆從網站上面,下載到城市或者省份對應的交通報告,如下圖所示:




6)跨城出行,透過高德地圖交通大資料,我們可以輕鬆從網站上面,檢視到某兩個城市之間,遷入、遷出的情況,例如選擇遷出為廣州,得到的資料如下圖所示:



2、騰訊位置大資料,網址:https://heat.qq.com


眾所周知,騰訊擁有移動網際網路時代人人都安裝的軟體微信,因此,在位置大資料方面,騰訊提供的位置大資料,必須是最準確的。


1)位置流量趨勢,透過騰訊位置大資料,可以得到一個地區,例如下圖廣東省廣州市廣州長隆區域的位置流量資訊,可以看到,除了提供歷史的流量資料,騰訊位置大資料還提供了一天接下來的時間段的預測資料,可以透過預測資料,避免高峰出行。



2)區域熱力圖,透過騰訊位置大資料,可以得到一個地區內,每個時間點的人數人力圖,如下圖所示。



3)人口遷徙圖,輸入遷出/遷入的位置,即可得到遷徙圖,如下圖所示,類似高德出行大資料中的跨城出行的資料。



4)資料介面,騰訊位置大資料,為資料分析師提供了友好的資料介面,我們可以直接使用對應的資料介面進行資料的訪問呢,簡單實用,如下圖所示。



3、百度遷徙地圖,網址:http://qianxi.baidu.com/


百度基於百度地圖做的百度遷徙地圖,可以獲取到路況、遷徙、景區、樞紐、購物以及遊樂場的實時資料。


1)路況,可以從中檢視每條高速公路上的交通情況,如下圖所示:



2)遷徙,只能看到全國的遷徙情況,如下圖所示。



3)景區、樞紐、購物、遊樂場,都是根據某個區域進行熱力圖的展現,如下圖所示,就是杭州西湖的人流熱力圖。



4)PM2.5空氣質量,網址:http://www.pm25.in/


PM2.5作為空氣汙染的重要指標,在pm25.in網站中,可以查詢到,每個城市的PM2.5值,例如,從首頁進去之後,選擇廣州,即可得到廣州每個監測點的PM2.5指標資料,如下圖所示:



作為一個開源專案,PM25.in還為開發者提供給了API呼叫介面,真是一個良心專案。



5)電視實時關註度,網址:http://eye.kuyun.com/web/


酷雲EYE網站可以檢視當時全國每個電視臺播放節目的關註情況,如下圖所示:



6)票房實時大資料,網址:http://piaofang.maoyan.com


貓眼票房專業版,可以檢視當前所有播放電影的實時票房情況,如下圖所示:



二、趨勢資料


要瞭解趨勢資料,首先要知道什麼是趨勢分析。當我們要分析的資料,是由兩個時間點限定時,這類的分析,我們稱為趨勢分析。


下麵我們來看看,有哪些現成的網際網路資料,可以實現趨勢分析。包括:

  • 微信指數(網址:小程式)

  • 微博指數(網址:http://data.weibo.com/index)

  • 百度指數(網址:http://index.baidu.com/)

  • 頭條指數(網址:https://index.toutiao.com/)

  • 360趨勢(網址:http://trends.so.com/index)

  • 騰訊瀏覽指數(網址:http://tbi.tencent.com/)

  • 谷歌探索(網址:https://trends.google.com/trends/explore)

  • 高德指數(網址:http://i.amap.com)

  • 阿裡指數(網址:https://alizs.taobao.com)

  • 谷歌探索(網址:https://trends.google.com/trends/explore)

  • 學術趨勢(網址:http://trend.cnki.net/TrendSearch/index.htm)

  • 飛常準航空資料(網址:http://www.variflight.com)

  • 農業大資料應用雲平臺(網址:http://www.dataagri.com/agriculture/index.action)


下麵以百度指數為例,演示一下如何使用趨勢資料。


最近,有兩位名人去世了,分別是物理學家霍金以及文學家李敖,我們來查詢一下,網民對兩位名人的去世的關註程度是怎樣的。



在關鍵字那裡先輸入霍金,然後新增對比詞,輸入李敖,點選確定,即可得到兩個單詞的熱度對比圖。從上圖我們可以看到,霍金去世網友的關註度的最高點(藍色曲線),遠高於李敖去世網友關註度的最高點(綠色曲線)。

三、關聯資料


要瞭解關聯資料,首先要知道什麼是關聯分析。關聯分析的目的,是發現存在於大量資料集中的關聯性或相關性,從而描述了一個事物中某些屬性同時出現的規律和樣式。


關聯資料可以透過百度指數提供的需求圖譜進行查閱,同樣,我們使用霍金和李敖兩個關鍵字,來查閱他們的需求圖譜是什麼。



除了圖形,往下拉還可以檢視具體的相關詞以及對應的熱度串列。



以上,就是資料分析師必須知道的網際網路中常用的資料了,趕緊收藏分享吧!!


親愛的讀者朋友們,您們有什麼想法,請點選【寫留言】按鈕,寫下您的留言。



資料人網(http://shujuren.org)誠邀各位資料人來平臺分享和傳播優質資料知識



公眾號推薦:

360區塊鏈,專註於360度分享區塊鏈內容

    腳印英語,專註於分享實用口語內容。



閱讀原文,更多精彩!

分享是收穫,傳播是價值!



贊(0)

分享創造快樂

© 2024 知識星球   網站地圖