歡迎光臨
每天分享高質量文章

譯文 :如果我們心存偏見,還能做好資料分析嗎

如果我們心存偏見,還能做好資料分析嗎?

原文: If prejudice lurks among us,can our analytics do any better?

來源:https://www.oreilly.com/ideas/if-prejudice-lurks-among-us-can-our-analytics-do-any-better


品覺導讀:

  • 馬克·安德森(Marc Andreessen)的一句名言:“軟體正在吞噬整個世界。”各行各業發現,分析對保持競爭力至關重要。政府則發現,分析對履行政府義務至關重要。

  • 我們可能會因為和我們擁有相同購買或信用記錄的其他人曾經開車不小心,而不是因為我們自己曾經開車不小心,而在購買汽車保險時被收取更高的費用。這就是偏見的本質:假定一個人將像同類的其他人那樣行事。

  • 計算領域的一條重要戒律,就是計算機不能改變人類責任。如果人類做某件事情是不合法或不道德的,那麼人類創造的計算機程式做這件事情也是不合法或不道德的。但太多的人把計算機程式作為擋箭牌。“我們是在使用計算機分析程式,所以沒有關係”,這就是數字版的“我只是按命令列事”。

  • 在以色列電視喜劇《阿拉伯勞工》(Arab Labor)裡,阿拉伯人主角沮喪地發現,他經常在檢查站被攔下。他問一位以色列朋友,如何避免這種情況。朋友建議他買一輛特定牌子和型號的汽車。阿拉伯人照做了。神奇的是,他開始順利透過檢查站,再也沒有受到騷擾。面對預測分析,會有很多人尋找那輛能夠讓自己度過困境的“好車”。

原文翻譯:

新聞記者和政策制定者正漸漸意識到一個問題,某些最有前途、最強大的計算工具存在巨大的缺陷。隨著預測分析進入越來越多的領域——推送廣告;開拓新市場;作出重要決定,比如讓誰得到貸款,讓誰得到新工作,甚至是把誰送進監獄和暗殺誰這樣的倫理道德決定——某些特定群體遭受歧視和偏見的跡象日益增多。

  

本文著重探討分析中這種普遍趨勢的技術和社會層面。我研究了分析在執行過程中為什麼難以做到公平公正,以及這說明分析處於怎樣的社會背景。關於這個話題,美國計算機協會(ACM)舉辦的一場研討會和我圍繞這場研討會所做的研究為我提供了一些有用見解。

 

分析無處不在


預測分析似乎證實了馬克·安德森(Marc Andreessen)的一句名言:“軟體正在吞噬整個世界。”各行各業發現,分析對保持競爭力至關重要。政府則發現,分析對履行政府義務至關重要。這些壓力推高了資料科學家(資料科學不只是統計學,但擁有深厚的統計學背景是必要條件)的薪水,並且使得市場調研公司Gartner作出了資料科學家將大量短缺的預測。

 

分析(更準確地說是模擬)甚至在近期熱門電影《薩利機長》(Sully)中扮演了重要角色,但基本上是反派。該片說明瞭人類社會日益依賴演演算法的一個最令人不安的方面:身居高位、權力巨大的政策制定者有時會讓演演算法替他們作出判斷,而他們根本不明白演演算法的執行機制和可能造成的後果。在《薩利機長》中,調查員把一條事關重大的錯誤資訊輸入系統,還用不切實際的假設情境來訓練系統。當這些計算的受害者對模擬背後的假設情境提出質疑時,調查員自鳴得意地說:“我們運行了20次模擬!”他們沒有意識到,這20次模擬都是建立在同樣的錯誤假設之上,將會得出同樣的錯誤結論。當受害者要求檢視詳細的輸入資料時,他們打官腔拒絕了這一要求。雖然《薩利機長》可能精心安排了事件背後的一些事實,但對於分析在現代生活中的使用,該片為我們提供了很多經驗教訓。

 

需要指出的是,分析可以幫助作出正確決策。在我參加ACM的那場研討會期間,我的信用卡提供商進行的分析發現,有人竊取了我的信用卡資訊,試圖盜用我的卡。他們的專家分析系統立刻凍結了這張卡,沒有造成金錢損失。雖然在旅行途中發現我的卡被凍結,給我帶來了不便,但我還是感激那些保護了我和銀行的分析工具。

 

使用分析的大多數公司希望透過減少主觀性來減少偏見。偏見一直都存在,不需要計算機。越來越多的研究表明,工作面試無法有效地判定誰能做好這份工作,原因主要在於我們面對面評估應聘者時作出的倉促決定,這很容易受到內隱偏見的影響。對大腦運作的研究顯示,白人和亞洲人在潛意識裡對黑人抱有根深蒂固的不信任感,這使得改善警察執法實踐的努力面臨著更大的困難(舉個例子)。偏見很早就開始影響人們的生活。黑人學生和白人學生在學校裡做出同樣的違規行為,黑人學生更容易受到處罰。我們從小就受到由來已久的偏見影響。

 

 不幸的是,預測分析常常重現社會的偏見,因為它們的創造者是帶有偏見的人,或者因為它們使用帶有偏見的歷史資料進行訓練。

 

一個廣為人知、無可爭辯的例子來自於拉坦婭·斯威尼(latanya sweeney)在2013年所做的研究。斯威尼是著名的隱私研究員,她最為人所知的,是證明瞭公共記錄可以被用來揭露美國馬薩諸塞州州長威廉·維爾德(William Weld)的醫療資訊。這促使健康隱私法律作出了重大修改。她在2013年進行的研究顯示,在谷歌(Google)上搜索美國黑人的常用名,往往會出現給出此人逮捕記錄的廣告。搜尋白人的常用名,則往往不會出現這樣的廣告。但是人事經理、房東等人在搜尋潛在候選人時,如果出現這樣的廣告,會很容易被嚇阻,尤其是當一群求職者中只有黑人應聘者的名字導致這種廣告出現的時候。

 

 很多政策行動組織都簽署了一份《大資料時代民權原則》(Civil Rights Principles for the Era of BigData)的檔案,呼籲公平公正,但沒有說具體如何做到這一點。在美國,恐怕會很難讓政策制定者關註到這個問題,因為新上臺的當權者們自己就公開宣揚偏見和歧視,但有道德心的程式員及其僱主將會繼續尋找解決辦法。

 

讓我們看看這對弄清分析中的偏見意味著什麼。

 

成為有辨別力的思考者

 

我記得一位小學老師對她的學生們說,她希望我們成為“有辨別力的思考者”。區別對待有時是好事。如果某人曾經借錢揮霍,購買自己買不起的昂貴物品,那麼不給他貸款對銀行和公眾都有好處。問題是我們用什麼標準來加以區別。

 

 ACM研討會的與會者們對道德標準進行了一番討論。分析專業人士是否應該建立某種具體的道德標準來控制分析的使用?或者,專家是否應該以公開透明為標的,讓公眾瞭解決策的制定過程,而不建立具體的道德標準?

 

 我認為,最好的做法是堅持被廣泛接受的社會標準。例如,在上世紀60年代,美國以憲法第一修正案為依據,禁止民族、種族和宗教歧視。後來,性別和殘疾被加入保護行列,然後是性取向(在22個州的管轄範圍內),近期則是性別認同(也就是跨性別者和非二元性別者)。1948年的聯合國《世界人權宣言》在第二條中呼籲人人平等,“不分種族、膚色、性別、語言、宗教、政治或其他見解、國籍或社會出身、財產、出生或其他身份等任何區別。並且不得因一人所屬之國家或領土的政治、法律管轄或者國際地位之不同而有所區別,無論該領土是獨立領土、託管領土、非自治領土或者處於其他任何主權受限制的情況之下”。這裡的“其他身份”表述模糊,但其餘部分相當明確具體。

 

簡而言之,就是由參與公共討論的政治物體和政策制定者來決定什麼可以區別對待,什麼不可以。在某些情況下,計算機演演算法可能會使用種族和性別這樣的標準來作出僱傭等決定,哪怕使用這些標準並不合法。

 

 計算領域的一條重要戒律,就是計算機不能改變人類責任。如果人類做某件事情是不合法或不道德的,那麼人類創造的計算機程式做這件事情也是不合法或不道德的。但太多的人把計算機程式作為擋箭牌。“我們是在使用計算機分析程式,所以沒有關係”,這就是數字版的“我只是按命令列事”。

 

 1976年出版的一本經典論著《計算機能力與人類理性:從判斷到計算》(Computer Power and Human Reason: From Judgment To Calculation)也傳達了同樣的訊息。該書作者約瑟夫·魏澤鮑姆(Joseph Weizenbaum)提出了一條關於人工智慧的重要原則。他說,問題不在於計算機能不能夠作出事關人類重要活動的決定,而在於它們應不應該作出這樣的決定。

 

因此,我認為,很多法律和政策宣告已經明確了我們應該警惕偏見的領域。本文將會逐漸說明,這些政策考量會推動技術方面的決定。

 

資料科學家凱茜·奧尼爾(Cathy O’Neil)在深受好評的《數學殺傷性武器》(Weapons of Math Destruction)一書中,提出了幾個令人信服的觀點,包括:

  •  由於企業是從他人那裡購買資料或分析的,資料的收集和處理常常是以層級為單位發生的。演演算法最初的不透明性會隨著層級的累加而增大,每個層級引入的錯誤因素也是如此。

  •  將我們與趨勢進行比較的演演算法,最終會用他人的行為來評判我們,而不是用我們自己的行為來評判我們。我們可能會因為和我們擁有相同購買或信用記錄的其他人曾經開車不小心,而不是因為我們自己曾經開車不小心,而在購買汽車保險時被收取更高的費用。這就是偏見的本質:假定一個人將像同類的其他人那樣行事。

  •  一旦某人被劃入表現糟糕者的行列,被認為是不可靠的員工、潛在的罪犯或者信用不好的人,那麼演演算法就會進行區別對待,使他失去機會,越來越把他推向貧窮和缺乏機會的境地。

 

奧尼爾的彌補方案不只是檢測偏見,還包括透過一個廣泛的社會專案來評估社會的標的,把對抗經濟壓力的公平性考慮在內,利用演演算法幫助弱勢者,而不是懲罰他們。

 

透明性的陰暗面

 

透明性可以說是我們這個時代的戰鬥口號:讓所有人看到你的決策過程!全球已有70個國家加入了開放政府夥伴關係聯盟(Open Government Partnership),承諾讓公民參與財政預算和法律法規的制定。其中的大多數國家一如往常,繼續面對著戰爭、腐敗和其他問題。

 

但先不要對透明性過於悲觀。從很多方面來說,透明性正在提升,這得益於更高的教育水平和新的傳播媒體。開源運動大大加強了程式的透明性。開源軟體或其他措施能否使預測分析更加公平呢?

 

利用分析對人進行分類的企業擔心,被分析的物件如果瞭解輸入資料的標準,就可以把分析系統玩弄於股掌之上。很多標準涉及到難以改變的重要生活特徵,比如收入。但也有很多標準似乎只是更重要特徵的簡單代表,這就有可能讓精明的分析物件弄虛作假。

 

在以色列電視喜劇《阿拉伯勞工》(Arab Labor)裡,阿拉伯人主角沮喪地發現,他經常在檢查站被攔下。他問一位以色列朋友,如何避免這種情況。朋友建議他買一輛特定牌子和型號的汽車。阿拉伯人照做了。神奇的是,他開始順利透過檢查站,再也沒有受到騷擾。面對預測分析,會有很多人尋找那輛能夠讓自己度過困境的“好車”。

 

因此,那些密切關註分析使用狀況的人承認,透明性並不總是好事。一些專家反對在分析中使用簡單的二元標準,說這種標準過於粗糙,無助於作出正確決定。我認為,無數家機構的經歷已經證明,這樣的粗糙標準很容易被看穿。分析物件的狀況在不斷變化,所以標準必須與時俱進。

 

 對於加強透明性的努力來說,還有另一個障礙需要剋服:一些公司的分析會變來變去,谷歌的排名演演算法就是如此。外人不可能透徹瞭解每一項變動。另外,機器學習技術往往會生成令人費解的決策樹,就連編寫這些程式的人自己都搞不明白。

 

另一方面,固定不變的演演算法可能會逐漸偏離正確的預測,因為作為輸入資料一部分的生活狀況在不斷變化。這解釋了道瓊斯工業平均指數(DJIA)為什麼時不時地改變包含的成分股公司:在19世紀80年代構成美國經濟主要部分的那些公司要麼已經消亡,要麼變得無足輕重,而現代經濟的主要構成部分在那時甚至根本無從想象(最初的12間DJIA成分股公司,現在只剩下了通用電氣這一間)。出於類似的原因,分析必須時常用新的、準確的輸入資料進行重新計算。當分析產品被出售時,我們又會遇到另一種風險:它們可能會逐漸偏離現實,沉淪於過去,從而對依靠它們的公司和被它們錯誤分類的人造成負面影響。

 

 力量的不平衡也扮演了非常重要的角色。本文稍後會以一篇論述刑事量刑的著名文章為背景,向大家說明,從外部對演演算法發起挑戰是極為困難的,因為部署演演算法的機構比作為分析物件的個人要遠為強大得多。亞歷克斯·羅森布拉特(Alex Rosenblat)、塔瑪拉·克尼斯(Tamara Kneese)和丹娜·博伊德(DanahBoyd)撰寫的一篇文章指出,要贏得歧視訴訟是很難的。也許,實現公平公正的最有效方法是讓企業把他們的分析交給某個評審委員會審查,類似於評審學術研究的機構審查委員會(IRB),由很多利益相關者組成,包括可能受到分析不利影響的人。這樣的委員會是否有能力評估深奧的演演算法還是個未知數,但至少他們能告訴程式員,某些輸入資料是否存在固有偏見。

 

彌補措施

 

在學術界以外,批評預測分析存在偏見的人一直致力於揭露那些偏見(請註意,他們也在使用同樣的機器學習工具!)。他們常常暗示,應該停止使用分析工具來作出對人類產生深遠影響的決定。分析的預期影響是一個標準,企業可以據此判斷是否信賴分析。企業利用A/B測試來確定網站訪客點選綠色圖示的次數是否超過藍色圖示,看上去沒有什麼不好。另一方面,Facebook透過資訊推送來影響使用者情緒的做法被廣泛視作為不道德行為。

 

所以說,社會尚未弄清楚分析的適當角色,或者在分辨不良後果方面還不夠熟練——技術專家Meng Weng Wong稱此為“誤演演算法”(malgorithm)。而分析實在太過強大,太有用處,我們也不能樂於拒絕。

 

 一種彌補方案是讓使用者有機會挑戰分析結果,就像幾十年前美國聯邦貿易委員會(Federal Trade commission)頒佈的、被很多公司以各種形式採納的“公平資訊實踐原則”(FIPPS)那樣。企業可以透過任何方式作出決定,但過程必須透明,並賦予個人挑戰該決定的權利。歐盟已經將這一原則寫入了2016年4月的《資料保護指令》,該指令對上世紀80年代的隱私法規進行了補充更新。此外,普林斯頓大學的一個團隊也為那些希望打造公平演演算法的程式員編製了一份指南。

 

關於分析的指導性假設是,使用分析的機構能夠提供其決定的可審查記錄。《資料保護指令》要求資訊處理者向任何個人提供作出某個決定的理由,比如拒絕貸款申請的決定。

 

這個原則立意很好,但難以落實。主要有以下幾個問題:

  •  首先,個人必須清楚分析被用來達成了某個決定,必須知道是哪家公司做出了這個決定,必須明白自己有權挑戰該決定,必須清楚提出挑戰的途徑和程式,必須感到這麼做是安全的。

  •  在很多情況下,這些條件並不是全都具備。例如,如果廣告演演算法偏向男性,沒有向某位女性展示她本來有資格應聘的招聘廣告,她永遠都不會知道自己成為了這種歧視的受害者。她也很難知道誰應該為這個決定負責。如果使用該演演算法的那家公司控制著你的生活,比如你的僱主或者你投保的保險公司,那麼你很可能寧可息事寧人,不要求進行調查。

  •  分析必須透明。有時候這很容易做到。例如,Wolfram Alpha將公佈它用來傳回搜尋結果的規則。有些分析就確實有規則可依,且已經公開了自己的規則。

  •  但很多人工智慧程式,比如採用遺傳演演算法或深度學習的程式,卻並不透明(除非被設計成透明)。它們自行進化和改良,不需要人類幹預。它們非常強大,也可以做到非常準確,但到它們得出結論的時候,整個過程已經變得極為複雜,大多數人都無法理解。

  •  允許個人提出挑戰的彌補方案不具有普遍意義:即使個人敢於要求推翻已經作出的決定,這也無助於改善系統的整體公平性。企業可能會為了某個人而重新審視其決定,但不會停止這種可能傷害成千上萬人的做法。實際上,歐盟的《資料保護指令》並非在反映全社會的共同需求,而是把人們當成孤立的個體對待,而任何個體都不會有足夠大的個人影響力來改變不公平的系統。

 

有鑒於此,似乎應該要求進行分析的企業提供多種形式的透明性。

 

首先,它們需要確定並披露出自己一直被用於作出影響個人的決定。

 

企業應該和利益相關者(尤其是受系統影響的人群)進行開誠佈公的討論,談談什麼是公平,以及系統是否準確反映了人們生活的真實情況。

 

 對人們生活產生重大影響的所有預測分析系統還應該接受查驗或追蹤。不接受查驗的系統有如不列印選票的電子投票機:它們根本不適合這項工作。

 

著名電腦科學家辛西婭·德沃克(CynthiaDwork)發明瞭一種驗證公平性的有趣方法,她稱之為“覺知性公平”。藉助差分隱私實驗,她的團隊試圖利用密碼學來驗證演演算法的公平性。不幸的是,這項技術恐怕過於複雜,無法整合進“正在吞噬整個世界”的分析系統。

 

電腦科學家們在一篇論文中談到了另一種方法:把公平性測試整合到系統開發過程中。這篇論文提出了一個有趣的前提:我們不能對種族、性別等差異視而不見。我們必須清楚地意識到這些差異,必須明確地測試它們。這種“平權法案”方法完全不同於某些統計學家和資料科學家的觀點:他們相信,他們能夠遠離社會影響,他們的技術可以保證客觀性。

 

案例研究:刑事量刑

 

在本文最後,將會探討最廣為人知的一項分析偏見研究,並從中得出一些新的結論。我說的是一篇關於為已定罪罪犯量刑的著名文章。今年5月,這篇文章發表於民間新聞網站ProPublica,在讓公眾瞭解預測分析的風險方面發揮了重要作用。朱莉婭·安格溫(Julia Angwin)及其合著者將關註點放在了一款名叫COMPAS的軟體上,很多地方的司法機關都用這款軟體來決定是判罪犯緩刑還是把他們關進監獄。作者們說,這樣的決定帶有種族偏見,因為黑人罪犯比白人罪犯更容易被COMPAS劃入高風險類別(意味著他們更可能在緩刑期內再次犯罪),這是不公平的。

 

作者們本來可以說COMPAS常常出錯,但很多時候都是對的。他們本來可以建議,鑒於錯誤率較高,法官只應該把COMPAS當成眾多的判決依據之一。但他們卻更進一步,將自己推入了一場激烈的爭論之中。

 

所有人似乎分成了兩派:

1.      COMPAS的演演算法對於白人和黑人將犯下更多罪行(再次犯罪)的預測同樣準確。

2.      COMPAS的演演算法對於黑人將再次犯罪的預測失誤率遠高於白人,這是錯誤的,也傷害了黑人群體,指控他們將會再次犯罪,而事實上他們並不會這樣。

 

那麼,什麼是公平?

 

ProPublica的分析引發了爭議。幾位評論員說,ProPublica沒有考慮到另一個重要差異:黑人罪犯被判二次犯罪的可能性確實遠高於白人罪犯。The American Conservative網站發文解釋了ProPublica為什麼會得出這樣的結論。《華盛頓郵報》的一篇文章也提出了同樣的觀點。基本上來說,這些文章都聲稱,黑人罪犯比白人罪犯更容易被劃入高風險類別,這是由輸入資料決定的,不可能受到人為操縱。

 

COMPAS軟體的開發機構Northpointe在反駁ProPublica的那篇文章時,也提出了這一看法。對於ProPublica指控COMPAS將黑人錯誤地劃入高風險類別的可能性遠高於白人的核心論斷,Northpointe反駁說:“這種樣式沒有顯示出存在偏見的跡象,而是使用公正的評分規則得出的自然結果。那些群體碰巧呈現出不同的評分分佈。”他們取用了一項非相關研究的結果,說他們沒法做手腳調高黑人的高風險評分。

 

Northpointe還說,在那項研究中,白人的年紀往往比黑人更大,這降低了他們再次犯罪的可能性。ProPublica的研究確實發現,年齡與犯罪緊密相關。他們也以其他理由批評ProPublica的研究,但在我看來,黑人更可能被再次逮捕的傾向是所有這些評論的核心議題。

 

 我們能從這場爭論中得出很多有趣的通用結論。首先,資料科學本身就充滿爭議。儘管該領域以客觀性為標的,但統計學家們並不總是意見相合。其次,在評判分析的影響時,評判者肯定會受到自身價值觀的影響。ProPublica認為,COMPAS所遵循的道德標準已經偏離了Northpointe採用的那些標準。

 

但我們應該從中吸取的主要教訓,則是提出以下問題:黑人的再犯率為什麼更高?如果這是ProPublica所說的偏見的來源,為什麼會發生這種情況?

 

在這裡,我們必須藉助社會科學研究,這些研究的探討範疇往往要比這篇文章廣泛得多。基本上來說,研究人員已經證明,在避免犯罪方面,黑人往往缺乏白人所能獲得的種種支援。米歇爾·亞歷山大(Michelle Alexander)的著作《新種族隔離主義》(The New Jim Crow)對此作了很好的論述。與白人相比,黑人不太可能擁有可以幫助他們找到工作的聯絡人,不太可能被聘用(尤其是在有犯罪前科的情況下),不太可能得到住房和其他賴以為生的重要資源,通常也不太可能擁有使他們免於再次犯罪的社會結構。

 

因此,預測分析結果的差異幫助我們看到了現實生活中的差異。

 

斯威尼的研究也得出了類似結論。她發問道:谷歌不恰當地展示黑人常用名的“逮捕記錄”廣告,誰應該為此負責?谷歌和提供那些廣告的公司都否認存在任何蓄意偏見。我傾向於相信他們,因為他們如果刻意地把種族歧視思想融入到廣告展示中,將會面臨很大的風險。那麼,還有什麼其他的答案呢?終端使用者行為:普通網路使用者搜尋黑人逮捕記錄的頻率肯定超過白人。這種社會偏見被演演算法捕捉並融入到了自己的分析過程中。

 

 《麻省理工科技評論》的一篇文章表達了同樣的看法,認為普通人的偏見會透過評級系統傳遞到臨場經濟(contingent economy)中。於是,我們得到的就是卡通人物勃哥(Pogo)的那句經典結論:我們已經遇到了敵人,那就是我們自己。或者,用邁克·魯克德斯(MikeLoukides)的話來說:“我們的AI就是我們自己。”

 

可能的彌補措施

 

資料科學家本能地透過兩個辦法來驗證準確性:檢查輸入資料和檢查分析模型。為我們提供資料的真實環境就存在不公平的歧視時,需要我們積極進行詳細檢查,不遺餘力地消除資料中的偏見。就像前文提到的COMPAS,顯然依據的就是帶有種族偏見的資料。我們應該有意識地採取措施恢復分析系統的公平性。

 

程式員和資料科學家可以成為對抗偏見的先鋒。但是演演算法領域的使用者和監管該領域的政策制定者也可以發揮帶頭作用,主動要求對演演算法進行審查。理想情況下,分析將會公開給公眾接受審查,但由於上文提到的那些原因(保護商業機密、避免系統被玩弄於股掌之上等等),這通常無法實現。不過,可以按照嚴格的許可規定,授權一群專家以找出潛在偏見為目的,對資料和演演算法進行評估。

承認偏見是壞事(這個原則現在常常受到質疑)後,公眾需要採取的第一步就是明白演演算法可能引入和強化偏見。然後,我們必須認識到,偏見不是來自於程式員(哪怕他可能是白人、男性和高收入者)或程式,而是來自於幾千年來造成社會不公的那些因素。演演算法不是客觀的,但它們客觀地體現了人類自身的罪孽。

本次轉自:品覺 微信公眾號(pinjueche.com)

車品覺簡介

暢銷書《決戰大資料》作者;國信優易資料研究院院長;紅杉本中國基金專家合夥人;浙江大學管理學院客席教授;全國信標委員;資料標準工作組副組長;美麗心靈基金會桑珠利民基金副主席。

原阿裡巴巴集團副總裁,首任阿裡資料委員會會長現擔任中國資訊協會大資料分會副會長、中國計算機學會大資料專家委員會副主任、粵港資訊化專家委員、中國計算數學學會第九屆理事、清華大學教育指導委員(大資料專案)、浙江大學管理學院客席教授等職。

版權宣告:本號內容部分來自網際網路,轉載請註明原文連結和作者,如有侵權或出處有誤請和我們聯絡。

商務合作|約稿 請加qq:365242293  


更多相關知識請回覆:“ 月光寶盒 ”;

資料分析(ID : ecshujufenxi )網際網路科技與資料圈自己的微信,也是WeMedia自媒體聯盟成員之一,WeMedia聯盟改寫5000萬人群。

贊(0)

分享創造快樂