你要玩數(shù)據(jù)（甚至大數(shù)據(jù)），從來離不開先學(xué)會把大量的原始數(shù)據(jù)清洗一番。 如果你喜歡觀看足球比賽，也可以自己通過數(shù)據(jù)工程去分析足球比賽。大概包括以下幾個技能：

抓取原始數(shù)據(jù)

清晰數(shù)據(jù)

創(chuàng)建數(shù)據(jù)集

寫一些Python代碼去生成可視化數(shù)據(jù)圖

足球數(shù)據(jù)的清洗，數(shù)據(jù)集的創(chuàng)建

國外的 Hugo Mathien 通過對一批歐洲職業(yè)足球統(tǒng)計的原始數(shù)據(jù)進行清洗，并把一些洞察結(jié)果分享出來。他使用的數(shù)據(jù)包含了2008年至2011年的25,000多場比賽，來自11個國家的超過10,000名球員，以及多達10家數(shù)據(jù)提供商的投注賠率。

過程中，Hugo 使用Python Scrapy從多個來源中提取數(shù)據(jù)，克服了數(shù)據(jù)完整性問題，并手動構(gòu)建了數(shù)據(jù)集 - 數(shù)據(jù)集采用SQL數(shù)據(jù)庫的形式。這個數(shù)據(jù)集包含比賽統(tǒng)計，即分數(shù)、角球、犯規(guī)等、球隊的出場陣容/陣型，并收錄了各個球員名字與他們在每次比賽時在球場上的位置。

數(shù)據(jù)集的原始數(shù)據(jù)中也導(dǎo)入了來自EA Sports足球游戲的數(shù)據(jù)，比如足球員的35個屬性數(shù)據(jù)。舉個例子，如果某個球員在一段時間內(nèi)表現(xiàn)不佳，他在國際足聯(lián)中的統(tǒng)計數(shù)據(jù)會受到影響，通常在數(shù)據(jù)集中會看到相同的更新。

數(shù)據(jù)集的洞察

案例1 - 大多數(shù)歐洲頂級聯(lián)賽正在變得更加可預(yù)測，隨著一支或兩支球隊（意甲的尤文圖斯、法甲的PSG巴黎圣日爾曼、西甲的巴薩、皇家、德甲的拜仁、多特蒙德）的統(tǒng)治地位的增加。令人驚訝的是，英超聯(lián)賽可能變得不那么可預(yù)測，比如2015-2016賽季的萊斯特城。以下圖為 Hugo 從數(shù)據(jù)中發(fā)現(xiàn)的規(guī)律：

這是Yoni Lev 的 The Most Predictable League （最可預(yù)測的聯(lián)賽）的原代碼：

The Most Predictable League

案例2 - 主場勝利的概率遠遠超過了客場勝利。對于每個足球迷來說，這是直觀的，在主場比賽的球隊總是有優(yōu)勢，但我很驚訝地看到這是真的。一些聯(lián)賽有近50% 的主場勝利概率和25% 的主場平局概率 – 即是主場只有25%的概率會敗。

案例3 - 數(shù)據(jù)中發(fā)現(xiàn)，經(jīng)常改變出場比賽陣型的球隊獲勝概率較低。我認為是因為當(dāng)一隊球隊有一個長期使用習(xí)慣的陣型后，比賽時就能表現(xiàn)出穩(wěn)定性，球員就會磨合出很好的默契。這里舉些例子：巴塞羅那長期使用的4-3-3陣型，意大利一般經(jīng)常使用的的3-5-2陣型。

對這數(shù)據(jù)集的愿景

Hugo 以他的經(jīng)驗告訴我們，創(chuàng)建數(shù)據(jù)收集是一個漫長而累贅的工作。他已經(jīng)把數(shù)據(jù)集開源了分享，希望有興趣的開發(fā)者/數(shù)據(jù)工程師參與，并一起繼續(xù)運營下去。原因是這樣的：他希望大家通過添加更多國家的聯(lián)賽、國際杯賽到數(shù)據(jù)集，去給這個數(shù)據(jù)集增量，并保持數(shù)據(jù)集對新比賽數(shù)據(jù)的及時更新。

對于這個數(shù)據(jù)集以后能提供的貢獻：Hugo 希望能準確的預(yù)測未來比賽的結(jié)果與賠率！

Github上的數(shù)據(jù)集

假如對數(shù)據(jù)集有興趣，文章里的數(shù)據(jù)源是Hugo通過Github上這個Scrapy開源項目獲取到的：

http://github.com/hugomathien/football-data-collection/tree/master/footballData

大數(shù)據(jù)工程與大數(shù)據(jù)分析的前景

假如你按以上的描述操作一篇，會發(fā)覺你已經(jīng)在開始走大數(shù)據(jù)工程/分析角色的路。

假如你希望未來進入大數(shù)據(jù)工程/分析行業(yè)，IBM的一些調(diào)研數(shù)據(jù)顯示（偏美國市場的調(diào)研，但肯定能參考）：

現(xiàn)時，數(shù)據(jù)科學(xué)家的平均工資是105,000美元/年薪；數(shù)據(jù)工程師的平均工資是117,000美元/年薪；機器學(xué)習(xí)工程師的平均工資是114,000美元/年薪。

現(xiàn)時，59%的數(shù)據(jù)科學(xué)/分析工作都集中在幾個行業(yè)，包括金融、保險、專業(yè)服務(wù)、IT。

現(xiàn)時，數(shù)據(jù)科學(xué)/分析工作的空缺達到2,350,000個；到了2020年，空缺會達到2,720,000個。

最需要的前五位技能是 MapReduce、Apache PIG、Machine Learning（機器學(xué)習(xí)）、Apache Hive和Apache Hadoop。

職業(yè)足球教練

既然講到足球，我們這里插一個話題。喜歡踢足球，一般會往職員足球聯(lián)賽發(fā)展成為職業(yè)球員，當(dāng)年的職業(yè)足球員在自己的足球生涯后會退休，一些會成為教練，當(dāng)中有些執(zhí)教得優(yōu)秀的會升級成為職業(yè)聯(lián)賽的主教練/助教練。

講到職業(yè)聯(lián)賽的足球教練，大家可能會直接聯(lián)想到一些60-70歲的老頭，比如：

執(zhí)教過英超曼聯(lián) （Manchester United） 26年的前主教練費爺（Sir Alex Ferguson）。2010年南非世界杯帶領(lǐng)過英格蘭國家隊的意大利人主教練Fabio Capello，也是AC米蘭（Milan）在1994年奪得歐冠的前主教練。

2006年德國世界杯替意大利國家隊贏得冠軍的Marcello Lippi，也是尤文圖斯（Juventus）在1996年奪得歐冠的前主教練。

但我們重點并不是要講老教練。

香港的足球隊數(shù)據(jù)分析師，升級成男足主教練

這是一個女?dāng)?shù)據(jù)分析員，成為男子足球隊主教練的真人故事，是個高學(xué)歷的男子足球女教練的神奇經(jīng)歷。

她叫做陳婉婷，花名（昵稱）“牛丸”，現(xiàn)時是香港東方足球隊主教練。她是個女生。

她在高中時迷戀前英超足球明星大衛(wèi)?貝克漢姆（David Beckham），因此愛上足球，開始踢足球。

她高中雖然踢足球，但學(xué)業(yè)成績并不差，她當(dāng)時的香港會考成績獲得2A、1B累積。她考進香港中文大學(xué)，主修讀地理及資源管理學(xué)系并在2010年畢業(yè)，然后繼續(xù)在中文大學(xué)醫(yī)學(xué)院里深造，取得運動醫(yī)學(xué)及健康科學(xué)理學(xué)碩士。

2013年畢業(yè)后，她加入香港本土的飛馬足球隊任分析員工作。

她陸續(xù)考到亞洲足協(xié)A級教練及亞洲足協(xié)五人教練的資格，先后在飛馬足球隊、南區(qū)及太陽飛馬擔(dān)任助教練。也執(zhí)教過香港五人女子隊及香港女子青年隊。

后來她轉(zhuǎn)到了東方俱樂部一線隊擔(dān)任助教。接著很快，原來的香港東方足球男子隊主教練楊正光離職并前往中甲聯(lián)賽梅州五華俱樂部擔(dān)任助理教練。在2015年底，陳婉婷被提升成為香港東方足球男子隊的主教練。

她帶領(lǐng)香港東方足球隊奪得香港超級聯(lián)賽冠軍（2015-2016年球季），成為世界足球壇第一位帶領(lǐng)男子足球隊贏得足總成員國的頂級聯(lián)賽冠軍的女教練。上一次東方足球隊獲得香港頂級聯(lián)賽冠軍是1994-1995球季（21年前）。她這時候才27歲，比自己球隊里的一些球員還要年輕。 2016年5月，陳婉婷這神奇的經(jīng)歷被列入了健力士世界紀錄。

2017年2月份，她成為第一位足球隊參加亞冠杯的女教練。到了第二場比賽（3月份），東方隊與日本球隊川崎前鋒打平1-1，替香港足球會取得歷史上在亞冠杯賽事中的第一個進球和第一分。

陳婉婷未來打算到海外進修更高級的職業(yè)教練課程，在進修期間將會留任東方足球教練團成員，為球隊提供技術(shù)分析。

過去我寫過的一本SEO書

ChinaMobileSEO.com

相關(guān)閱讀

假如對數(shù)據(jù)分析技術(shù)有興趣，推薦閱讀我寫的書，可以免費網(wǎng)上閱讀數(shù)據(jù)分析技術(shù)白皮書：

中文版：Analytics Book 中文版 - 數(shù)據(jù)分析技術(shù)白皮書英文版：Analytics Book - Gordon Chois Analytics Book繁體版：Analytics Book 繁體中文版 - 數(shù)據(jù)分析技術(shù)白皮書

聯(lián)系我

需要聯(lián)系，我的個人微信號：gordon-choi