維元

資料科學的浪潮更將資料科學工作者推到第一線，許多產業都能看到「資料」的影子與可能性。但是對資料科學職涯有興趣的人，該怎麼知道「哪裡有適合自己的位置」並「據以規劃自己的資料科學職涯」呢？由於資料科學需求時常是個很龐大的任務，實際上會需要一個團隊來實現。

資料爬蟲是資料分析的起手式，必須有好的、可用的資料才得以進行高品質的資料科學專案，爬蟲也是資料科學領域開發者的第一項挑戰。當自動化的爬蟲技術越來越廣泛應用的同時，網站方也有一些「反爬蟲」的機制出現，讓開發者無法輕易的爬蟲所需的資料。今天這篇文章想跟大家分享的是當你的爬蟲程式又被擋了怎麼辦？常見的反爬蟲知識以及對應的克服反爬蟲處理策略有哪些。

在剛入行的時候曾經寫過一篇文章 「資料專案團隊組成」，當時把資料團隊根據技能分成資料科學家、資料分析師和資料工程師三種角色。不過在工作幾年之後，發現實務上的資料分工其實更細而且更複雜，也隱含了更多的可能性。這一篇文章將談談實務上的資料團隊分工。