記者了解到，這波針對爬蟲業務的強監管是由于公安部門打擊“套路貸”牽扯出了導流獲客和暴力催收這兩個幫兇，發現爬蟲是主要工具，為這些“套路貸”平臺爬取通訊錄、地址定位等個人敏感信息，從而引發了命案及相關刑事調查。

爬蟲，應用與邊界

網絡爬蟲，是一種按照一定規則，自動抓取互聯網信息的程序與技術。如果通過爬蟲抓取網絡公開信息，并不違法;但如果抓取的是未公開、未授權的個人敏感信息，就屬于違法行為，違反的是2017年6月1日實施的《網絡安全法》以及“兩高”相關司法解釋。

51信用卡事件在杭州警方發聲明之前，多方都認為是因為爬蟲技術使用不當觸及紅線導致，由此，爬蟲技術也被拉到了公眾關注的焦點。21世紀經濟報道記者了解到，其實，外界的這種猜想也是無風不起浪，爬蟲整肅風暴緣何刮到杭州并卷起風暴?

今年以來，大數據風控行業頗不平靜，9月份以來，杭州的魔蝎科技和公信寶運營公司、杭州存信數據科技有限公司(以下簡稱“杭州存信”)以及貸款超市頭部機構“信用管家”先后被杭州警方調查。

此外，還有多家大數據風控公司人士“協助調查”，涉及同盾科技等多家機構。一時風聲鶴唳，大數據行業的從業者人人自危。多家大數據公司表態暫停爬蟲業務。

21世紀經濟報道記者多方了解到，上述公司受調查均是與爬蟲業務有關。

對此，同盾科技相關人士22日回復21世紀經濟報道記者稱，數聚魔盒產品是信川的產品之一，因為該服務對適用條件與場景有嚴格的授權要求與限制，為了更加嚴格的保護用戶合法權益，避免個人信息被誤用，同盾已經從去年開始逐步調整業務，目前已全部停止相關服務。除此之外，同盾的高管并沒有接受警方調查，同時，同盾主營業務也沒受到影響，沒有相關調整。

爬蟲“鼻祖”被查

10月21日上午，51信用卡位于杭州西湖區紫霞街80號西溪谷國際商務中心的辦公地點遭遇杭州警方突擊調查。引來業內一片嘩然。

而51信用卡正是行業內最早開展爬蟲的公司之一，這讓不少業內人士猜測此次被警方調查即是利用爬蟲技術非法獲取用戶個人信息，而這是近期公安部嚴厲打擊的范疇。

51信用卡堪稱業內爬蟲行業的鼻祖，此次杭州被調查的數據公司魔蝎科技創始人周江翔是51信用卡的前高管。魔蝎科技是業內知名的大數據服務公司，合作機構范圍較廣，牽涉業內大量金融機構。

但杭州公安10月21日深夜發布的最新通報顯示，51信用卡被調查的原因是其委托的外包催收機構涉嫌非法催收，涉嫌尋釁滋事等犯罪行為。

就在51在杭州被大批警察包圍突擊調查的同一天，10月21日，最高人民法院、最高人民檢察院、公安部、司法部聯合發布《關于辦理非法放貸刑事案件若干問題的意見》。《意見》將打擊目標鎖定社會危害性最為突出的非法高利放貸，明確在定罪量刑時以單次實際年利率超過36%的非法放貸為基準。規定即日生效施行。

同日，《關于辦理利用信息網絡實施黑惡勢力犯罪刑事案件若干問題的意見》也正式發布，公安部副部長、全國掃黑辦副主任杜航偉在新聞發布會中表示，《意見》首先明確，通過線上方式實施黑惡勢力犯罪的主要手段是“發布、刪除負面或虛假信息，發送侮辱性信息、圖片，以及利用信息、電話騷擾等方式，威脅、要挾、恐嚇、滋擾他人”，同時對利用信息網絡實施的強迫交易罪、敲詐勒索罪、尋釁滋事罪如何認定以及此類案件的特殊取證方式等問題，作了明確規定。

“刀怎么用才是問題”

所謂網絡爬蟲，是一種按照一定規則，自動抓取互聯網信息的程序與技術。如果通過爬蟲抓取網絡公開信息，并不違法;但如果抓取的是未公開、未授權的個人敏感信息，就屬于違法行為，違反的是2017年6月1日實施的《網絡安全法》以及“兩高”相關司法解釋。

爬蟲技術的數據主要分為司法信息、電商信息、銀行卡信息、運營商信息、社交信息、開放數據等幾大類。在這些數據維度中，比較受歡迎的都是覆蓋度高、標準化較強的通用類數據，比如身份驗證、逾期黑名單信息等，一般是通過爬取淘寶、社交網絡、網上銀行等獲取數據。

21世紀經濟報道記者了解到，這波針對爬蟲業務的強監管是由于公安部門打擊“套路貸”牽扯出了導流獲客和暴力催收這兩個幫兇，發現爬蟲是主要工具，為這些“套路貸”平臺爬取通訊錄、地址定位等個人敏感信息，從而引發了命案及相關刑事調查。

2017年6月1日，《網絡安全法》正式施行，其中第四十一條規定，網絡運營者收集、使用個人信息，應當遵循合法、正當、必要的原則，公開收集、使用規則，明示收集、使用信息的目的、方式和范圍，并經被收集者同意;第四十四條規定，任何個人和組織不得竊取或者以其他非法方式獲取個人信息，不得非法出售或者非法向他人提供個人信息。

一家杭州的大數據風控公司相關負責人對21世紀經濟報道記者表示，“目前觀測到的市場的一些動向和監管的尺度，更多是在于爬蟲技術的非法使用。不注重個人隱私保護，泄露信息，甚至販賣信息給涉黑暴力催收。所以賣刀沒問題，刀怎么用才是問題。”

他認為，經過整肅之后存活的數據公司數量會大幅減少，同時對于數據使用的規范要求會更嚴格，這會讓絕大部分的金融科技公司都或多或少受到沖擊，因為大數據是整個金融科技行業的基礎設施。

判斷爬蟲行為合法性， robot協議不可或缺

在最近的態勢下，大數據行業如今面臨強監管。

一位從業人員對此表示，公民個人信息是絕對不敢爬了，那么網上的公開非敏感個人信息能否收集，怎樣的爬蟲行為是合法的?

對此，中國銀行法學研究會理事肖颯10月22日對21世紀經濟報道記者表示，判斷爬蟲行為是否具有合法性，robot協議不可或缺。存在已有25年的robot協議是互聯網搜索引擎與網頁持有者之間達成的“行業規范”，該協議會告知網站的“訪問權限”，如果設置了robot協議，大數據公司還要突破訪問權限，那么就具有明顯的主觀惡性。

互聯網行業里谷歌、百度、搜狗、ebay等，均設有該協議，這幾乎是每一個互聯網人都知道的常識，如果公司不想被爬取信息，只需要很輕松地安放robot協議表明不愿意被爬取和收錄就可以了。

“也就是說，如果沒有robot，應該就可以理解為可以合法爬取的公開信息。”肖颯稱。

但是近期的案例有明顯從嚴的趨勢。以某直轄市某區判決一場刑事官司為例，被告人張某、宋某、侯某共謀用技術手段(爬蟲)在某網站抓取視頻，放入自己所在公司網站上，造成被害公司人民幣2萬元的經濟損失。2017年9月提起公訴，后三人被判非法獲取計算機信息系統數據罪，各自領刑。

同盾科技CEO蔣韜曾在對外發布的公開信《心存敬畏向善而行》中表示，人工智能及大數據的發展中的數據及隱私保護是一個世界級難題，需要監管、企業、法律界等共同研究和探討。