1、有沒有電商網站後台是用的nopcommerce做的
暫時沒聽過這個開源做出來的網站。不過，判斷開源程序是否對搜索引擎友好還是比較簡單的。1.後台是否能夠控制SEO的功能包括修改H標題，Meta標簽，是否能生成sitemap、robots等，其次看緩存功能是否能用（對電商網站來說，成千上萬的SKU，緩存很重要），Url是否可以做成偽靜態等等2.查看前台生成頁面累贅情況部分開源或者主題存在缺陷，會生成一些重復頁面。具體可以通過Screaming Frog SEO Spider來檢查，如果有這樣的情況出現，就應該查看頁面是否可以在主內容頁面加入canonical標簽。3.查看代碼不符合主流的開源程序往往div嵌層會超過3層，這樣會嚴重影響搜索引擎爬蟲的抓取，這個也可以通過上述的工具進行檢查。4. URL層級優化要查看生成的產品詳情頁會不會出現超過3層以上的內容，超過3層蜘蛛爬行也會困難。
2、什麼是網路爬蟲？
什麼是網路爬蟲呢?網路爬蟲又叫網路蜘蛛(Web Spider)，這是一個很形象的名字，把互聯網比喻成一個蜘蛛網，那麼Spider就是在網上爬來爬去的蜘蛛。嚴格上講網路爬蟲是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。
眾所周知，傳統意義上網路爬蟲是搜索引擎上游的一個重要功能模塊，是負責搜索引擎內容索引核心功能的第一關。
然而，隨著大數據時代的來臨，信息爆炸了，互聯網的數據呈現倍增的趨勢，如何高效地獲取互聯網中感興趣的內容並為所用是目前數據挖掘領域增值的一個重要方向。網路爬蟲正是出於這個目的，迎來了新一波的振興浪潮，成為近幾年迅速發展的熱門技術。
目前網路爬蟲大概分為四個發展階段：
第一個階段是早期爬蟲，那時互聯網基本都是完全開放的，人類流量是主流。
第二個階段是分布式爬蟲，互聯網數據量越來越大，爬蟲出現了調度問題。
第三階段是暗網爬蟲，這時的互聯網出現了新的業務，這些業務的數據之間的鏈接很少，例如淘寶的評價。
第四階段是智能爬蟲，主要是社交網路數據的抓取，解決賬號，網路封閉，反爬手段、封殺手法千差萬別等問題。
目前，網路爬蟲目前主要的應用領域如：搜索引擎，數據分析，信息聚合，金融投資分析等等。
巧婦難為無米之炊，在這些應用領域中，如果沒有網路爬蟲為他們抓取數據，再好的演算法和模型也得不到結果。而且沒有數據進行機器學習建模，也形成不了能解決實際問題的模型。因此在目前炙手可熱的人工智慧領域，網路爬蟲越來越起到數據生產者的關鍵作用，沒有網路爬蟲，數據挖掘、人工智慧就成了無源之水和無本之木。
具體而言，現在爬蟲的熱門應用領域的案例是比價網站的應用。目前各大電商平台為了吸引用戶，都開展各種優惠折扣活動。同樣的一個商品可能在不同網購平台上價格不一樣，這就催生了比價網站或App，例如返利網，折多多等。這些比價網站一個網路爬蟲來實時監控各大電商的價格浮動。就是採集商品的價格，型號，配置等，再做處理，分析，反饋。這樣可以在秒級的時間內獲得一件商品在某電商網站上是否有優惠的信息。
關於網路爬蟲的問題可以看下這個頁面的視頻教程，Python爬蟲+語音庫，看完後會對網路爬蟲有個清晰的了解。
3、如何採集電商網站數據
網上有很多這樣的數據採集工具，百度搜「網頁數據抓取工具」出來一堆，自己去搜一下吧
4、網站上總是有爬蟲怎麼辦？
那是你沒有屏蔽搜索引擎爬蟲，可以用robots協議屏蔽一下就行了，就可以把爬蟲屏蔽在外面了。
5、利用爬蟲技術能做到哪些很酷很有趣很有用的事情
1. 建立機器翻譯的語料庫
2. 社會計算方面的統計和預測
情緒地圖：監測目前微博上大家的情緒，也是極有趣的
飲食地圖：查看不同省份、不同性別的用戶、不同的時間段對不同類別食物的關注程度
票房預測
6、怎麼爬取電商網站的用戶瀏覽數據，比如頁面停留時間
神箭手雲爬蟲開發平台上有寫好天貓商品信息及評論採集爬蟲
打開神箭手雲爬蟲開發平台官網，進入神箭手雲市場，搜索天貓，獲取規則後就能直接使用了。
除了天貓的，淘寶網、京東等多個電商數據的爬蟲也有的。
7、有哪些網站用爬蟲爬取能得到很有價值的數據
一般有一下幾種
一些常用的方法
IP代理
對於IP代理,各個語言的Native
Request
API都提供的IP代理響應的API,
需要解決的主要就是IP源的問題了.
網路上有廉價的代理IP(1元4000個左右),
我做過簡單的測試,
100個IP中,
平均可用的在40-60左右,
訪問延遲均在200以上.
網路有高質量的代理IP出售,
前提是你有渠道.
因為使用IP代理後,
延遲加大,
失敗率提高,
所以可以將爬蟲框架中將請求設計為非同步,
將請求任務加入請求隊列(RabbitMQ,Kafka,Redis),
調用成功後再進行回調處理,
失敗則重新加入隊列.
每次請求都從IP池中取IP,
如果請求失敗則從IP池中刪除該失效的IP.
Cookies
有一些網站是基於cookies做反爬蟲,
這個基本上就是如
@朱添一
所說的,
維護一套Cookies池
注意研究下目標網站的cookies過期事件,
可以模擬瀏覽器,
定時生成cookies
限速訪問
像開多線程,循環無休眠的的暴力爬取數據,
那真是分分鍾被封IP的事,
限速訪問實現起來也挺簡單(用任務隊列實現),
效率問題也不用擔心,
一般結合IP代理已經可以很快地實現爬去目標內容.
一些坑
大批量爬取目標網站的內容後,
難免碰到紅線觸發對方的反爬蟲機制.
所以適當的告警提示爬蟲失效是很有必有的.
一般被反爬蟲後,
請求返回的HttpCode為403的失敗頁面,
有些網站還會返回輸入驗證碼(如豆瓣),
所以檢測到403調用失敗,
就發送報警,
可以結合一些監控框架,
如Metrics等,
設置短時間內,
告警到達一定閥值後,
給你發郵件,簡訊等.
當然,
單純的檢測403錯誤並不能解決所有情況.
有一些網站比較奇葩,
反爬蟲後返回的頁面仍然是200的(如去哪兒),
這時候往往爬蟲任務會進入解析階段,
解析失敗是必然的.
應對這些辦法,
也只能在解析失敗的時候,
發送報警,
當告警短時間到達一定閥值,
再觸發通知事件.
當然這個解決部分並不完美,
因為有時候,
因為網站結構改變,
而導致解析失敗,
同樣回觸發告警.
而你並不能很簡單地區分,
告警是由於哪個原因引起的.
8、怎樣用爬蟲爬下自己淘寶收藏夾的寶貝
可以試試前嗅，我還真用過前嗅，之前是爬京東的全部商品評價，很好使。
9、python爬蟲能做什麼
Python是一門非常適合開發網路爬蟲的編程語言，相比於其他靜態編程語言，Python抓取網頁文檔的介面更簡潔;相比於其他動態腳本語言，Python的urllib2包提供了較為完整的訪問網頁文檔的API。此外，python中有優秀的第三方包可以高效實現網頁抓取，並可用極短的代碼完成網頁的標簽過濾功能。
Python爬蟲架構組成:
1. URL管理器：管理待爬取的url集合和已爬取的url集合，傳送待爬取的url給網頁下載器;
2. 網頁下載器：爬取url對應的網頁，存儲成字元串，傳送給網頁解析器;
3. 網頁解析器：解析出有價值的數據，存儲下來，同時補充url到URL管理器。
Python爬蟲工作原理:
Python爬蟲通過URL管理器，判斷是否有待爬URL，如果有待爬URL，通過調度器進行傳遞給下載器，下載URL內容，並通過調度器傳送給解析器，解析URL內容，並將價值數據和新URL列表通過調度器傳遞給應用程序，並輸出價值信息的過程。
爬蟲可以做什麼？
你可以用爬蟲爬圖片，爬取視頻等等你想要爬取的數據，只要你能通過瀏覽器訪問的數據都可以通過爬蟲獲取。
Python爬蟲常用框架有：
grab：網路爬蟲框架;
scrapy：網路爬蟲框架，不支持Python3;
pyspider：一個強大的爬蟲系統;
cola：一個分布式爬蟲框架;
portia：基於Scrapy的可視化爬蟲;
restkit：Python的HTTP資源工具包。它可以讓你輕松地訪問HTTP資源，並圍繞它建立的對象。
demiurge：基於PyQuery的爬蟲微框架。