السلام عليكم

كيفية انشاء عناكب لجلب url مثل غوغل


بحثت عنها كثيرا والحمد الله وجدها بلغة #



اولا نحمل المكتبة

http://www.chilkatsoft.com/download/ChilkatDotNet2.msi


وهذا الكود اللازم


رمز Code:
.
Chilkat.Spider spider = new Chilkat.Spider();

Chilkat.StringArray seenDomains = new Chilkat.StringArray();
Chilkat.StringArray seedUrls = new Chilkat.StringArray();

seenDomains.Unique = true;
seedUrls.Unique = true;

seedUrls.Append("http://directory.google.com/Top/Recreation/Outdoors/Hiking/Backpacking/");

// Set our outbound URL exclude patterns
spider.AddAvoidOutboundLinkPattern("*?id=*");
spider.AddAvoidOutboundLinkPattern("*.mypages.*");
spider.AddAvoidOutboundLinkPattern("*.personal.*") ;
spider.AddAvoidOutboundLinkPattern("*.comcast.*");
spider.AddAvoidOutboundLinkPattern("*.aol.*");
spider.AddAvoidOutboundLinkPattern("*~*");

// Use a cache so we don't have to re-fetch URLs previously fetched.
spider.CacheDir = "c:/spiderCache/";
spider.FetchFromCache = true;
spider.UpdateCache = true;

while (seedUrls.Count > 0) {

string url;
url = seedUrls.Pop();
spider.Initialize(url);

// Spider 5 URLs of this domain.
// but first, save the base domain in seenDomains
string domain;
domain = spider.GetDomain(url);
seenDomains.Append(spider.GetBaseDomain(domain));

int i;
bool success;
for (i = 0; i 1000) {
break;
}

}

}
الرابط الاصلي للموضوع
http://dev-sy.com/vb/showthread.php?t=415

واي استفسار انا موجود