discord icon
سرور دیسکورد گاردایران
KingSlayer

web crawler Python

پست های پیشنهاد شده

درود

به احتمال زیاد اکثر شما با کرولر ها آشنایی دارید ولی توضیحی میدم برای کسایی که نمیدونن

وب کراولر ها  برای افراد معمولی مثل ما ابزار هایی برای پیدا کردن تمام url هی یک سایت هستند البته این فقط برای ما هست و کمپانی های بزرگ که کراولر های قوی دارند کاری بیش از این انجام میدن ( مثل گوگل و یاهو)

این کراولر که میزارم کم حجم و قوی هست و نصبت به سایتی که شما بهش میدین (وسرعت نت) از چند دقیقه تا چند روز ممکنه طول بکشه

 

ورژن مورد نیاز پایتون : 2.7

روش اجرا:

دایرکتوری فایل رو تو cmd یا terminal  بنویسین و بعد با یک فاصله url سایت رو بنویسین تا تمام سایت رو دانلود کنه

توصیه میکن بعد اجرا یه چای بریزید بخورید چون معلوم نیس چه قد طول بکشه :P

webcrawler.zip

به اشتراک گذاری این ارسال


لینک به ارسال
به اشتراک گذاری در سایت های دیگر

برای ارسال دیدگاه یک حساب کاربری ایجاد کنید یا وارد حساب خود شوید

برای اینکه بتوانید دیدگاهی ارسال کنید نیاز دارید که کاربر سایت شوید

ایجاد یک حساب کاربری

برای حساب کاربری جدید در سایت ما ثبت نام کنید. عضویت خیلی ساده است !

ثبت نام یک حساب کاربری جدید

ورود به حساب کاربری

دارای حساب کاربری هستید؟ از اینجا وارد شوید

ورود به حساب کاربری