Gospider — это быстрый веб-краулер, способный создавать подробную карту веб-сайта. Он просматривает файлы sitemap.xml и robots.txt , находит ссылки, скрытые в файлах JavaScript, и может получать URL-адреса из Wayback Machine, Common Crawl, VirusTotal и AlienVault OTX. https://github.com/jaeles-project/gospider 📱 Telegram | 🌐 ВК | 📲 MAX 📲 RUTUBE | 🌍 VK Видео