- Published on
웹 스크래핑 & 크롤링 도구 2026 — Scrapy / Playwright / Puppeteer / Crawlee (Apify) / Firecrawl / Jina Reader / Stagehand AI 심층 가이드
web-scrapingcrawlingscrapyplaywrightpuppeteerseleniumcrawleeapifybright-dataoxylabssmartproxyscrapingbeebrowserlesszenrowsfirecrawljina-ai-readerdiffbotcheeriobeautifulsouplxmljsoupgouttestagehandbrowserbasebrowser-useanchorbrowserpuppeteer-extra-stealthundetected-chromedrivercamoufoxreader-lm2026deep-dive
2026년 웹 스크래핑 생태계를 한 호흡으로 정리합니다. Scrapy·Playwright·Puppeteer·Selenium 같은 고전부터 Crawlee·Apify 같은 모던 프레임워크, Bright Data·Oxylabs·Smartproxy 같은 프록시 클라우드, ScrapingBee·Browserless·ZenRows 같은 API 서비스, Firecrawl·Jina AI Reader·Diffbot 같은 LLM 친화 도구, Stagehand·Browser Use·AnchorBrowser 같은 AI 에이전트 브라우저, puppeteer-extra-stealth·undetected-chromedriver·Camoufox 같은 스텔스 스택, 그리고 robots.txt와 크롤링 윤리·한일 사례까지 — 도구 지도와 선택 기준을 함께 다룹니다.