Common-crawl

All Posts

Published on
2026년 5월 16일
인터넷 아카이브 & 디지털 보존 & 웹 아카이빙 2026 — Wayback Machine / archive.today / Conifer / Browsertrix / WARC / Perma.cc / NDL WARP / OASIS 심층 가이드
internet-archive wayback-machine brewster-kahle archive-today archive-ph save-page-now common-crawl conifer webrecorder browsertrix-crawler browsertrix-cloud replay-web-page wacz warc heritrix pywb hachette-vs-ia ia-2024-lawsuit national-library-japan ndl-warp library-of-congress national-library-korea oasis perma-cc harvard-law permanent-org archivebox singlefile linkrot 2026 deep-dive
2026년 5월 기준 디지털 보존과 웹 아카이빙 생태계를 정리합니다. Brewster Kahle의 Internet Archive와 935B+ 페이지를 가진 Wayback Machine, 익명 아카이브 archive.today, Webrecorder 진영의 Conifer · Browsertrix Crawler · Browsertrix Cloud, 새로운 WACZ 포맷과 Replay.web.page, 표준 WARC(ISO 28500) · Heritrix · Pywb, Hachette v. IA 2024 판결이 가져온 충격, Harvard Law의 Perma.cc, Permanent.org, 셀프호스팅 ArchiveBox · SingleFile, 그리고 한국의 국립중앙도서관 OASIS · KEPRI 디지털 아카이브와 일본 国立国会図書館 NDL · WARP까지, linkrot 시대를 어떻게 살아갈지 한 글에 담았습니다.
Published on
2026년 5월 16일
오픈소스 AI 학습 데이터셋 2026 — Common Crawl / FineWeb (HF) / RedPajama-V2 / Dolma / SlimPajama / The Stack v2 / LAION / COYO-700M (Kakao) 심층 가이드
ai-datasets training-data common-crawl refinedweb redpajama fineweb fineweb-edu the-pile dolma slimpajama oscar c4 mc4 commonpile roots openwebtext arxiv s2orc the-stack-v2 starcoder coyo-700m kakao-brain laion-5b laion-aesthetics datacomp imagenet cc12m open-images coco open-x-embodiment 2026 deep-dive
2026년 오픈소스 AI 학습 데이터셋의 전체 지도를 그린다. 모든 LLM의 토대인 Common Crawl, 그것을 정제한 RefinedWeb / RedPajama-V2 / FineWeb / FineWeb-Edu / Dolma / SlimPajama, 학술용 The Pile / S2ORC / arXiv, 코드용 The Stack v2 / StarCoder, 멀티모달 LAION-5B / DataComp / COYO-700M, 그리고 한국·일본 데이터셋(AI Hub, NIA, KAIST, HyperCLOVA, NII, NTT, ABEJA)과 로보틱스 Open X-Embodiment까지 — 라이선스, 윤리, 옵트아웃 권리를 포함한 실무자용 심층 가이드.

Common-crawl

common-crawl (2)

인터넷 아카이브 & 디지털 보존 & 웹 아카이빙 2026 — Wayback Machine / archive.today / Conifer / Browsertrix / WARC / Perma.cc / NDL WARP / OASIS 심층 가이드

오픈소스 AI 학습 데이터셋 2026 — Common Crawl / FineWeb (HF) / RedPajama-V2 / Dolma / SlimPajama / The Stack v2 / LAION / COYO-700M (Kakao) 심층 가이드