Tool làm sạch danh sách URL là gì?

Bạn export URL từ GSC/Ahrefs/Screaming Frog xong nhìn “ngợp”: trùng lặp, lẫn http/https, có www/không www, query UTM dài ngoằng, có cả #fragment… Nếu đem list “bẩn” này đi crawl, kiểm redirect, làm sitemap, hoặc giao team triển khai thì rất dễ sai và tốn thời gian sửa.
Tool Làm Sạch Danh Sách URL giúp bạn dọn list trong vài phút: chuẩn hoá URL → lọc trùng → trích domain/root path → nhóm theo TLD → thống kê & export. Hoàn toàn miễn phí, thao tác kiểu “dán là chạy”.

Tool này giúp gì cho bạn?

• Giảm thời gian “dọn data” URL từ thủ công (copy–paste–find/replace) xuống vài bước chọn tuỳ chọn → Run.

• Lọc trùng đúng kiểu bạn cần: trùng theo URL hoặc theo Domain (có tuỳ chọn root domain nếu dùng tldts).

• Chuẩn hoá đồng bộ: scheme (http/https), www, trailing slash, query, hash (#fragment) để tránh “trùng giả” khi audit.

• Dọn tracking params nhanh: loại UTM, gclid, fbclid… hoặc tự thêm danh sách param cần bỏ theo dự án.

• Có số liệu để ra quyết định: Total, Valid, Unique URL, Unique Domain → biết list đang “rác” cỡ nào trước khi làm tiếp.

• Copy 1-click + Download TXT/CSV: tiện giao team, đưa vào sheet, hoặc import tool khác.

Cách dùng Tool Làm Sạch Danh Sách URL

Bước 1: Dán list URL vào ô Input (mỗi dòng 1 URL) hoặc Upload TXT/CSV nếu bạn có file xuất sẵn.

Bước 2: Vào mục Input cleanup, bật tuỳ chọn cần dùng: Trim từng dòng / Bỏ dòng trống / Normalize newline (đặc biệt hữu ích khi copy từ Sheet/Docs).

Bước 3: Ở phần Dedupe + Sort:

• Chọn kiểu lọc trùng: Dedupe theo URL (sau normalize) / Dedupe theo Domain / Không dedupe (nếu chỉ muốn chuẩn hoá).

• Chọn sắp xếp: A→Z / Z→A / Giữ nguyên.

• Nếu cần giữ thứ tự ban đầu khi lọc trùng, bật Giữ thứ tự (stable).

Bước 4: Ở phần Normalize URL, chọn chuẩn hoá theo nhu cầu:

• Scheme: Giữ nguyên / Force https / Force http / Remove scheme.

• WWW: Giữ nguyên / Remove www / Add www (chỉ khi URL không có subdomain).

• Trailing slash: Giữ nguyên / Add / Remove (có tuỳ chọn add cả khi path giống file).

Bước 5: Ở phần Query & Hash:

• Query: Giữ nguyên / Remove toàn bộ / Remove tracking params (UTM, gclid, fbclid,…).

• Bật Remove hash (#fragment) nếu muốn xoá phần sau dấu #.

Bước 6: Nếu dự án có tham số riêng (vd: ref, aff, src), dán vào ô Custom tracking params (mỗi dòng 1 key, hỗ trợ prefix* như utm_*).

Bước 7: Bấm Run để tạo kết quả.

Bước 8: Ở Output, chọn tab bạn cần rồi Copy / Download TXT / Download CSV:

• Clean URL

• Domains

• Root paths

• Group by TLD

Khi nào nên dùng?

1. Audit index/crawl: Bạn lấy URL từ GSC/Screaming Frog, cần chuẩn hoá để đếm trùng và gom đúng URL “chuẩn” trước khi phân tích.

2. Dọn list redirect khi migrate: Chỉ cần lệch http/https hoặc slash là mapping redirect dễ sai → normalize trước để giảm lỗi.

3. Lọc UTM/tracking trước khi làm báo cáo: Khi team Ads bắn nhiều link có utm_, gclid, fbclid… bạn nên loại tracking để thống kê theo URL gốc.

4. Chuẩn hoá list internal link/canonical: Copy URL từ nhiều nguồn, đưa qua tool để “đồng phục” (scheme/www/slash) trước khi áp dụng onpage.

5. Tách nhanh domain & root path để phân loại: Nếu bạn đang làm outreach/backlink audit, kết hợp tool này + Tool Tách tên miền từ URL để ra danh sách domain sạch.

6. Nhóm theo TLD: Khi bạn cần biết list link đang tập trung vào .com/.net/.org… hay có .edu/.gov để phân tích profile.

Mẹo nhanh + lỗi hay gặp

Tips

• Dọn dòng rỗng trước nếu list copy từ Sheet: dùng Tool Xóa Dòng Trống để đầu vào “sạch ngay từ cửa”.

• Khi audit trùng lặp, hãy remove tracking params để tránh “một trang – nhiều biến thể URL”.

• Nếu giao team triển khai, ưu tiên Download CSV để dán vào Google Sheets (dễ chia việc, dễ check).

• Dự án có tham số riêng (affiliate/ref/source nội bộ) → nhớ thêm vào Custom tracking params để loại đúng.

• Sau khi đã có list URL sạch, nếu cần biến thành link để dán bài/Docs, dùng Chuyển URL thành Link HTML/Markdown/BBCode.

Common mistakes (và cách tránh)

• Không thống nhất trailing slash: /page và /page/ có thể bị coi là 2 URL → chọn Add/Remove slash theo chuẩn site của bạn.

• Dedupe sai mục tiêu:

  • Dedupe theo URL khi bạn cần list trang cụ thể.

  • Dedupe theo Domain khi bạn chỉ cần danh sách website.

• Add www nhầm khi có subdomain: tool chỉ add www khi không có subdomain—hãy để “Giữ nguyên” nếu list có nhiều subdomain.

• Xoá toàn bộ query quá tay: có website dùng query để phân trang/lọc sản phẩm; nếu bạn không chắc, hãy dùng “Remove tracking params” thay vì “Remove toàn bộ query”.

• Bỏ qua thống kê Valid: nếu Valid thấp, list của bạn đang lẫn text/ký tự lạ → cần làm sạch đầu vào (trim/newline) trước.

Lưu ý riêng tư: hạn chế dán URL chứa token đăng nhập, link nội bộ nhạy cảm hoặc tham số có thông tin cá nhân. Hãy loại/ẩn trước khi chia sẻ output cho người khác.

FAQ

1. Tool có giữ thứ tự URL ban đầu không?
   Có. Bạn có thể bật tuỳ chọn Giữ thứ tự (stable) khi dedupe để lọc trùng nhưng vẫn giữ thứ tự xuất hiện ban đầu.

2. Dedupe theo URL khác gì dedupe theo Domain?
   Theo URL: coi từng trang là 1 mục. Theo Domain: gom theo website (dù khác path). Dùng đúng chế độ để tránh “mất dữ liệu” khi bạn cần list trang.

3. Tool xử lý http/https như thế nào khi URL thiếu scheme?
   Có tuỳ chọn Giữ nguyên (nếu thiếu sẽ dùng https khi parse) hoặc force https/http, hoặc remove scheme tuỳ nhu cầu.

4. Tool có xoá được UTM/gclid/fbclid không?
   Có. Bạn chọn “Remove tracking params (UTM, gclid, fbclid,…)” để loại nhanh các tham số tracking phổ biến.

5. Tôi có thể thêm tham số tracking “lạ” của riêng mình không?
   Có. Dán danh sách key vào Custom tracking params (mỗi dòng 1 key), hỗ trợ prefix* như utm_*.

6. Output gồm những phần nào ngoài Clean URL?
   Ngoài danh sách URL sạch, tool còn xuất Domains, Root paths và Group by TLD (kèm bảng thống kê).

7. Có xuất file để lưu/giao team không?
   Có Download TXT và Download CSV, kèm Copy 1-click để dán nhanh.