ลบบรรทัดที่ซ้ำกัน

ตัวเลือกตัดช่องว่างและไม่แยกตัวพิมพ์ใหญ่เล็กมีผลเฉพาะการเปรียบเทียบ โดยจะเก็บบรรทัดต้นฉบับแรกไว้รวมถึงช่องว่าง รองรับสูงสุด 100,000 หน่วย UTF-16 ต่อข้อมูลเข้าแต่ละชุด