[python] كيف يمكنني إزالة الأسطر المكررة من الملف؟



4 Answers

إذا كنت تستخدم * nix ، فحاول تشغيل الأمر التالي:

sort <file name> | uniq
Question

لدي ملف مع عمود واحد. كيفية حذف الخطوط المتكررة في ملف؟




في إعادة صياغة ما قيل بالفعل هنا - هنا ما استخدمه.

import optparse

def removeDups(inputfile, outputfile):
        lines=open(inputfile, 'r').readlines()
        lines_set = set(lines)
        out=open(outputfile, 'w')
        for line in lines_set:
                out.write(line)

def main():
        parser = optparse.OptionParser('usage %prog ' +\
                        '-i <inputfile> -o <outputfile>')
        parser.add_option('-i', dest='inputfile', type='string',
                        help='specify your input file')
        parser.add_option('-o', dest='outputfile', type='string',
                        help='specify your output file')
        (options, args) = parser.parse_args()
        inputfile = options.inputfile
        outputfile = options.outputfile
        if (inputfile == None) or (outputfile == None):
                print parser.usage
                exit(1)
        else:
                removeDups(inputfile, outputfile)

if __name__ == '__main__':
        main()



يمكنك ان تفعل:

import os
os.system("awk '!x[$0]++' /path/to/file > /path/to/rem-dups")

هنا كنت تستخدم باش في python :)

لديك أيضًا طريقة أخرى:

with open('/tmp/result.txt') as result:
        uniqlines = set(result.readlines())
        with open('/tmp/rmdup.txt', 'w') as rmdup:
            rmdup.writelines(set(uniqlines))



انظر إلى النص البرمجي الذي أنشأته لإزالة رسائل البريد الإلكتروني المكررة من الملفات النصية. أتمنى أن يساعدك هذا!

# function to remove duplicate emails
def remove_duplicate():
    # opens emails.txt in r mode as one long string and assigns to var
    emails = open('emails.txt', 'r').read()
    # .split() removes excess whitespaces from str, return str as list
    emails = emails.split()
    # empty list to store non-duplicate e-mails
    clean_list = []
    # for loop to append non-duplicate emails to clean list
    for email in emails:
        if email not in clean_list:
            clean_list.append(email)
    return clean_list
    # close emails.txt file
    emails.close()
# assigns no_duplicate_emails.txt to variable below
no_duplicate_emails = open('no_duplicate_emails.txt', 'w')

# function to convert clean_list 'list' elements in to strings
for email in remove_duplicate():
    # .strip() method to remove commas
    email = email.strip(',')
    no_duplicate_emails.write(f"E-mail: {email}\n")
# close no_duplicate_emails.txt file
no_duplicate_emails.close()



إضافة إلى إجابةDavid Locke ، مع أنظمة * nix التي يمكنك تشغيلها

sort -u messy_file.txt > clean_file.txt

والتي ستقوم بإنشاء clean_file.txt إزالة التكرارات بترتيب أبجدي.






Related