python read - كيف يمكنني إزالة الأسطر المكررة من الملف؟




file line (10)

يمكنك ان تفعل:

import os
os.system("awk '!x[$0]++' /path/to/file > /path/to/rem-dups")

هنا كنت تستخدم باش في python :)

لديك أيضًا طريقة أخرى:

with open('/tmp/result.txt') as result:
        uniqlines = set(result.readlines())
        with open('/tmp/rmdup.txt', 'w') as rmdup:
            rmdup.writelines(set(uniqlines))

لدي ملف مع عمود واحد. كيفية حذف الخطوط المتكررة في ملف؟


بايثون واحد بطانات:

python -c "import sys; lines = sys.stdin.readlines(); print ''.join(sorted(set(lines)))" < InputFile > OutputFile

هنا هو الحل الخاص بي

if __name__ == '__main__':
f = open('temp.txt','w+')
flag = False
with open('file.txt') as fp:
    for line in fp:
        for temp in f:
            if temp == line:
                flag = True
                print('Found Match')
                break
        if flag == False:
            f.write(line)
        elif flag == True:
            flag = False
        f.seek(0)
    f.close()

إضافة إلى إجابةDavid Locke ، مع أنظمة * nix التي يمكنك تشغيلها

sort -u messy_file.txt > clean_file.txt

والتي ستقوم بإنشاء clean_file.txt إزالة التكرارات بترتيب أبجدي.


uniqlines = set(open('/tmp/foo').readlines())

هذا سوف يعطيك قائمة من الخطوط الفريدة.

الكتابة التي تعود إلى بعض الملفات ستكون سهلة مثل:

bar = open('/tmp/bar', 'w').writelines(set(uniqlines))

bar.close()

في نظام Unix / Linux ، استخدم الأمر uniq ، وفقًا لإجابة David Locke ، أو حسب تصنيف William Pursell.

إذا كنت تحتاج إلى نص برمجي Python:

lines_seen = set() # holds lines already seen
outfile = open(outfilename, "w")
for line in open(infilename, "r"):
    if line not in lines_seen: # not a duplicate
        outfile.write(line)
        lines_seen.add(line)
outfile.close()

تحديث: ستقوم مجموعة sort / uniq بإزالة التكرارات ولكن ستقوم بإرجاع الملف مع الخطوط التي تم فرزها ، والتي قد تكون أو لا تكون ما تريده. لن يعمل نص برمجي Python أعلاه على إعادة ترتيب الخطوط ، ولكن قم بإسقاط التكرارات فقط. بالطبع ، للحصول على البرنامج النصي أعلاه لفرز كذلك ، فقط ترك outfile.write(line) وبدلاً من ذلك ، مباشرة بعد الحلقة ، القيام outfile.writelines(sorted(lines_seen)) .


إذا كان أي شخص يبحث عن حل يستخدم تجزئته وهو أكثر براقة ، فهذا هو ما أستخدمه حاليًا:

def remove_duplicate_lines(input_path, output_path):

    if os.path.isfile(output_path):
        raise OSError('File at {} (output file location) exists.'.format(output_path))

    with open(input_path, 'r') as input_file, open(output_path, 'w') as output_file:
        seen_lines = set()

        def add_line(line):
            seen_lines.add(line)
            return line

        output_file.writelines((add_line(line) for line in input_file
                                if line not in seen_lines))

هذه الوظيفة ليست فعالة تماما حيث يتم حساب التجزئة مرتين ، ومع ذلك ، أنا متأكد من أن القيمة يتم تخزينها مؤقتًا.


في إعادة صياغة ما قيل بالفعل هنا - هنا ما استخدمه.

import optparse

def removeDups(inputfile, outputfile):
        lines=open(inputfile, 'r').readlines()
        lines_set = set(lines)
        out=open(outputfile, 'w')
        for line in lines_set:
                out.write(line)

def main():
        parser = optparse.OptionParser('usage %prog ' +\
                        '-i <inputfile> -o <outputfile>')
        parser.add_option('-i', dest='inputfile', type='string',
                        help='specify your input file')
        parser.add_option('-o', dest='outputfile', type='string',
                        help='specify your output file')
        (options, args) = parser.parse_args()
        inputfile = options.inputfile
        outputfile = options.outputfile
        if (inputfile == None) or (outputfile == None):
                print parser.usage
                exit(1)
        else:
                removeDups(inputfile, outputfile)

if __name__ == '__main__':
        main()

الحصول على جميع الخطوط الخاصة بك في القائمة وجعل مجموعة من الخطوط وانت القيام به. فمثلا،

>>> x = ["line1","line2","line3","line2","line1"]
>>> list(set(x))
['line3', 'line2', 'line1']
>>>

وكتابة المحتوى مرة أخرى إلى الملف.


لعكس اختبار ، استخدم "!". وهذا يعادل عامل التشغيل "غير" المنطقي بلغات أخرى. جرب هذا:

if [ ! -f /tmp/foo.txt ];
then
    echo "File not found!"
fi

أو مكتوبة بطريقة مختلفة بعض الشيء:

if [ ! -f /tmp/foo.txt ]
    then echo "File not found!"
fi

أو يمكنك استخدام:

if ! [ -f /tmp/foo.txt ]
    then echo "File not found!"
fi

أو التقريب معًا:

if ! [ -f /tmp/foo.txt ]; then echo "File not found!"; fi

والتي يمكن كتابتها (باستخدام ذلك الحين "و" المشغل: &&) على النحو التالي:

[ ! -f /tmp/foo.txt ] && echo "File not found!"

الذي يبدو أقصر مثل هذا:

[ -f /tmp/foo.txt ] || echo "File not found!"




python text file-io