整形 - PythonでXMLをどのように解析するのですか?




xml xpath python (10)

私はxmlを含むデータベース内の多くの行を持っており、それらの行を通り、特定のノード属性のインスタンスがいくつ表示されるかをカウントするPythonスクリプトを作成しようとしています。 たとえば、私のツリーは次のようになります。

<foo>
   <bar>
      <type foobar="1"/>
      <type foobar="2"/>
   </bar>
</foo>

Pythonを使用してXMLの属性1と属性2にアクセスするにはどうすればよいですか?


xml.etree.ElementTreeとlxml

これらは、私がそれらの間で選択する前に知っておくべき有益な2つの最も使用されるライブラリのいくつかの賛成です。

xml.etree.ElementTree:

  1. 標準ライブラリから:任意のモジュールをインストールする必要はありません

1xml

  1. 簡単にXML宣言を書いてください:例えばstandalone = "no"を追加する必要がありますか?
  2. 素敵な印刷 :あなたは余分なコードなしでインデントされた素敵なXMLを持つことができます。
  3. Objectify機能:通常のPythonオブジェクト階層を扱っているかのようにXMLを使用できます。

Pythonには、expat xmlパーサへのインタフェースがあります。

xml.parsers.expat

それは非検証パーサーなので、不正なXMLは捕捉されません。 しかし、あなたのファイルが正しいことが分かっているなら、これはかなり良いことです。 あなたが望む正確な情報を得て、残りの部分をその場で捨てることができます。

stringofxml = """<foo>
    <bar>
        <type arg="value" />
        <type arg="value" />
        <type arg="value" />
    </bar>
    <bar>
        <type arg="value" />
    </bar>
</foo>"""
count = 0
def start(name, attr):
    global count
    if name == 'type':
        count += 1

p = expat.ParserCreate()
p.StartElementHandler = start
p.Parse(stringofxml)

print count # prints 4

lxml.objectifyはとても簡単です。

あなたのサンプルテキストを取る:

from lxml import objectify
from collections import defaultdict

count = defaultdict(int)

root = objectify.fromstring(text)

for item in root.bar.type:
    count[item.attrib.get("foobar")] += 1

print dict(count)

出力:

{'1': 1, '2': 1}

minidomは最も速くてかなりストレートです:

XML:

<data>
    <items>
        <item name="item1"></item>
        <item name="item2"></item>
        <item name="item3"></item>
        <item name="item4"></item>
    </items>
</data>

PYTHON:

from xml.dom import minidom
xmldoc = minidom.parse('items.xml')
itemlist = xmldoc.getElementsByTagName('item')
print(len(itemlist))
print(itemlist[0].attributes['name'].value)
for s in itemlist:
    print(s.attributes['name'].value)

出力

4
item1
item1
item2
item3
item4

ここでは、 cElementTreeを使用して非常にシンプルだが効果的なコードcElementTree

try:
    import cElementTree as ET
except ImportError:
  try:
    # Python 2.5 need to import a different module
    import xml.etree.cElementTree as ET
  except ImportError:
    exit_err("Failed to import cElementTree from any known place")      

def find_in_tree(tree, node):
    found = tree.find(node)
    if found == None:
        print "No %s in file" % node
        found = []
    return found  

# Parse a xml file (specify the path)
def_file = "xml_file_name.xml"
try:
    dom = ET.parse(open(def_file, "r"))
    root = dom.getroot()
except:
    exit_err("Unable to open and parse input definition file: " + def_file)

# Parse to find the child nodes list of node 'myNode'
fwdefs = find_in_tree(root,"myNode")

ソース:

http://www.snip2code.com/Snippet/991/python-xml-parse?fromPage=1


そこには多くのオプションがあります。 速度とメモリ使用量が問題になる場合、 cElementTreeは優れています。 readlinesを使ってファイルを読み込むのと比べて、オーバーヘッドはほとんどありません。

関連するメトリックは、 cElementTree Webサイトからコピーされた以下の表にあります。

library                         time    space
xml.dom.minidom (Python 2.1)    6.3 s   80000K
gnosis.objectify                2.0 s   22000k
xml.dom.minidom (Python 2.4)    1.4 s   53000k
ElementTree 1.2                 1.6 s   14500k  
ElementTree 1.2.4/1.3           1.1 s   14500k  
cDomlette (C extension)         0.540 s 20500k
PyRXPU (C extension)            0.175 s 10850k
libxml2 (C extension)           0.098 s 16000k
readlines (read as utf-8)       0.093 s 8850k
cElementTree (C extension)  --> 0.047 s 4900K <--
readlines (read as ascii)       0.032 s 5050k   

@jfsによって指摘されている@jfscElementTreeはPythonにバンドルされています:

  • Python 2: from xml.etree import cElementTree as ElementTreeます。
  • Python 3: from xml.etree import ElementTree (アクセラレーションされたCバージョンが自動的に使用されます)。

私はdeclxml提案するかもしれません。

完全な開示:XMLとPythonのデータ構造を変換する方法を探していたので、私はこのライブラリを書いた。ElementTreeを使って何十行もの命令的な解析/シリアライゼーションコードを書く必要はなかった。

declxmlでは、 プロセッサを使用してXML文書の構造を宣言的に定義し、XMLとPythonのデータ構造をどのようにマッピングするかを定義します。 プロセッサは、シリアライズと解析の両方、および基本レベルの検証に使用されます。

Pythonのデータ構造を解析するのは簡単です:

import declxml as xml

xml_string = """
<foo>
   <bar>
      <type foobar="1"/>
      <type foobar="2"/>
   </bar>
</foo>
"""

processor = xml.dictionary('foo', [
    xml.dictionary('bar', [
        xml.array(xml.integer('type', attribute='foobar'))
    ])
])

xml.parse_from_string(processor, xml_string)

出力を生成する:

{'bar': {'foobar': [1, 2]}}

同じプロセッサを使用してデータをXMLにシリアル化することもできます

data = {'bar': {
    'foobar': [7, 3, 21, 16, 11]
}}

xml.serialize_to_string(processor, data, indent='    ')

これは次の出力を生成する

<?xml version="1.0" ?>
<foo>
    <bar>
        <type foobar="7"/>
        <type foobar="3"/>
        <type foobar="21"/>
        <type foobar="16"/>
        <type foobar="11"/>
    </bar>
</foo>

辞書の代わりにオブジェクトを扱う場合は、オブジェクトとの間でデータを変換するプロセッサを定義することもできます。

import declxml as xml

class Bar:

    def __init__(self):
        self.foobars = []

    def __repr__(self):
        return 'Bar(foobars={})'.format(self.foobars)


xml_string = """
<foo>
   <bar>
      <type foobar="1"/>
      <type foobar="2"/>
   </bar>
</foo>
"""

processor = xml.dictionary('foo', [
    xml.user_object('bar', Bar, [
        xml.array(xml.integer('type', attribute='foobar'), alias='foobars')
    ])
])

xml.parse_from_string(processor, xml_string)

これは次の出力を生成する

{'bar': Bar(foobars=[1, 2])}

私はElementTreeを提案する。 Python標準ライブラリ自体には、 cElementTreecElementTreeなど、同じAPIの他の互換性のある実装があります。 このコンテキストでは、主に追加するものはさらに高速です。プログラミングの容易さは、 ElementTree定義するAPIに依存します。

ElementインスタンスeをXMLから、例えばXML関数で構築した後、あるいはファイルを次のように解析することによって

import xml.etree.ElementTree
e = xml.etree.ElementTree.parse('thefile.xml').getroot()

ElementTreeに表示される他の多くの方法のいずれかを使用すると、次のようなことができます。

for atype in e.findall('type'):
    print(atype.get('foobar'))

類似した、通常はかなりシンプルなコードパターンです。


私は簡単にxmltodictを提案します。

あなたのXMLをOrderedDictに解析します。

>>> e = '<foo>
             <bar>
                 <type foobar="1"/>
                 <type foobar="2"/>
             </bar>
        </foo> '

>>> import xmltodict
>>> result = xmltodict.parse(e)
>>> result

OrderedDict([(u'foo', OrderedDict([(u'bar', OrderedDict([(u'type', [OrderedDict([(u'@foobar', u'1')]), OrderedDict([(u'@foobar', u'2')])])]))]))])

>>> result['foo']

OrderedDict([(u'bar', OrderedDict([(u'type', [OrderedDict([(u'@foobar', u'1')]), OrderedDict([(u'@foobar', u'2')])])]))])

>>> result['foo']['bar']

OrderedDict([(u'type', [OrderedDict([(u'@foobar', u'1')]), OrderedDict([(u'@foobar', u'2')])])])

import xml.etree.ElementTree as ET
data = '''<foo>
           <bar>
               <type foobar="1"/>
               <type foobar="2"/>
          </bar>
       </foo>'''
tree = ET.fromstring(data)
lst = tree.findall('bar/type')
for item in lst:
    print item.get('foobar')

foob​​ar属性の値が表示されます。







xml