van - python italia




Cosa sono le metaclassi in Python? (10)

Cosa sono le metaclassi e per cosa le usiamo?

https://code.i-harness.com


Cosa sono le metaclassi? Per cosa li usi?

TLDR: un metaclasse crea un'istanza e definisce il comportamento di una classe esattamente come una classe crea un'istanza e definisce il comportamento di un'istanza.

pseudocodice:

>>> Class(...)
instance

Quanto sopra dovrebbe sembrare familiare. Bene, da dove viene la Class ? È un'istanza di un metaclasse (anche pseudocodice):

>>> Metaclass(...)
Class

Nel codice reale, possiamo passare il metaclass di default, type , tutto ciò di cui abbiamo bisogno per istanziare una classe e ottenere una classe:

>>> type('Foo', (object,), {}) # requires a name, bases, and a namespace
<class '__main__.Foo'>

Mettendolo diversamente

  • Una classe è un'istanza come una metaclasse appartiene a una classe.

    Quando istanziamo un oggetto, otteniamo un'istanza:

    >>> object()                          # instantiation of class
    <object object at 0x7f9069b4e0b0>     # instance
    

    Allo stesso modo, quando definiamo una classe esplicitamente con il metaclass di default, digitiamo, lo istanziamo:

    >>> type('Object', (object,), {})     # instantiation of metaclass
    <class '__main__.Object'>             # instance
    
  • In altre parole, una classe è un'istanza di un metaclasse:

    >>> isinstance(object, type)
    True
    
  • Metti una terza via, una metaclasse è la classe di una classe.

    >>> type(object) == type
    True
    >>> object.__class__
    <class 'type'>
    

Quando si scrive una definizione di classe e Python lo esegue, utilizza una metaclasse per istanziare l'oggetto classe (che, a sua volta, sarà utilizzato per istanziare le istanze di quella classe).

Proprio come possiamo usare le definizioni di classe per cambiare il modo in cui si comportano le istanze di oggetti personalizzati, possiamo usare una definizione di classe metaclasse per cambiare il modo in cui un oggetto di classe si comporta.

Per cosa possono essere usati? Dai docs :

I potenziali usi per i metaclassi sono illimitati. Alcune idee che sono state esplorate includono la registrazione, il controllo dell'interfaccia, la delega automatica, la creazione automatica delle proprietà, i proxy, i framework e il blocco / sincronizzazione automatica delle risorse.

Tuttavia, di solito è incoraggiato gli utenti a evitare l'uso di metaclassi a meno che non sia assolutamente necessario.

Usi un metaclasse ogni volta che crei una classe:

Quando scrivi una definizione di classe, ad esempio, come questa,

class Foo(object): 
    'demo'

Si istanzia un oggetto di classe.

>>> Foo
<class '__main__.Foo'>
>>> isinstance(Foo, type), isinstance(Foo, object)
(True, True)

È uguale al type chiamata funzionalmente con gli argomenti appropriati e all'assegnazione del risultato a una variabile di tale nome:

name = 'Foo'
bases = (object,)
namespace = {'__doc__': 'demo'}
Foo = type(name, bases, namespace)

Nota, alcune cose vengono automaticamente aggiunte al __dict__ , cioè lo spazio dei nomi:

>>> Foo.__dict__
dict_proxy({'__dict__': <attribute '__dict__' of 'Foo' objects>, 
'__module__': '__main__', '__weakref__': <attribute '__weakref__' 
of 'Foo' objects>, '__doc__': 'demo'})

La metaclasse dell'oggetto che abbiamo creato, in entrambi i casi, è di type .

(Una nota laterale sul contenuto della classe __dict__ : __module__ è lì perché le classi devono sapere dove sono definite, e __dict__ e __weakref__ ci sono perché non definiamo __slots__ - se definiamo __slots__ salveremo un po 'di spazio nelle istanze, poiché è possibile disabilitare __dict__ e __weakref__ escludendole. Ad esempio:

>>> Baz = type('Bar', (object,), {'__doc__': 'demo', '__slots__': ()})
>>> Baz.__dict__
mappingproxy({'__doc__': 'demo', '__slots__': (), '__module__': '__main__'})

... ma sto divagando.)

Possiamo estendere il type come qualsiasi altra definizione di classe:

Ecco il predefinito __repr__ delle classi:

>>> Foo
<class '__main__.Foo'>

Una delle cose più preziose che possiamo fare di default nella scrittura di un oggetto Python è di fornirgli un buon __repr__ . Quando chiamiamo help(repr) apprendiamo che c'è un buon test per un __repr__ che richiede anche un test per l'uguaglianza - obj == eval(repr(obj)) . La seguente semplice implementazione di __repr__ e __eq__ per le istanze di classe della nostra classe tipo ci fornisce una dimostrazione che può migliorare sul __repr__ predefinito delle classi:

class Type(type):
    def __repr__(cls):
        """
        >>> Baz
        Type('Baz', (Foo, Bar,), {'__module__': '__main__', '__doc__': None})
        >>> eval(repr(Baz))
        Type('Baz', (Foo, Bar,), {'__module__': '__main__', '__doc__': None})
        """
        metaname = type(cls).__name__
        name = cls.__name__
        parents = ', '.join(b.__name__ for b in cls.__bases__)
        if parents:
            parents += ','
        namespace = ', '.join(': '.join(
          (repr(k), repr(v) if not isinstance(v, type) else v.__name__))
               for k, v in cls.__dict__.items())
        return '{0}(\'{1}\', ({2}), {{{3}}})'.format(metaname, name, parents, namespace)
    def __eq__(cls, other):
        """
        >>> Baz == eval(repr(Baz))
        True            
        """
        return (cls.__name__, cls.__bases__, cls.__dict__) == (
                other.__name__, other.__bases__, other.__dict__)

Così ora, quando creiamo un oggetto con questo metaclasse, l' __repr__echo sulla riga di comando fornisce una vista molto meno brutta del default:

>>> class Bar(object): pass
>>> Baz = Type('Baz', (Foo, Bar,), {'__module__': '__main__', '__doc__': None})
>>> Baz
Type('Baz', (Foo, Bar,), {'__module__': '__main__', '__doc__': None})

Con una __repr__definizione definita per l'istanza della classe, abbiamo una maggiore capacità di eseguire il debug del nostro codice. Tuttavia, è molto eval(repr(Class))improbabile effettuare ulteriori verifiche (in quanto le funzioni sarebbero piuttosto impossibili da valutare rispetto alle impostazioni predefinite __repr__).

Un utilizzo previsto: __prepare__uno spazio dei nomi

Se, per esempio, vogliamo sapere in quale ordine vengono creati i metodi di una classe, potremmo fornire un ditt ordinato come lo spazio dei nomi della classe. Lo faremo con il __prepare__quale restituisce lo spazio dei nomi dettato per la classe se è implementato in Python 3 :

from collections import OrderedDict

class OrderedType(Type):
    @classmethod
    def __prepare__(metacls, name, bases, **kwargs):
        return OrderedDict()
    def __new__(cls, name, bases, namespace, **kwargs):
        result = Type.__new__(cls, name, bases, dict(namespace))
        result.members = tuple(namespace)
        return result

E l'uso:

class OrderedMethodsObject(object, metaclass=OrderedType):
    def method1(self): pass
    def method2(self): pass
    def method3(self): pass
    def method4(self): pass

E ora abbiamo una registrazione dell'ordine in cui sono stati creati questi metodi (e altri attributi di classe):

>>> OrderedMethodsObject.members
('__module__', '__qualname__', 'method1', 'method2', 'method3', 'method4')

Nota, questo esempio è stato adattato dalla docs : il nuovo enum nella libreria standard lo fa.

Quindi quello che abbiamo fatto è stato creare un'istanza di un metaclass creando una classe. Possiamo anche trattare il metaclass come faremmo con qualsiasi altra classe. Ha un ordine di risoluzione del metodo:

>>> inspect.getmro(OrderedType)
(<class '__main__.OrderedType'>, <class '__main__.Type'>, <class 'type'>, <class 'object'>)

E ha approssimativamente il corretto repr(che non possiamo più valutare se non siamo in grado di trovare un modo per rappresentare le nostre funzioni.):

>>> OrderedMethodsObject
OrderedType('OrderedMethodsObject', (object,), {'method1': <function OrderedMethodsObject.method1 at 0x0000000002DB01E0>, 'members': ('__module__', '__qualname__', 'method1', 'method2', 'method3', 'method4'), 'method3': <function OrderedMet
hodsObject.method3 at 0x0000000002DB02F0>, 'method2': <function OrderedMethodsObject.method2 at 0x0000000002DB0268>, '__module__': '__main__', '__weakref__': <attribute '__weakref__' of 'OrderedMethodsObject' objects>, '__doc__': None, '__d
ict__': <attribute '__dict__' of 'OrderedMethodsObject' objects>, 'method4': <function OrderedMethodsObject.method4 at 0x0000000002DB0378>})

Classi come oggetti

Prima di capire le metaclassi, è necessario padroneggiare le classi in Python. E Python ha un'idea molto particolare di quali sono le classi, prese in prestito dal linguaggio Smalltalk.

Nella maggior parte delle lingue, le classi sono solo parti di codice che descrivono come produrre un oggetto. Questo è abbastanza vero anche in Python:

>>> class ObjectCreator(object):
...       pass
...

>>> my_object = ObjectCreator()
>>> print(my_object)
<__main__.ObjectCreator object at 0x8974f2c>

Ma le classi sono più di questo in Python. Anche le classi sono oggetti.

Sì, oggetti.

Non appena si utilizza la class parola chiave, Python la esegue e crea un OBJECT. Le istruzioni

>>> class ObjectCreator(object):
...       pass
...

crea in memoria un oggetto con il nome "ObjectCreator".

Questo oggetto (la classe) è esso stesso in grado di creare oggetti (le istanze), ed è per questo che è una classe .

Ma ancora, è un oggetto, e quindi:

  • puoi assegnarlo a una variabile
  • puoi copiarlo
  • è possibile aggiungere attributi ad esso
  • puoi passarlo come parametro di funzione

per esempio:

>>> print(ObjectCreator) # you can print a class because it's an object
<class '__main__.ObjectCreator'>
>>> def echo(o):
...       print(o)
...
>>> echo(ObjectCreator) # you can pass a class as a parameter
<class '__main__.ObjectCreator'>
>>> print(hasattr(ObjectCreator, 'new_attribute'))
False
>>> ObjectCreator.new_attribute = 'foo' # you can add attributes to a class
>>> print(hasattr(ObjectCreator, 'new_attribute'))
True
>>> print(ObjectCreator.new_attribute)
foo
>>> ObjectCreatorMirror = ObjectCreator # you can assign a class to a variable
>>> print(ObjectCreatorMirror.new_attribute)
foo
>>> print(ObjectCreatorMirror())
<__main__.ObjectCreator object at 0x8997b4c>

Creare classi dinamicamente

Poiché le classi sono oggetti, puoi crearle al volo, come qualsiasi oggetto.

Innanzitutto, puoi creare una classe in una funzione usando la class :

>>> def choose_class(name):
...     if name == 'foo':
...         class Foo(object):
...             pass
...         return Foo # return the class, not an instance
...     else:
...         class Bar(object):
...             pass
...         return Bar
...
>>> MyClass = choose_class('foo')
>>> print(MyClass) # the function returns a class, not an instance
<class '__main__.Foo'>
>>> print(MyClass()) # you can create an object from this class
<__main__.Foo object at 0x89c6d4c>

Ma non è così dinamico, dal momento che devi ancora scrivere l'intera classe da solo.

Poiché le classi sono oggetti, devono essere generate da qualcosa.

Quando si utilizza la parola chiave class , Python crea automaticamente questo oggetto. Ma come con la maggior parte delle cose in Python, ti dà un modo per farlo manualmente.

Ricorda il type funzione? La buona vecchia funzione che ti permette di sapere di che tipo è un oggetto:

>>> print(type(1))
<type 'int'>
>>> print(type("1"))
<type 'str'>
>>> print(type(ObjectCreator))
<type 'type'>
>>> print(type(ObjectCreator()))
<class '__main__.ObjectCreator'>

Bene, il type ha un'abilità completamente diversa, può anche creare classi al volo. type può prendere la descrizione di una classe come parametri e restituire una classe.

(Lo so, è sciocco che la stessa funzione possa avere due usi completamente diversi in base ai parametri che si passano ad esso. È un problema dovuto alla retrocompatibilità in Python)

type funziona in questo modo:

type(name of the class,
     tuple of the parent class (for inheritance, can be empty),
     dictionary containing attributes names and values)

per esempio:

>>> class MyShinyClass(object):
...       pass

può essere creato manualmente in questo modo:

>>> MyShinyClass = type('MyShinyClass', (), {}) # returns a class object
>>> print(MyShinyClass)
<class '__main__.MyShinyClass'>
>>> print(MyShinyClass()) # create an instance with the class
<__main__.MyShinyClass object at 0x8997cec>

Noterai che usiamo "MyShinyClass" come nome della classe e come variabile per contenere il riferimento alla classe. Possono essere diversi, ma non c'è motivo di complicare le cose.

type accetta un dizionario per definire gli attributi della classe. Così:

>>> class Foo(object):
...       bar = True

Può essere tradotto in:

>>> Foo = type('Foo', (), {'bar':True})

E usato come una classe normale:

>>> print(Foo)
<class '__main__.Foo'>
>>> print(Foo.bar)
True
>>> f = Foo()
>>> print(f)
<__main__.Foo object at 0x8a9b84c>
>>> print(f.bar)
True

E naturalmente, puoi ereditare da esso, quindi:

>>>   class FooChild(Foo):
...         pass

sarebbe:

>>> FooChild = type('FooChild', (Foo,), {})
>>> print(FooChild)
<class '__main__.FooChild'>
>>> print(FooChild.bar) # bar is inherited from Foo
True

Alla fine ti consigliamo di aggiungere metodi alla tua classe. Basta definire una funzione con la firma appropriata e assegnarla come attributo.

>>> def echo_bar(self):
...       print(self.bar)
...
>>> FooChild = type('FooChild', (Foo,), {'echo_bar': echo_bar})
>>> hasattr(Foo, 'echo_bar')
False
>>> hasattr(FooChild, 'echo_bar')
True
>>> my_foo = FooChild()
>>> my_foo.echo_bar()
True

Ed è possibile aggiungere ancora più metodi dopo aver creato dinamicamente la classe, proprio come aggiungere metodi a un oggetto di classe creato normalmente.

>>> def echo_bar_more(self):
...       print('yet another method')
...
>>> FooChild.echo_bar_more = echo_bar_more
>>> hasattr(FooChild, 'echo_bar_more')
True

Vedi dove stiamo andando: in Python, le classi sono oggetti e puoi creare una classe al volo, in modo dinamico.

Questo è ciò che Python fa quando si usa la class parola chiave, e lo fa usando una metaclasse.

Cosa sono i metaclassi (finalmente)

I metaclassi sono le "cose" che creano classi.

Definisci le classi per creare oggetti, giusto?

Ma abbiamo imparato che le classi Python sono oggetti.

Bene, le metaclassi sono ciò che creano questi oggetti. Sono le classi delle classi, puoi immaginarle in questo modo:

MyClass = MetaClass()
my_object = MyClass()

Hai visto quel type ti permette di fare qualcosa di simile:

MyClass = type('MyClass', (), {})

È perché il type funzione è in realtà un metaclasse. type è il metaclass usato da Python per creare tutte le classi dietro le quinte.

Ora ti chiedi perché diavolo è scritto in lettere minuscole, e non Type ?

Bene, immagino sia una questione di coerenza con str , la classe che crea gli oggetti di stringhe e int la classe che crea oggetti interi. type è solo la classe che crea oggetti di classe.

Lo vedi controllando l'attributo __class__ .

Tutto, e intendo tutto, è un oggetto in Python. Ciò include ints, stringhe, funzioni e classi. Tutti loro sono oggetti. E tutti sono stati creati da una classe:

>>> age = 35
>>> age.__class__
<type 'int'>
>>> name = 'bob'
>>> name.__class__
<type 'str'>
>>> def foo(): pass
>>> foo.__class__
<type 'function'>
>>> class Bar(object): pass
>>> b = Bar()
>>> b.__class__
<class '__main__.Bar'>

Ora, qual è il __class__ di qualsiasi __class__ ?

>>> age.__class__.__class__
<type 'type'>
>>> name.__class__.__class__
<type 'type'>
>>> foo.__class__.__class__
<type 'type'>
>>> b.__class__.__class__
<type 'type'>

Quindi, un metaclasse è solo il materiale che crea oggetti di classe.

Puoi chiamarlo una "fabbrica di classe", se lo desideri.

type è la metaclea incorporata utilizzata da Python, ma ovviamente è possibile creare il proprio metaclasse.

L'attributo __metaclass__

In Python 2, puoi aggiungere un attributo __metaclass__ quando scrivi una classe (vedi la prossima sezione per la sintassi di Python 3):

class Foo(object):
    __metaclass__ = something...
    [...]

Se lo fai, Python userà il metaclass per creare la classe Foo .

Attento, è difficile.

Scrivi prima la class Foo(object) , ma l'oggetto classe Foo non è ancora stato creato in memoria.

Python cercherà __metaclass__ nella definizione della classe. Se lo trova, lo userà per creare la classe dell'oggetto Foo . In caso contrario, utilizzerà il type per creare la classe.

Leggi più volte.

Quando lo fai:

class Foo(Bar):
    pass

Python fa quanto segue:

Esiste un attributo __metaclass__ in Foo ?

Se sì, crea in memoria un oggetto di classe (ho detto un oggetto di classe, rimani con me qui), con il nome Foo usando ciò che è in __metaclass__ .

Se Python non riesce a trovare __metaclass__ , cercherà un __metaclass__ a livello di MODULO e proverà a fare lo stesso (ma solo per le classi che non ereditano nulla, in pratica le classi vecchio stile).

Quindi, se non riesce a trovare alcun __metaclass__ , utilizzerà il metaclasse proprio della Bar (il primo genitore) (che potrebbe essere il type predefinito) per creare l'oggetto classe.

__metaclass__ attenzione che l'attributo __metaclass__ non sarà ereditato, sarà il metaclasse del genitore ( Bar.__class__ ). Se Bar utilizzato un attributo __metaclass__ che ha creato Bar con type() (e non type.__new__() ), le sottoclassi non erediteranno tale comportamento.

Ora la grande domanda è: cosa puoi inserire in __metaclass__ ?

La risposta è: qualcosa che può creare una classe.

E cosa può creare una classe? type , o qualsiasi cosa che sottoclassi o usi.

Metaclasses in Python 3

La sintassi per impostare il metaclasse è stata modificata in Python 3:

class Foo(object, metaclass=something):
    [...]

cioè l'attributo __metaclass__ non è più utilizzato, a favore di un argomento di parole chiave nella lista delle classi di base.

Il comportamento dei metaclassi tuttavia rimane in gran parte lo stesso .

Metaclassi personalizzati

Lo scopo principale di un metaclass è di cambiare automaticamente la classe, quando viene creata.

Di solito lo fai per le API, dove vuoi creare classi che corrispondono al contesto corrente.

Immagina uno stupido esempio, in cui decidi che tutte le classi del tuo modulo dovrebbero avere i loro attributi scritti in maiuscolo. Ci sono diversi modi per farlo, ma un modo è quello di impostare __metaclass__ a livello di modulo.

In questo modo, tutte le classi di questo modulo verranno create usando questo metaclasse, e dobbiamo solo dire al metaclass di trasformare tutti gli attributi in maiuscolo.

Fortunatamente, __metaclass__ può effettivamente essere un qualsiasi chiamabile, non ha bisogno di essere una classe formale (lo so, qualcosa con "classe" nel suo nome non ha bisogno di essere una classe, vai a capire ... ma è utile).

Quindi inizieremo con un semplice esempio, utilizzando una funzione.

# the metaclass will automatically get passed the same argument
# that you usually pass to `type`
def upper_attr(future_class_name, future_class_parents, future_class_attr):
    """
      Return a class object, with the list of its attribute turned
      into uppercase.
    """

    # pick up any attribute that doesn't start with '__' and uppercase it
    uppercase_attr = {}
    for name, val in future_class_attr.items():
        if not name.startswith('__'):
            uppercase_attr[name.upper()] = val
        else:
            uppercase_attr[name] = val

    # let `type` do the class creation
    return type(future_class_name, future_class_parents, uppercase_attr)

__metaclass__ = upper_attr # this will affect all classes in the module

class Foo(): # global __metaclass__ won't work with "object" though
    # but we can define __metaclass__ here instead to affect only this class
    # and this will work with "object" children
    bar = 'bip'

print(hasattr(Foo, 'bar'))
# Out: False
print(hasattr(Foo, 'BAR'))
# Out: True

f = Foo()
print(f.BAR)
# Out: 'bip'

Ora, facciamo esattamente la stessa cosa, ma usando una vera classe per un metaclasse:

# remember that `type` is actually a class like `str` and `int`
# so you can inherit from it
class UpperAttrMetaclass(type):
    # __new__ is the method called before __init__
    # it's the method that creates the object and returns it
    # while __init__ just initializes the object passed as parameter
    # you rarely use __new__, except when you want to control how the object
    # is created.
    # here the created object is the class, and we want to customize it
    # so we override __new__
    # you can do some stuff in __init__ too if you wish
    # some advanced use involves overriding __call__ as well, but we won't
    # see this
    def __new__(upperattr_metaclass, future_class_name,
                future_class_parents, future_class_attr):

        uppercase_attr = {}
        for name, val in future_class_attr.items():
            if not name.startswith('__'):
                uppercase_attr[name.upper()] = val
            else:
                uppercase_attr[name] = val

        return type(future_class_name, future_class_parents, uppercase_attr)

Ma questo non è davvero OOP. Chiamiamo direttamente il type e non __new__ o chiamiamo il genitore __new__ . Facciamolo:

class UpperAttrMetaclass(type):

    def __new__(upperattr_metaclass, future_class_name,
                future_class_parents, future_class_attr):

        uppercase_attr = {}
        for name, val in future_class_attr.items():
            if not name.startswith('__'):
                uppercase_attr[name.upper()] = val
            else:
                uppercase_attr[name] = val

        # reuse the type.__new__ method
        # this is basic OOP, nothing magic in there
        return type.__new__(upperattr_metaclass, future_class_name,
                            future_class_parents, uppercase_attr)

Potresti aver notato l'argomento extra upperattr_metaclass . Non c'è niente di speciale al riguardo: __new__ riceve sempre la classe in cui è definita, come primo parametro. Proprio come te self per i metodi ordinari che ricevono l'istanza come primo parametro, o la classe che definisce per i metodi di classe.

Naturalmente, i nomi che ho usato qui sono lunghi per motivi di chiarezza, ma come per self , tutti gli argomenti hanno nomi convenzionali. Quindi un metaclass di produzione reale sarebbe simile a questo:

class UpperAttrMetaclass(type):

    def __new__(cls, clsname, bases, dct):

        uppercase_attr = {}
        for name, val in dct.items():
            if not name.startswith('__'):
                uppercase_attr[name.upper()] = val
            else:
                uppercase_attr[name] = val

        return type.__new__(cls, clsname, bases, uppercase_attr)

Possiamo renderlo ancora più pulito usando super , che faciliterà l'ereditarietà (perché sì, puoi avere metaclassi, ereditando da metaclassi, ereditando dal tipo):

class UpperAttrMetaclass(type):

    def __new__(cls, clsname, bases, dct):

        uppercase_attr = {}
        for name, val in dct.items():
            if not name.startswith('__'):
                uppercase_attr[name.upper()] = val
            else:
                uppercase_attr[name] = val

        return super(UpperAttrMetaclass, cls).__new__(cls, clsname, bases, uppercase_attr)

Questo è tutto. Non c'è davvero niente di più sulle metaclassi.

La ragione dietro la complessità del codice che utilizza metaclassi non è dovuta ai metaclassi, è perché di solito si usano i metaclassi per fare cose contorte basandosi sull'introspezione, manipolando l'ereditarietà, vars come __dict__ , ecc.

In effetti, le metaclassi sono particolarmente utili per fare magia nera e quindi cose complicate. Ma da soli, sono semplici:

  • intercettare una creazione di classe
  • modificare la classe
  • restituire la classe modificata

Perché dovresti usare classi di metaclassi invece di funzioni?

Dal momento che __metaclass__ può accettare qualsiasi chiamabile, perché dovresti usare una classe dal momento che è ovviamente più complicata?

Ci sono diversi motivi per farlo:

  • L'intenzione è chiara. Quando leggi UpperAttrMetaclass(type) , sai cosa seguirà
  • Puoi usare OOP. Metaclass può ereditare dal metaclasse, sovrascrivere i metodi padre. I metaclassi possono persino usare metaclassi.
  • Le sottoclassi di una classe saranno istanze del suo metamato se hai specificato una classe metaclasse, ma non con una metaclass.
  • Puoi strutturare meglio il tuo codice. Non usi mai le metaclassi per qualcosa di banale come nell'esempio sopra. Di solito è per qualcosa di complicato. Avere la possibilità di creare diversi metodi e raggrupparli in una classe è molto utile per facilitare la lettura del codice.
  • Puoi collegarti a __new__ , __init__ e __call__ . Che ti permetterà di fare cose diverse. Anche se di solito puoi fare tutto in __new__ , alcune persone si sentono più a loro agio usando __init__ .
  • Questi sono chiamati metaclassi, dannazione! Deve significare qualcosa!

Perché dovresti usare i metaclassi?

Ora la grande domanda. Perché dovresti utilizzare qualche oscura funzione soggetta a errori?

Beh, di solito non lo fai:

I metaclassi sono una magia più profonda di cui il 99% degli utenti non dovrebbe mai preoccuparsi. Se ti chiedi se ne hai bisogno, non lo fai (le persone che effettivamente ne hanno bisogno sanno con certezza che ne hanno bisogno, e non hanno bisogno di spiegazioni sul perché).

Python Guru Tim Peters

Il caso d'uso principale per un metaclasse sta creando un'API. Un tipico esempio di questo è l'ORM Django.

Ti permette di definire qualcosa di simile a questo:

class Person(models.Model):
    name = models.CharField(max_length=30)
    age = models.IntegerField()

Ma se lo fai:

guy = Person(name='bob', age='35')
print(guy.age)

Non restituirà un oggetto IntegerField . Restituirà un int e può anche prenderlo direttamente dal database.

Questo è possibile perché models.Model definisce __metaclass__ e usa un po 'di magia che trasformerà la Person appena definita con semplici istruzioni in un gancio complesso in un campo di database.

Django rende semplice l'aspetto di qualcosa di complesso esponendo una semplice API e utilizzando metaclassi, ricreando il codice da questa API per fare il vero lavoro dietro le quinte.

L'ultima parola

Innanzitutto, sai che le classi sono oggetti che possono creare istanze.

Beh, in effetti, le classi sono esse stesse istanze. Di metaclassi

>>> class Foo(object): pass
>>> id(Foo)
142630324

Tutto è un oggetto in Python e sono tutte o istanze di classi o istanze di metaclassi.

Tranne per il type .

type è in realtà il suo metaclasse. Questo non è qualcosa che potresti riprodurre in puro Python, e viene fatto imbrogliando un po 'a livello di implementazione.

In secondo luogo, le metaclassi sono complicate. Potresti non volere usarli per alterazioni di classe molto semplici. Puoi cambiare classe usando due tecniche differenti:

Il 99% delle volte hai bisogno di un'alterazione di classe, stai meglio usando questi.

Ma il 98% delle volte non hai bisogno di alterazioni di classe.


La versione tl; dr

La type(obj)funzione ti dà il tipo di un oggetto.

Il type()di una classe è il suo metaclasse .

Per usare un metaclasse:

class Foo(object):
    __metaclass__ = MyMetaClass

Altri hanno spiegato come funzionano le metaclassi e come si adattano al sistema di tipo Python. Ecco un esempio di ciò per cui possono essere utilizzati. In un framework di test che ho scritto, volevo tenere traccia dell'ordine in cui sono state definite le classi, in modo da poterle successivamente istanziare in questo ordine. Ho trovato più facile farlo usando una metaclasse.

class MyMeta(type):

    counter = 0

    def __init__(cls, name, bases, dic):
        type.__init__(cls, name, bases, dic)
        cls._order = MyMeta.counter
        MyMeta.counter += 1

class MyType(object):              # Python 2
    __metaclass__ = MyMeta

class MyType(metaclass=MyMeta):    # Python 3
    pass

Qualunque cosa sia una sottoclasse di MyType ottiene quindi un attributo di classe _order che registra l'ordine in cui sono state definite le classi.


Un uso per i metaclassi è l'aggiunta automatica di nuove proprietà e metodi a un'istanza.

Ad esempio, se guardi i modelli di Django , la loro definizione sembra un po 'confusa. Sembra che tu stia solo definendo le proprietà della classe:

class Person(models.Model):
    first_name = models.CharField(max_length=30)
    last_name = models.CharField(max_length=30)

Tuttavia, durante il runtime gli oggetti Person sono riempiti con tutti i tipi di metodi utili. Guarda la source di alcune incredibili metacallerie.


Una metaclasse è la classe di una classe. Come una classe definisce come si comporta un'istanza della classe, una metaclasse definisce come si comporta una classe. Una classe è un'istanza di un metaclasse.

Mentre in Python puoi usare le callable arbitrarie per metaclassi (come gli spettacoli di Jerub ), l'approccio più utile è in realtà quello di renderlo una vera e propria classe. type è il solito metaclasse in Python. Nel caso ti stia chiedendo, sì, il type è di per sé una classe, ed è un suo tipo. Non sarai in grado di ricreare qualcosa come il type esclusivamente in Python, ma Python imbroglia un po '. Per creare il tuo metaclasse in Python devi solo sottoclasse il type .

Un metaclasse è più comunemente usato come una fabbrica di classi. Come si crea un'istanza della classe chiamando la classe, Python crea una nuova classe (quando esegue l'istruzione 'classe') chiamando il metaclasse. In combinazione con i normali metodi __init__ e __new__ , le metaclassi consentono quindi di fare 'cose extra' quando si crea una classe, come registrare la nuova classe con un registro, o addirittura sostituire la classe con qualcos'altro.

Quando viene eseguita l'istruzione della class , Python esegue prima il corpo dell'istruzione della class come un normale blocco di codice. Lo spazio dei nomi risultante (un dict) contiene gli attributi della futura classe. La metaclasse viene determinata osservando i baseclass della classe-to-be (i metaclassi sono ereditati), l'attributo __metaclass__ della classe-to-be (se presente) o la variabile globale __metaclass__ . Il metaclasse viene quindi chiamato con il nome, le basi e gli attributi della classe per istanziarlo.

Tuttavia, le metaclassi in realtà definiscono il tipo di una classe, non solo una fabbrica per essa, quindi puoi fare molto di più con loro. Ad esempio, puoi definire i metodi normali sul metaclass. Questi metodi metaclass sono come i metodi di classe, in quanto possono essere chiamati sulla classe senza un'istanza, ma non sono come i metodi di classe in quanto non possono essere chiamati su un'istanza della classe. type.__subclasses__() è un esempio di un metodo sul metaclass di type . Puoi anche definire i normali metodi "magici", come __add__ , __iter__ e __getattr__ , per implementare o modificare il comportamento della classe.

Ecco un esempio aggregato di bit e pezzi:

def make_hook(f):
    """Decorator to turn 'foo' method into '__foo__'"""
    f.is_hook = 1
    return f

class MyType(type):
    def __new__(mcls, name, bases, attrs):

        if name.startswith('None'):
            return None

        # Go over attributes and see if they should be renamed.
        newattrs = {}
        for attrname, attrvalue in attrs.iteritems():
            if getattr(attrvalue, 'is_hook', 0):
                newattrs['__%s__' % attrname] = attrvalue
            else:
                newattrs[attrname] = attrvalue

        return super(MyType, mcls).__new__(mcls, name, bases, newattrs)

    def __init__(self, name, bases, attrs):
        super(MyType, self).__init__(name, bases, attrs)

        # classregistry.register(self, self.interfaces)
        print "Would register class %s now." % self

    def __add__(self, other):
        class AutoClass(self, other):
            pass
        return AutoClass
        # Alternatively, to autogenerate the classname as well as the class:
        # return type(self.__name__ + other.__name__, (self, other), {})

    def unregister(self):
        # classregistry.unregister(self)
        print "Would unregister class %s now." % self

class MyObject:
    __metaclass__ = MyType


class NoneSample(MyObject):
    pass

# Will print "NoneType None"
print type(NoneSample), repr(NoneSample)

class Example(MyObject):
    def __init__(self, value):
        self.value = value
    @make_hook
    def add(self, other):
        return self.__class__(self.value + other.value)

# Will unregister the class
Example.unregister()

inst = Example(10)
# Will fail with an AttributeError
#inst.unregister()

print inst + inst
class Sibling(MyObject):
    pass

ExampleSibling = Example + Sibling
# ExampleSibling is now a subclass of both Example and Sibling (with no
# content of its own) although it will believe it's called 'AutoClass'
print ExampleSibling
print ExampleSibling.__mro__

Nota, questa risposta è per Python 2.x come è stato scritto nel 2008, le metaclature sono leggermente diverse in 3.x, vedi i commenti.

I metaclassi sono la salsa segreta che rende il lavoro 'di classe'. Il metaclasse predefinito per un nuovo oggetto stile è chiamato 'tipo'.

class type(object)
  |  type(object) -> the object's type
  |  type(name, bases, dict) -> a new type

I metaclassi richiedono 3 arg. ' name ', ' bases ' e ' dict '

Qui è dove inizia il segreto. Cerca da dove vengono il nome, le basi e il dict in questa definizione di classe di esempio.

class ThisIsTheName(Bases, Are, Here):
    All_the_code_here
    def doesIs(create, a):
        dict

Definiamo un metaclass che dimostrerà come " classe: " lo chiama.

def test_metaclass(name, bases, dict):
    print 'The Class Name is', name
    print 'The Class Bases are', bases
    print 'The dict has', len(dict), 'elems, the keys are', dict.keys()

    return "yellow"

class TestName(object, None, int, 1):
    __metaclass__ = test_metaclass
    foo = 1
    def baz(self, arr):
        pass

print 'TestName = ', repr(TestName)

# output => 
The Class Name is TestName
The Class Bases are (<type 'object'>, None, <type 'int'>, 1)
The dict has 4 elems, the keys are ['baz', '__module__', 'foo', '__metaclass__']
TestName =  'yellow'

E ora, un esempio che in realtà significa qualcosa, questo renderà automaticamente le variabili nella lista "attributi" impostate sulla classe e impostate su Nessuna.

def init_attributes(name, bases, dict):
    if 'attributes' in dict:
        for attr in dict['attributes']:
            dict[attr] = None

    return type(name, bases, dict)

class Initialised(object):
    __metaclass__ = init_attributes
    attributes = ['foo', 'bar', 'baz']

print 'foo =>', Initialised.foo
# output=>
foo => None

Si noti che il comportamento magico che "Initalizzato" ottiene avendo la metaclasse init_attributes non viene passato in una sottoclasse di Initalised.

Ecco un esempio ancora più concreto, che mostra come è possibile creare una sottoclasse di "tipo" per creare un metaclasse che esegue un'azione quando viene creata la classe. Questo è piuttosto difficile:

class MetaSingleton(type):
    instance = None
    def __call__(cls, *args, **kw):
        if cls.instance is None:
            cls.instance = super(MetaSingleton, cls).__call__(*args, **kw)
        return cls.instance

 class Foo(object):
     __metaclass__ = MetaSingleton

 a = Foo()
 b = Foo()
 assert a is b

Aggiornamento Python 3

Ci sono (a questo punto) due metodi chiave in un metaclass:

  • __prepare__ , e
  • __new__

__prepare__consente di fornire una mappatura personalizzata (come ad esempio OrderedDict) da utilizzare come spazio dei nomi durante la creazione della classe. Devi restituire un'istanza di qualsiasi spazio dei nomi che scegli. Se non si implementa __prepare__un normale dictviene utilizzato.

__new__ è responsabile della creazione / modifica effettiva della classe finale.

Un metaclass a regola d'arte, niente da fare vorrebbe:

class Meta(type):

    def __prepare__(metaclass, cls, bases):
        return dict()

    def __new__(metacls, cls, bases, clsdict):
        return super().__new__(metacls, cls, bases, clsdict)

Un semplice esempio:

Supponiamo che tu voglia un semplice codice di convalida da eseguire sui tuoi attributi, come se fosse sempre un into un str. Senza una metaclasse, la tua classe assomiglierebbe a qualcosa:

class Person:
    weight = ValidateType('weight', int)
    age = ValidateType('age', int)
    name = ValidateType('name', str)

Come puoi vedere, devi ripetere due volte il nome dell'attributo. Ciò rende possibili errori di battitura insieme a bug irritanti.

Un metaclasse semplice può risolvere questo problema:

class Person(metaclass=Validator):
    weight = ValidateType(int)
    age = ValidateType(int)
    name = ValidateType(str)

Questo è ciò che assomiglierebbe al metaclasse (non usando __prepare__poiché non è necessario):

class Validator(type):
    def __new__(metacls, cls, bases, clsdict):
        # search clsdict looking for ValidateType descriptors
        for name, attr in clsdict.items():
            if isinstance(attr, ValidateType):
                attr.name = name
                attr.attr = '_' + name
        # create final class and return it
        return super().__new__(metacls, cls, bases, clsdict)

Un esempio di:

p = Person()
p.weight = 9
print(p.weight)
p.weight = '9'

produce:

9
Traceback (most recent call last):
  File "simple_meta.py", line 36, in <module>
    p.weight = '9'
  File "simple_meta.py", line 24, in __set__
    (self.name, self.type, value))
TypeError: weight must be of type(s) <class 'int'> (got '9')

Nota : questo esempio è abbastanza semplice potrebbe anche essere stato realizzato con un decoratore di classe, ma presumibilmente un vero metaclass avrebbe fatto molto di più.

La classe 'ValidateType' per riferimento:

class ValidateType:
    def __init__(self, type):
        self.name = None  # will be set by metaclass
        self.attr = None  # will be set by metaclass
        self.type = type
    def __get__(self, inst, cls):
        if inst is None:
            return self
        else:
            return inst.__dict__[self.attr]
    def __set__(self, inst, value):
        if not isinstance(value, self.type):
            raise TypeError('%s must be of type(s) %s (got %r)' %
                    (self.name, self.type, value))
        else:
            inst.__dict__[self.attr] = value

Le classi Python sono esse stesse oggetti - come in esempio - della loro meta-classe.

Il metaclasse predefinito, che viene applicato quando si determinano le classi come:

class foo:
    ...

la meta classe viene utilizzata per applicare alcune regole a un intero insieme di classi. Ad esempio, supponiamo che stai creando un ORM per accedere a un database e desideri che i record di ogni tabella siano di una classe mappata a quella tabella (basata su campi, regole aziendali, ecc.), Un possibile uso di metaclasse è ad esempio la logica del pool di connessioni, che è condivisa da tutte le classi di record di tutte le tabelle. Un altro uso è logico per supportare chiavi esterne, che coinvolgono più classi di record.

quando definisci il metaclasse, inserisci un tipo di sottoclasse e puoi eseguire l'override dei seguenti metodi magici per inserire la tua logica.

class somemeta(type):
    __new__(mcs, name, bases, clsdict):
      """
  mcs: is the base metaclass, in this case type.
  name: name of the new class, as provided by the user.
  bases: tuple of base classes 
  clsdict: a dictionary containing all methods and attributes defined on class

  you must return a class object by invoking the __new__ constructor on the base metaclass. 
 ie: 
    return type.__call__(mcs, name, bases, clsdict).

  in the following case:

  class foo(baseclass):
        __metaclass__ = somemeta

  an_attr = 12

  def bar(self):
      ...

  @classmethod
  def foo(cls):
      ...

      arguments would be : ( somemeta, "foo", (baseclass, baseofbase,..., object), {"an_attr":12, "bar": <function>, "foo": <bound class method>}

      you can modify any of these values before passing on to type
      """
      return type.__call__(mcs, name, bases, clsdict)


    def __init__(self, name, bases, clsdict):
      """ 
      called after type has been created. unlike in standard classes, __init__ method cannot modify the instance (cls) - and should be used for class validaton.
      """
      pass


    def __prepare__():
        """
        returns a dict or something that can be used as a namespace.
        the type will then attach methods and attributes from class definition to it.

        call order :

        somemeta.__new__ ->  type.__new__ -> type.__init__ -> somemeta.__init__ 
        """
        return dict()

    def mymethod(cls):
        """ works like a classmethod, but for class objects. Also, my method will not be visible to instances of cls.
        """
        pass

comunque, questi due sono i ganci più comunemente usati. il metaclassing è potente e al di sopra non esiste un elenco esauriente e completo di usi per il metaclassing.


Una metaclasse è una classe che indica come (qualche) altra classe dovrebbe essere creata.

Questo è un caso in cui ho visto il metaclasse come una soluzione al mio problema: ho avuto un problema davvero complicato, che probabilmente avrebbe potuto essere risolto in modo diverso, ma ho scelto di risolverlo usando una metaclasse. A causa della complessità, è uno dei pochi moduli che ho scritto dove i commenti nel modulo superano la quantità di codice che è stata scritta. Ecco qui...

#!/usr/bin/env python

# Copyright (C) 2013-2014 Craig Phillips.  All rights reserved.

# This requires some explaining.  The point of this metaclass excercise is to
# create a static abstract class that is in one way or another, dormant until
# queried.  I experimented with creating a singlton on import, but that did
# not quite behave how I wanted it to.  See now here, we are creating a class
# called GsyncOptions, that on import, will do nothing except state that its
# class creator is GsyncOptionsType.  This means, docopt doesn't parse any
# of the help document, nor does it start processing command line options.
# So importing this module becomes really efficient.  The complicated bit
# comes from requiring the GsyncOptions class to be static.  By that, I mean
# any property on it, may or may not exist, since they are not statically
# defined; so I can't simply just define the class with a whole bunch of
# properties that are @property @staticmethods.
#
# So here's how it works:
#
# Executing 'from libgsync.options import GsyncOptions' does nothing more
# than load up this module, define the Type and the Class and import them
# into the callers namespace.  Simple.
#
# Invoking 'GsyncOptions.debug' for the first time, or any other property
# causes the __metaclass__ __getattr__ method to be called, since the class
# is not instantiated as a class instance yet.  The __getattr__ method on
# the type then initialises the class (GsyncOptions) via the __initialiseClass
# method.  This is the first and only time the class will actually have its
# dictionary statically populated.  The docopt module is invoked to parse the
# usage document and generate command line options from it.  These are then
# paired with their defaults and what's in sys.argv.  After all that, we
# setup some dynamic properties that could not be defined by their name in
# the usage, before everything is then transplanted onto the actual class
# object (or static class GsyncOptions).
#
# Another piece of magic, is to allow command line options to be set in
# in their native form and be translated into argparse style properties.
#
# Finally, the GsyncListOptions class is actually where the options are
# stored.  This only acts as a mechanism for storing options as lists, to
# allow aggregation of duplicate options or options that can be specified
# multiple times.  The __getattr__ call hides this by default, returning the
# last item in a property's list.  However, if the entire list is required,
# calling the 'list()' method on the GsyncOptions class, returns a reference
# to the GsyncListOptions class, which contains all of the same properties
# but as lists and without the duplication of having them as both lists and
# static singlton values.
#
# So this actually means that GsyncOptions is actually a static proxy class...
#
# ...And all this is neatly hidden within a closure for safe keeping.
def GetGsyncOptionsType():
    class GsyncListOptions(object):
        __initialised = False

    class GsyncOptionsType(type):
        def __initialiseClass(cls):
            if GsyncListOptions._GsyncListOptions__initialised: return

            from docopt import docopt
            from libgsync.options import doc
            from libgsync import __version__

            options = docopt(
                doc.__doc__ % __version__,
                version = __version__,
                options_first = True
            )

            paths = options.pop('<path>', None)
            setattr(cls, "destination_path", paths.pop() if paths else None)
            setattr(cls, "source_paths", paths)
            setattr(cls, "options", options)

            for k, v in options.iteritems():
                setattr(cls, k, v)

            GsyncListOptions._GsyncListOptions__initialised = True

        def list(cls):
            return GsyncListOptions

        def __getattr__(cls, name):
            cls.__initialiseClass()
            return getattr(GsyncListOptions, name)[-1]

        def __setattr__(cls, name, value):
            # Substitut option names: --an-option-name for an_option_name
            import re
            name = re.sub(r'^__', "", re.sub(r'-', "_", name))
            listvalue = []

            # Ensure value is converted to a list type for GsyncListOptions
            if isinstance(value, list):
                if value:
                    listvalue = [] + value
                else:
                    listvalue = [ None ]
            else:
                listvalue = [ value ]

            type.__setattr__(GsyncListOptions, name, listvalue)

    # Cleanup this module to prevent tinkering.
    import sys
    module = sys.modules[__name__]
    del module.__dict__['GetGsyncOptionsType']

    return GsyncOptionsType

# Our singlton abstract proxy class.
class GsyncOptions(object):
    __metaclass__ = GetGsyncOptionsType()




python-datamodel