python разделить - Разделение строки на слова и пунктуацию




слово шаблоны (9)

Я пытаюсь разбить строку на слова и пунктуацию, добавив пунктуацию в список, созданный разделом.

Например:

>>> c = "help, me"
>>> print c.split()
['help,', 'me']

Я действительно хочу, чтобы список выглядел так:

['help', ',', 'me']

Итак, я хочу, чтобы строка была разделена на пробелы с разделителем пунктуации от слов.

Сначала я попытался разобрать строку, а затем запустить split:

>>> for character in c:
...     if character in ".,;!?":
...             outputCharacter = " %s" % character
...     else:
...             outputCharacter = character
...     separatedPunctuation += outputCharacter
>>> print separatedPunctuation
help , me
>>> print separatedPunctuation.split()
['help', ',', 'me']

Это дает результат, который я хочу, но на больших файлах он очень медленный.

Есть ли способ сделать это более эффективно?


Answers

Это более или менее способ сделать это:

>>> import re
>>> re.findall(r"[\w']+|[.,!?;]", "Hello, I'm a string!")
['Hello', ',', "I'm", 'a', 'string', '!']

Фокус в том, чтобы не думать о том, где разделить строку, но что включить в токены.

Предостережения:

  • Подчеркивание (_) считается символом внутреннего слова. Замените \ w, если вы этого не хотите.
  • Это не будет работать с (одиночными) кавычками в строке.
  • Поместите любые дополнительные знаки препинания, которые вы хотите использовать в правой половине регулярного выражения.
  • Все, что явно не упоминается в re, тихо отбрасывается.

Вот небольшое обновление вашей реализации. Если вы пытаетесь сделать что-нибудь более подробное, я предлагаю заглянуть в NLTK, предложенный le dorfier.

Это может быть только немного быстрее, так как вместо «=» используется символ .join (), который, как известно, быстрее .

import string

d = "Hello, I'm a string!"

result = []
word = ''

for char in d:
    if char not in string.whitespace:
        if char not in string.ascii_letters + "'":
            if word:
                    result.append(word)
            result.append(char)
            word = ''
        else:
            word = ''.join([word,char])

    else:
        if word:
            result.append(word)
            word = ''
print result
['Hello', ',', "I'm", 'a', 'string', '!']

Вот версия, поддерживающая Unicode:

re.findall(r"\w+|[^\w\s]", text, re.UNICODE)

Первая альтернатива ловит последовательности словных символов (как определено в unicode, поэтому «резюме» не превратится в ['r', 'sum'] ); второй ловит отдельные символы без слов, игнорируя пробелы.

Обратите внимание, что в отличие от верхнего ответа, это относится к отдельной цитате как отдельной пунктуации (например, «Я» -> ['I', "'", 'm'] ). Это кажется стандартным в НЛП, поэтому я считаю его особенностью.


Вот моя запись.

У меня есть сомнения относительно того, насколько хорошо это будет задерживаться в смысле эффективности или если оно уловит все случаи (обратите внимание на «!!!», сгруппированные вместе, это может быть или не быть хорошо).

>>> import re
>>> import string
>>> s = "Helo, my name is Joe! and i live!!! in a button; factory:"
>>> l = [item for item in map(string.strip, re.split("(\W+)", s)) if len(item) > 0]
>>> l
['Helo', ',', 'my', 'name', 'is', 'Joe', '!', 'and', 'i', 'live', '!!!', 'in', 'a', 'button', ';', 'factory', ':']
>>>

Одной из очевидных оптимизаций было бы скомпилировать регулярное выражение перед использованием (с использованием re.compile), если вы будете делать это по очереди.


В синтаксисе регулярных выражений в стиле perl \b соответствует границе слова. Это должно пригодиться для разделения на основе регулярных выражений.

edit: Мне сообщили, что «пустые совпадения» не работают в функции split модуля re. Я оставлю это здесь в качестве информации для кого-то еще, озадаченного этой «особенностью».


Я думаю, вы можете найти всю помощь, которую вы можете себе представить в NLTK , тем более, что вы используете python. В учебнике есть хорошее всестороннее обсуждение этой проблемы.


Попробуй это:

string_big = "One of Python's coolest features is the string format operator  This operator is unique to strings"
my_list =[]
x = len(string_big)
poistion_ofspace = 0
while poistion_ofspace < x:
    for i in range(poistion_ofspace,x):
        if string_big[i] == ' ':
            break
        else:
            continue
    print string_big[poistion_ofspace:(i+1)]
    my_list.append(string_big[poistion_ofspace:(i+1)])
    poistion_ofspace = i+1

print my_list

Я придумал способ tokenize всех слов и \W+ шаблонов с использованием \b который не требует жесткого кодирования:

>>> import re
>>> sentence = 'Hello, world!'
>>> tokens = [t.strip() for t in re.findall(r'\b.*?\S.*?(?:\b|$)', sentence)]
['Hello', ',', 'world', '!']

Здесь .*?\S.*? это шаблон, сопоставляющий все, что не является пространством, и $ добавляется для соответствия последнему токену в строке, если это символ пунктуации.

Обратите внимание на следующее: это будет группировать знаки препинания, состоящие из более чем одного символа:

>>> print [t.strip() for t in re.findall(r'\b.*?\S.*?(?:\b|$)', '"Oh no", she said')]
['Oh', 'no', '",', 'she', 'said']

Конечно, вы можете найти и разделить такие группы:

>>> for token in [t.strip() for t in re.findall(r'\b.*?\S.*?(?:\b|$)', '"You can", she said')]:
...     print re.findall(r'(?:\w+|\W)', token)

['You']
['can']
['"', ',']
['she']
['said']

Еще один гибкий и быстрый способ

template<typename Operator>
void tokenize(Operator& op, const char* input, const char* delimiters) {
  const char* s = input;
  const char* e = s;
  while (*e != 0) {
    e = s;
    while (*e != 0 && strchr(delimiters, *e) == 0) ++e;
    if (e - s > 0) {
      op(s, e - s);
    }
    s = e + 1;
  }
}

Использовать его с вектором строк (Edit: Поскольку кто-то указал, что не наследует классы STL ... hrmf;)):

template<class ContainerType>
class Appender {
public:
  Appender(ContainerType& container) : container_(container) {;}
  void operator() (const char* s, unsigned length) { 
    container_.push_back(std::string(s,length));
  }
private:
  ContainerType& container_;
};

std::vector<std::string> strVector;
Appender v(strVector);
tokenize(v, "A number of words to be tokenized", " \t");

Это оно! И это всего лишь один способ использовать токенизатор, например, как просто считать слова:

class WordCounter {
public:
  WordCounter() : noOfWords(0) {}
  void operator() (const char*, unsigned) {
    ++noOfWords;
  }
  unsigned noOfWords;
};

WordCounter wc;
tokenize(wc, "A number of words to be counted", " \t"); 
ASSERT( wc.noOfWords == 7 );

Ограничено воображением;)





python string split