해제 - Python으로 메모리 부족 문제를 처리하는 방법




파이썬 메모리 초기화 (2)

나는 당신의 말의 요지는 잘 모르겠지만, 기억이 문제라면 그들은 꽤 큰 구조라고 생각한다.

파이썬 32 비트에서 파이썬 64 비트로 전환하여 파이썬 메모리 오류 문제를 해결했습니다. 실제로 일부 Python 구조는 4GB 주소 공간에서 커지게되었습니다. 문제를 간단하게 해결할 수있는 방법으로 시도해보십시오.

나는 내가 조작하는 거대한 사전을 가지고있다. 1 천만 단어 이상이 해싱됩니다. 그것은 너무 느리고 약간의 시간이 지나면 추억으로 남습니다.

이러한 거대한 데이터 구조를 처리하는 더 좋은 방법이 있습니까?


예. 이를 데이터베이스라고합니다. 사전은 당신을 위해 (메모리 문제를 제외하고) 일하고 있었기 때문에 나는 sqlite 데이터베이스가 당신을 위해 잘 작동한다고 생각할 것이다. 당신은 sqlite3를 아주 쉽게 사용할 수 있으며 문서화가 잘되어 있습니다.

물론이 값은 json과 같은 값으로 값을 표현하거나 로컬 파일에서 절인 된 데이터를 신뢰할 수있는 경우에만 좋은 해결책이 될 것입니다. 어쩌면 사전의 가치에 대한 정보를 게시해야합니다. (나는 열쇠가 단어라고 가정하고있다. 그렇지 않다면 나에게 정정 해주세요)

전체 사전을 생성하지 않고 청크로만 처리하기를 원할 수도 있습니다. 이는 특정 유스 케이스에서는 실용적이지 않을 수 있습니다 (사전이 불행히도 사용되는 것과는 다른 경우가 많습니다).하지만 방법을 생각할 수 있다면 알고리즘을 재 설계하여 사용하는 것이 좋습니다.





nlp