Python2.7Passos de instalação do framework Scrapy explicados

Devido aos requisitos do projeto de conclusão de curso, é necessário capturar uma grande quantidade de dados no site, então usar o framework Scrapy pode tornar este processo muito mais fácil, afinal, o Scrapy é um aplicativo de framework projetado para capturar dados de sites e extrair dados estruturados. Portanto, comecei minha jornada de instalação do framework Scrapy. Pode-se dizer que este processo não foi muito agradável, muitos erros acontecendo, mas no final, finalmente consegui instalar o framework Scrapy. A seguir, faço um resumo da instalação do meu framework Scrapy.

1.Instalar python2.7

Scrapy não suporta Python3.0, então desinstalei o Python3.0, instalei novamente o Python2.7(python2.7O pacote de instalação), ao instalar o Python2.7ao instalar, há uma opção de ajuste automático das variáveis de ambiente, é recomendável marcar essa opção aqui, economizando a adição de variáveis de ambiente posteriormente. Adicionar variáveis de ambiente posteriormente, é根据自己的安装路径, adicionar essas duas frases no variável de ambiente path do sistema.

Após configurar o ambiente, testamos se instalamos e configuramos o ambiente com sucesso. Basta inserir python –version no cmd e, em seguida, pode mostrar a versão correta do python. Se não puder mostrar, reinicie o cmd e tente novamente.

2.Instalar pywin32

Após a instalação e configuração do python2.7Depois disso, ainda não podemos instalar o Scrapy diretamente, precisamos instalar várias ferramentas dependentes do Scrapy. Em seguida, instale o pywin32(pywin32O pacote de instalação, o software é instalado, apenas clique em next repetidamente.

3.Instalar pip

O pip é um ferramenta de instalação de software online bastante conveniente, semelhante ao easy install, agora estamos instalando o pip, podemos usar o comando pip install durante a instalação de software posterior. Primeiro, devemos baixar o get-pip.py(get-o arquivo pip.py) após o download, execute a instalação no cmd, primeiro mude para o diretório do arquivo, então insira python get-a instrução pip.py, então podemos instalar, mas surgiu o problema mais irritante, pois o arquivo escreve automaticamente alguns arquivos de configuração no diretório de arquivos do usuário do nosso disco C, e meu diretório de usuário é chinês, o que causará exceções de encoding.

Após uma pesquisa de algumas informações, finalmente resolvi o problema, para resolver o problema da rota de chinês, precisamos apenas ajustar em D:\python27\Lib\site-Crie um novo diretório chamado
o arquivo sitecustomize.py.

Em seguida, insira o seguinte código no arquivo:

import sys
reload(sys)
sys.setdefaultencoding('gbk')

Claro, não é necessário necessariamente configurar para o código de encoding gbk, deve-se ajustar conforme o código de encoding do seu computador. Dessa forma, o problema da rota de chinês está resolvido, ao reiniciar o cmd e executar a instrução de instalação pip, o pip é concluído sem problemas. Após a instalação, podemos fazer uma verificação, digitar pip –version no cmd, se mostrar o número da versão correta, significa que está correto.

4.Instalação do lxml

Após a instalação do pip, pensei que poderia usar facilmente o comando pip install lxml para instalar, mas ocorreu um acidente. Devido ao uso do pip, é necessário o VC2008ambiente, e só pode ser2008de2013Não funciona. Sem outra opção para usar essa ferramenta, temos que pedir ajuda para a Dama da Internet, finalmente encontrando a solução: a Microsoft nos fornece o VcForPython (pacote de instalação do VcForPython), então não precisamos instalar o VC2008Depois disso, podemos usar pip install lxml para instalá-lo.

5.Instalação do pyOpenSSL

Enquanto instalamos essa ferramenta, podemos usar a instrução pip install pyOpenSSL para instalá-la. A velocidade da instalação depende da velocidade da internet.

6.Instalação do Scrapy

Após passar por uma série de dificuldades, finalmente podemos instalar o framework Scrapy. Após inserir o comando pip install Scrapy no cmd, podemos esperar pela alegria do sucesso. Após a instalação, inserimos Scrapy no cmd para verificar se a instalação foi bem-sucedida.

Finalmente instalado, ainda tem um pouco de sensação de realização.

Isso é tudo sobre este artigo. Espero que ajude no seu aprendizado e que você apóie o tutorial Gritos.

Declaração: O conteúdo deste artigo é extraído da internet, pertence ao respectivo proprietário, fornecido voluntariamente pelos usuários da internet e carregado automaticamente. Este site não possui direitos de propriedade, não foi editado manualmente e não assume responsabilidade por questões legais relacionadas. Se você encontrar conteúdo suspeito de violação de direitos autorais, por favor, envie um e-mail para: notice#oldtoolbag.com (ao enviar e-mail, substitua # por @ para denunciar. Forneça provas relevantes e, se confirmado, o site deletará o conteúdo suspeito de violação de direitos autorais de imediato.)