Python学习 — 一键爬取万张美女图片

妃妃
2021-03-27 / 12 评论 / 125 阅读 / 正在检测是否收录...
温馨提示:
本文最后更新于2021年03月28日,已超过49天没有更新,若内容或图片失效,请留言反馈。

Python学习爬虫之唯美女孩图片爬取,实测可以爬取10000+

import requests
import time
import re
import os
from fake_useragent import UserAgent

while True:
    download_file_name = input("请输入需要保存的文件夹名(默认保存在Py文件同目录):")
    if not os.path.exists(download_file_name):
        os.mkdir(download_file_name)
        print(f"——————————{download_file_name} 文件夹已创建,即将开始下载——————————\n")
        time.sleep(2)
        break
    else:
        print("文件夹已存在")

    a = 1  # 保存图片下载数量
    all_name = [] # 保存文件名,避免重复
    for k in range(1,542):
        # 获取网页信息并分析
        print(f"——————————下载第{k}个页面——————————")
        url = 'https://www.keaitupian.net/girl/list-' + str(k) + '.html'
        ua = {'user-agent': UserAgent().random}
        res = requests.get(url, headers=ua).text
        pat = 'https://i.keaitupian.net/up/(.*?).jpg.300.jpg'
        # 筛选下载链接
        main_links = re.findall(pat, res)
        try:
            for i in range(len(main_links)):
                download = 'https://i.keaitupian.net/up/' + main_links[i] + '.jpg.300.jpg'
                # 判断图片是否重复
                if main_links[i] in all_name:
                    print(f"{download} 已存在,跳过下载")
                    continue
                else:
                    # 下载图片
                    l = requests.get(download, headers=ua).content
                    with open(download_file_name + '/' + str(a) + '.jpg', 'wb') as file:
                        file.write(l)
                    print(f"第{a}个图片已下载")
                    a += 1
                    all_name.append(main_links[i])
        except:
            print("下载失败")
    print(f"——————————共下载{a}个图片——————————")
11

评论 (12)

取消
  1. 头像
    一条咸鱼
    Windows X64 · QQ Browser

    吃饭了吗?

    回复
    1. 头像
      妃妃 作者
      Android · Google Chrome
      @ 一条咸鱼

      吃了表情

      回复
      1. 头像
        一条咸鱼
        Windows X64 · QQ Browser
        @ 妃妃

        我正在学HTML和css、JS,我感觉写的好累,前端

        回复
        1. 头像
          妃妃 作者
          Android · Google Chrome
          @ 一条咸鱼

          那个我也在学,还没上手实操,这周放假回去实操

          回复
          1. 头像
            一条咸鱼
            Windows X64 · QQ Browser
            @ 妃妃

            楼主也在读大学吗?那个专业的

            回复
            1. 头像
              妃妃 作者
              Android · Google Chrome
              @ 一条咸鱼

              高中

              回复
              1. 头像
                一条咸鱼
                Windows X64 · QQ Browser
                @ 妃妃

                我读大一,学了一个学期写的网站都没有一个读高中写的好,我自愧不如呢

                回复
                1. 头像
                  妃妃 作者
                  Android · Google Chrome
                  @ 一条咸鱼

                  网站不是我写的,哈哈哈,都是用的别人的,改了点东西

                  回复
                  1. 头像
                    一条咸鱼
                    Windows X64 · QQ Browser
                    @ 妃妃

                    请问楼主可不可以分享下源码文件给我学习学习?有偿

                    回复
                    1. 头像
                      妃妃 作者
                      Android · Google Chrome
                      @ 一条咸鱼

                      开源的项目,qq发给你了,不收费

                      回复
                      1. 头像
                        一条咸鱼
                        Windows X64 · QQ Browser
                        @ 妃妃

                        好的,谢谢

                        回复
                  2. 头像
                    一条咸鱼
                    Windows X64 · QQ Browser
                    @ 妃妃

                    请问楼主可不可以分享下源码给我,一起学习学习?

                    回复