Python 使用其他爬取信息的scrapy图像管道文件名

发布于05月15日

有没有办法用我们从蜘蛛那里得到的其他信息(文本)来命名一张抓取的图像？

spider file

# lines of code 

def parse(self, response):

    # lines of code 

    yield {
            'date':date,
            'title': article_title,
            'image_urls': clean_urls
    }

pipelines.py

from scrapy.pipelines.images import ImagesPipeline

class customImagesPipeline(ImagesPipeline):
    def file_path(self, request, response=None, info=None, *, item=None):
        return f"images/{request.url.split('/')[-1]}"

推荐答案

一种方法是覆盖get_media_requests方法，并在image requests meta属性中设置图像名称，这样就可以在file_path方法中访问它.

如果将一个图像url作为字符串传递给image_urls，则以下示例将起作用:

from scrapy.http import Request
from scrapy.pipelines.images import ImagesPipeline


class costumImagesPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        return Request(
            item["image_urls"],
            meta = {
                "image_name": f"{item['title']}_{item['date']}",
            }
        )

    def file_path(self, request, response=None, info=None) -> str:
        return f"images/{request.meta['image_name']}.jpg"