`

HttpClient抓取图片

阅读更多
1. HttpClient抓取图片

pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" 
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.andrew</groupId>
  <artifactId>HttpClientDemo</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <dependencies>
      <dependency>
        <groupId>org.apache.httpcomponents</groupId>
        <artifactId>httpclient</artifactId>
        <version>4.5.2</version>
    </dependency>
    <dependency>
        <groupId>commons-io</groupId>
        <artifactId>commons-io</artifactId>
        <version>2.5</version>
    </dependency>
  </dependencies>
</project>

Demo01.java

package com.andrew.httpClient.chap03;

import java.io.File;
import java.io.InputStream;

import org.apache.commons.io.FileUtils;
import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;

public class Demo01 {
    public static void main(String[] args) throws Exception {
        CloseableHttpClient httpClient = HttpClients.createDefault(); // 创建httpClient实例
        HttpGet httpGet = new HttpGet("http://www.pptbz.com/pptpic/UploadFiles_6909/201203/2012031220134655.jpg"); // 创建httpget实例
        httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:50.0) Gecko/20100101 Firefox/50.0");
        CloseableHttpResponse response = httpClient.execute(httpGet); // 执行http get请求
        HttpEntity entity = response.getEntity(); // 获取返回实体
        if (entity != null) {
            System.out.println("ContentType:" + entity.getContentType().getValue());
            InputStream inputStream = entity.getContent();
            FileUtils.copyToFile(inputStream, new File("E://chap03demo01.gif"));
        }
        response.close(); // response关闭
        httpClient.close(); // httpClient关闭
    }
}

运行结果:
ContentType:image/jpeg
分享到:
评论

相关推荐

    httpClient 4.1.3 获取css中图片

    httpClient 4.1.3 获取css中图片 java源代码 分享给各位 想下载css中的图片 还可以用来学习httpClient 里面含有httpClient4的jar包,还用了swing的好看的主题。

    将网页抓取成图片格式的VB.NET程序.rar

    将网页抓取成图片格式的VB.NET程序,可指定网址打开网页后自动抓取网页为图片文件,并保存成指定格式,生成自定义大小的缩略图,自定义图片大小,甚至还可以设置水印文字。

    jsoup抓取网页内容

    这是一个使用jsoup抓取网页内容的例子,适合从事手机开发的初学者学习

    Java使用HttpClient和HtmlParser实现的爬虫Demo.zip

    爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤: URL收集: 爬虫从一个或多个初始URL开始,递归或迭代地发现新的URL,构建一个URL队列。这些URL...

    汽车违章查询

    该工程是通过httpclient模拟请求违章平台并解析网页反馈信息,其中包含简单验证码的识别处理,网页数据抓取,httpclient模拟用户登录的技术。

    Java爬虫引擎cfw.http.jar

    一、此爬虫引擎利用HttpClient实现,支持http与https,支持自定义UserAgent,自定义Header,支持Proxy,支持HTML抓取,也支持图片抓取。此框架分三个部分:WebClient,Webquest以及ResponseResult,其中WebClient为...

    Java爬虫引擎Java爬虫引擎

    一、此爬虫引擎利用HttpClient实现,支持http与https,支持自定义UserAgent,自定义Header,支持Proxy,支持HTML抓取,也支持图片抓取。此框架分三个部分:WebClient,Webquest以及ResponseResult,其中WebClient为...

    Java网络蜘蛛(爬c)源码.zip

    Java的网络爬虫是一种用于从互联网上获取信息的程序,通常用于抓取网页内容、收集数据或执行其他自动化任务。网络爬虫是搜索引擎、数据挖掘和信息收集等领域的重要工具。 Java的网络爬虫通常基于Java的网络编程库,...

    Java网络爬虫小说下载器.zip

    使用httpclient,jsoup,dom4j,json-lib,SWT创建的可下载小说的网络爬虫项目。 爬虫(Web Crawler)是一种自动化程序,用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储,以便后续分析或展示。爬虫...

    Gecco是一款用java语言开发的轻量化的易用的网络爬虫.zip

    Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架,让您只需要配置一些jquery风格的选择器就能很快的写出一个爬虫。 爬虫(Web Crawler)是一种自动化程序,用于从互联网上收集...

    蜂巢爬虫系统 .zip

    是一套只需要定义XPath,就可实现爬取网站,APP的系统, 支持多种解析方式(XPath,正则表达式),多种下载方式(HttpClient库, PhantomJs, Selenium),多种输出方式(Excel,MongoDB)。 爬虫(Web Crawler)是一种...

    电商网站商品信息爬虫.zip

    使用java+httpclient+httpcleaner,多线程、分布式爬去电商网站商品信息,数据存储在hbase上,并使用solr对商品建立索引,使用redis队列存储一个共享的url仓库;使用zookeeper对爬虫节点生命周期进行监视等。 爬虫...

Global site tag (gtag.js) - Google Analytics