简单 on 庞玉栋个人博客

Java两种方法实现简单爬虫

Thu, 28 Nov 2019 16:21:04 +0800

第一种：利用HttpClient和Jsoup爬取网站数据

package com.company;
import org.apache.http.Header;
import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
public class Main {
public static void main (String[] args) throws Exception {
 // 创建默认的客户端实例
 CloseableHttpClient httpClient = HttpClients.createDefault();

 // 创建get请求实例
 HttpGet httpget = new HttpGet("/");

 System.out.println("executing request " + httpget.getURI());
 String content = "";

 try {
 // 客户端执行get请求返回响应
 CloseableHttpResponse response = httpClient.execute(httpget);

 // 服务器响应状态行
 System.out.println(response.getStatusLine().toString());

 Header[] heads = response.getAllHeaders();
 HttpEntity entity = response.getEntity();

 if (entity != null) {
 content += EntityUtils.toString(entity, "utf-8");
 EntityUtils.consume(entity);// 关闭内容流
 }

 System.out.println(content);
 System.out.println(response.getHeaders("Content-Type"));
 // 打印所有响应头

 for(Header h:heads){
 System.out.println(h.getName()+":"+h.getValue());
 }
 } finally {
 httpClient.close();
 }
}

}

Matplotlib可视化库的简单使用

Thu, 24 Oct 2019 15:24:00 +0800

常见的图表类型

直方图：适用比较数据之间的多少；折线图：反映一组数据的变化趋势；条形图：显示各个项目之间的比较情况和直方图有类似的作用；饼图；散点图：显示若干数据系列中各数值之间的关系类似X，Y轴，判读两变量之间是否存在某种关联；箱型图：识别异常值方面有一定的优越性

直方图与条形图的具体区别如下：

首先，条形图用条形的长度表示各类别频率快的多少其宽度是固定的直方图是用面积表示各组频数的多少矩形的高度表示每一组的频数和频率，，宽度则表示各组的组距，因此其高度与宽度均有意义。其次，由于分组数据具有连续性所以直方图的各矩形通常都是连续排列的而条形图则是分开排列的最后条形图主要用于展示分类数据而直方图则主要用于展示数据型数据。

1通过subplot创建单个子图

#分成2*2的矩阵区域 
plt.subplot(221)
plt.plot(nums,nums)
plt.subplot(222)
plt.plot(nums,-nums)
plt.subplot(212)
plt.plot(nums,nums**2)
plt.show()

2通过subplots创建多个子图

#生成包含1～100之间所有整数数组
nums = np.arange(1,101)
#分成2*2的矩阵区域 返回子图数组axes
fig,axes = plt.subplots(2,2)
axes[0,0].plot(nums,nums)
plt.show()

3通过add_subplot添加和选中子图

fig = plt.figure()
#添加子图
fig.add_subplot(2,2,1)
fig.add_subplot(2,2,2)
fig.add_subplot(2,2,4)
fig.add_subplot(2,2,3)
#在子图上作图
random_arr = np.random.randn(100)
#默认是在最后一次使用subplot的位置上作图 即编号为3的位置
plt.plot(random_arr)
plt.show()

4添加各类标签

图表添加标签和图例的常用函数

title():设置当前轴的标题

xlabel():设置当前图形X轴的标签名称

ylabel():设置当前图形Y轴的标签名称

xticks():指定X轴刻度的数目与取值

yticks():指定Y轴刻度的数目与取值

xlim():设置或获取当前图形X轴的范围

ylim():设置或获取的当前图形Y轴的范围

legend():在轴上放置一个图例

import numpy as np
data = np.arange(0,1.1,0.01)
plt.title('Title')
plt.xlabel('x')
plt.ylabel('y')
#设置x和y轴的刻度
plt.xticks([0,0.5,1])
plt.yticks([0,0.5,1.0])
plt.plot(data,data**2,lineStyle='-.')
plt.plot(data,data**3)
plt.legend(['y=x^2','y=x^3'])
plt.show(

java mail实现Email的发送,完整代码

Sun, 26 Nov 2017 18:34:36 +0800

1、对应用程序配置邮件会话

javax.mail.Session保存邮件系统的配置属性和提供用户验证的信息，发送email首先要获取session对象。

(1)Session.getInstance(java.util.Properties)获取非共享的session对象

(2)Session.getDefaultInstance(java.utilProperties)获取共享的session对象

两者都必须建立Properties prop=new Properties()对象;

注意：一般对单用户桌面应用程序使用共享Session对象。

用SMTP协议发送Email时通常要设置mail.smtp.host(mail.protocol.host协议特定邮件服务器名)属性。

prop.put("mail.smtp.host","smtp.mailServer.com");

Session mailSession=Session.getInstance(prop);

注意：在真正使用创建的过程中，往往会让我们验证密码，这是我们要写一个密码验证类。javax.mail.Authenticator是一个抽象类，我们要写MyAuthenticator的密码验证类，该类继承Authenticator实现：

protected PasswordAuthentication getPasswordAuthentication(){
return new PasswordAuthentication(String userName, String password);
}

这时我们创建Session对象：

Session mailSession=Session.getInstance(prop,new MyAuthenticator(userName,Password));

并且要设置使用验证：prop.put("mail.smtp.auth","true");

使用 STARTTLS安全连接:prop.put("mail.smtp.starttls.enable","true");

2、配置邮件会话之后，要编写消息

要编写消息就要生成javax.mail.Message子类的实例或对Internet邮件使用javax.mail.interet.MimeMessage类。

(1)建立MimeMessage对象

MimeMessage扩展抽象的Message类，构造MimeMessage对象：

MimeMessage message=new MimeMessage(mailSession);

(2)消息发送者、日期、主题

message.setFrom(Address theSender);

message.setSentDate(java.util.Date theDate);

message.setSubject(String theSubject);

(3)设置消息的接受者与发送者（寻址接收）

setRecipient(Message.RecipientType type , Address theAddress)、setRecipients(Message.RecipientType type , Address[] theAddress)、addRecipient(Message.RecipientType type , Address theAddress)、addRecipients(Message.RecipientType type,Address[] theAddress)方法都可以指定接受者类型，但是一般用后两个，这样可以避免意外的替换或者覆盖接受者名单。定义接受者类型：

Message.RecipientType.TO：消息接受者

Message.RecipientType.CC：消息抄送者

Message.RecipientType.BCC：匿名抄送接收者(其他接受者看不到这个接受者的姓名和地址)

(4)设置消息内容

JavaMail基于JavaBean Activation FrameWork(JAF)，JAF可以构造文本消息也可以支持附件。

设置消息内容时，要提供消息的内容类型-----即方法签名: