大数据 on 庞玉栋个人博客

Sample Count Is Not Enough: Candidate-Generation Strategy Shapes the Energy and Performance of LLM Test-Time Scaling

Thu, 17 Sep 2026 07:29:57 +0800

原文：Sample Count Is Not Enough: Candidate-Generation Strategy Shapes the Energy and Performance of LLM Test-Time Scaling

作者：Mobina Kashaniyan, Ali Jannesari

来源：arXiv cs.DC（分布式并行）

正文

Computer Science > Machine Learning

arXiv:2609.19499v1 (cs)

[Submitted on 16 Sep 2026]

Title:Sample Count Is Not Enough: Candidate-Generation Strategy Shapes the Energy and Performance of LLM Test-Time Scaling

Authors:Mobina Kashaniyan, Ali Jannesari

View a PDF of the paper titled Sample Count Is Not Enough: Candidate-Generation Strategy Shapes the Energy and Performance of LLM Test-Time Scaling, by Mobina Kashaniyan and Ali Jannesari

Efficiently Linking Unstructured Data for Multi-step Reasoning

Thu, 17 Sep 2026 07:16:45 +0800

原文：Efficiently Linking Unstructured Data for Multi-step Reasoning

作者：Jiaming Liang, Haydn Jones, Jacob R. Gardner, Mark Yatskar, Zachary Ives

来源：arXiv cs.DB（数据库）

正文

Computer Science > Databases

arXiv:2609.19491v1 (cs)

[Submitted on 16 Sep 2026]

Title:Efficiently Linking Unstructured Data for Multi-step Reasoning

Authors:Jiaming Liang, Haydn Jones, Jacob R. Gardner, Mark Yatskar, Zachary Ives

View a PDF of the paper titled Efficiently Linking Unstructured Data for Multi-step Reasoning, by Jiaming Liang and 4 other authors

The Stochastic Deputy: Structural Tenant Isolation for Tool-Using LLM Agents

Mon, 14 Sep 2026 04:40:11 +0800

原文：The Stochastic Deputy: Structural Tenant Isolation for Tool-Using LLM Agents

作者：Mirza Samad Ahmed Baig, Syeda Anshrah Gillani, Asher Ali, Muhammad Hamzah Siddiqui

来源：arXiv cs.DB（数据库）

正文

Computer Science > Cryptography and Security

arXiv:2609.14780v1 (cs)

[Submitted on 13 Sep 2026]

Title:The Stochastic Deputy: Structural Tenant Isolation for Tool-Using LLM Agents

Authors:Mirza Samad Ahmed Baig, Syeda Anshrah Gillani, Asher Ali, Muhammad Hamzah Siddiqui

View a PDF of the paper titled The Stochastic Deputy: Structural Tenant Isolation for Tool-Using LLM Agents, by Mirza Samad Ahmed Baig and 3 other authors

Natural Language Knowledge Graph Query Execution: Leveraging Controlled Semantics in the LLM Context Window

Mon, 14 Sep 2026 00:36:40 +0800

原文：Natural Language Knowledge Graph Query Execution: Leveraging Controlled Semantics in the LLM Context Window

作者：Blake G. Fitch

来源：arXiv cs.DB（数据库）

正文

Computer Science > Databases

arXiv:2609.14652v1 (cs)

[Submitted on 13 Sep 2026]

Title:Natural Language Knowledge Graph Query Execution: Leveraging Controlled Semantics in the LLM Context Window

Authors:Blake G. Fitch

View a PDF of the paper titled Natural Language Knowledge Graph Query Execution: Leveraging Controlled Semantics in the LLM Context Window, by Blake G. Fitch

VikingRAG: Accurate and Token-efficient Retrieval-augmented Generation over Structured Documents

Thu, 10 Sep 2026 19:25:59 +0800

原文：VikingRAG: Accurate and Token-efficient Retrieval-augmented Generation over Structured Documents

作者：Peiyuan Gao, Gaoyuan Zhang, Haojie Qin, Yahui Sun, Qianyi Zhang, Yunhao Zhang, Zeyu Wang, Wei Lu

来源：arXiv cs.DB（数据库）

正文

Computer Science > Information Retrieval

arXiv:2609.11390v1 (cs)

[Submitted on 10 Sep 2026]

Title:VikingRAG: Accurate and Token-efficient Retrieval-augmented Generation over Structured Documents

Authors:Peiyuan Gao, Gaoyuan Zhang, Haojie Qin, Yahui Sun, Qianyi Zhang, Yunhao Zhang, Zeyu Wang, Wei Lu

View a PDF of the paper titled VikingRAG: Accurate and Token-efficient Retrieval-augmented Generation over Structured Documents, by Peiyuan Gao and 7 other authors

Collections 内建集合模块

Fri, 28 Feb 2020 17:01:13 +0800

Collections 集合类

namedtuple

我们知道tuple可以表示不变集合，例如，一个点的二维坐标就可以表示成：

>>> p = (1, 2)

但是，看到(1, 2)，很难看出这个tuple是用来表示一个坐标的。

定义一个class又小题大做了，这时，namedtuple就派上了用场：

>>> from collections import namedtuple

>>> Point = namedtuple('Point', ['x', 'y'])

>>> p = Point(1, 2)

>>> p.x

>>> p.y

namedtuple是一个函数，它用来创建一个自定义的tuple对象，并且规定了tuple元素的个数，并可以用属性而不是索引来引用tuple的某个元素。

这样一来，我们用namedtuple可以很方便地定义一种数据类型，它具备tuple的不变性，又可以根据属性来引用，使用十分方便。

可以验证创建的Point对象是tuple的一种子类：

>>> isinstance(p, Point)

True

>>> isinstance(p, tuple)

True

类似的，如果要用坐标和半径表示一个圆，也可以用namedtuple定义：

# namedtuple('名称', [属性list]):

Circle = namedtuple('Circle', ['x', 'y', 'r'])

Deque 双向队列

使用list存储数据时，按索引访问元素很快，但是插入和删除元素就很慢了，因为list是线性存储，数据量大的时候，插入和删除效率很低。

deque是为了高效实现插入和删除操作的双向列表，适合用于队列和栈：

list是线性存储，数据量大的时候，效率慢

deque除了实现list的append()和pop()外，还支持appendleft()和popleft()，这样就可以非常高效地往头部添加或删除元素。

defaultdict

使用dict时，如果引用的Key不存在，就会抛出KeyError。如果希望key不存在时，返回一个默认值，就可以用defaultdict：

>>> from collections import defaultdict

>>> dd = defaultdict(lambda: 'N/A')

>>> dd['key1'] = 'abc'

>>> dd['key1'] # key1存在

'abc'

>>> dd['key2'] # key2不存在，返回默认值

济宁职业技术学院庞玉栋，王永强，刘明帅同学在“大数据技术与应用”国赛中获一等奖

Wed, 04 Dec 2019 22:25:52 +0800

2019年（高职组）“新华三”杯大数据技术与应用国赛于6月13日在贵州轻工职业技术学院举行，全国28个省市98所职业院校队参加比赛，决出金牌10个。

我院参赛选手庞玉栋、刘明帅、王永强经过激烈地角逐获大赛一等奖，王秀芳、范建淑获优秀指导教师。至此，我院参赛选手在2019年国赛中全部获得一等奖。

比赛包括大数据平台搭建、大数据采集、大数据清洗、大数据分析、大数据可视化等技能竞赛五个环节，竞赛时间为240分钟。其中大数据应用基本技能竞赛环节以团队竞赛方式进行，岗位职业素养考核穿插在大数据应用基本技能竞赛环节中进行。

比赛中充分展现了我省学生扎实的专业基础、实践能力与创新能力，以及职业素养和团队合作精神。

爬取斗图网表情包

Sat, 12 Oct 2019 20:59:15 +0800

#需要安装的库：requests lxml
import requests
import re
from lxml.html import etree
import os
import time
#伪装头
headers = {
 'referer': 'https://www.doutula.com/article/list/?page=3',
 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3783.0 Safari/537.36'
}
#先爬取100个页面
for s in range(1,100):
 url = 'https://www.doutula.com/article/list/?page={}'.format(s)
 try:
 res = requests.get(url,headers=headers)
 except Exception as e:
 continue
 csc = etree.HTML(res.text)
 ds = {}
 #解析出来每个页面的表情包标题和网址添加到ds字典
 for i in csc.xpath('//*[@id="home"]/div/div[2]//a'):
 if i.xpath('@href')[0][0:4]=='http':
 ds[i.xpath('div[1]/text()')[0]] = i.xpath('@href')[0]
 #循环字典，并在指定目录创建文件夹，存放表情包
 for a,b in ds.items():
 file_path = '/Users/pyd/Documents/BigData/gs2/doutu/{}'.format(a)
 if not os.path.exists(file_path):
 os.mkdir(file_path)
 else:
 continue
 try:
 cbv = requests.get(b,headers=headers,timeout=5)
 except Exception as e:
 continue

SQLAlchemy_定义(一对一/一对多/多对多)关系

Tue, 08 Oct 2019 10:32:05 +0800

Basic Relationship Patterns

基本关系模式

The imports used for each of the following sections is as follows:

下列的 import 语句，应用到接下来所有的代章节中：

from sqlalchemy import Table, Column, Integer, ForeignKey

from sqlalchemy.orm import relationship

from sqlalchemy.ext.declarative import declarative_base

Base = declarative_base()

One To Many

A one to many relationship places a foreign key on the child table referencing the parent.

表示一对多的关系时，在子表类中通过 foreign key (外键)引用父表类。

relationship() is then specified on the parent, as referencing a collection of items represented by the child:

flask-sqlalchemy 使用详解

Thu, 03 Oct 2019 19:47:58 +0800

一. 安装

$ pip install flask-sqlalchemy

二. 配置

配置选项列表 :

选项	说明
SQLALCHEMY_DATABASE_URI	用于连接的数据库 URI 。例如:sqlite:////tmp/test.db 或 mysql://username:password@server/db
SQLALCHEMY_BINDS	一个映射 binds 到连接 URI 的字典。更多 binds 的信息见用 Binds 操作多个数据库。
SQLALCHEMY_ECHO	如果设置为 Ture ， SQLAlchemy 会记录所有发给 stderr 的语句，这对调试有用。
SQLALCHEMY_RECORD_QUERIES	可以用于显式地禁用或启用查询记录。查询记录在调试或测试模式自动启用。更多信息见 get_debug_queries() 。

Flume配置文件详解

Wed, 24 Jul 2019 09:26:42 +0800

一、source配置

1、netcat的source：bind指定IP，port指定port

# Describe/configure the source

a1.sources.r1.type = netcat

a1.sources.r1.bind = localhost

a1.sources.r1.port = 44444

2、读文件exec：commd中写命令，如果用tail的话记得用大写的F

# Describe/configure the source

a1.sources.r1.type = exec

a1.sources.r1.command = tail -F /opt/module/hive/logs/hive.log

a1.sources.r1.shell = /bin/bash -c

3、读取文件夹source：spooldir source ，tmp记得一定要忽略

# Describe/configure the source

a1.sources.r1.type = spooldir

# 指定文件夹

a1.sources.r1.spoolDir = /opt/module/flume/upload

#指定文件上传后的后缀

a1.sources.r1.fileSuffix = .COMPLETED

a1.sources.r1.fileHeader = true

#忽略所有以.tmp结尾的文件，不上传

a1.sources.r1.ignorePattern = ([^ ]*\.tmp)

4、最常用的source: arvo模式，bind指的是接收的主机，port不是随意的，是看sink给的端口

# Describe/configure the source

a1.sources.r1.type = avro

Flume采集数据时在HDFS上产生大量小文件的问题

Tue, 23 Jul 2019 09:15:03 +0800

在配置flume配置文件的时候，配置了滚动时间和最大字节数，但是在写入到hdfs的时候，其实是不按滚动时间去自动滚动的。

设置a1.sinks.k1.hdfs.minBlockReplicas=1。因为文件会因为所在块的复制而滚动文件。

或者

去掉round时间系列参数，并将rollSize和rollCount置0，表示不根据临时文件大小和event数量来滚动文件（滚动文件即指将HDFS上生成的以.tmp结尾的临时文件转换为实际存储文件）。当然，也可以调大rollSize参数（如调至100000000,表示100MB滚动文件，单位是bytes）。

flask传递列表等到jinja2模版的时候出现'；

Fri, 19 Jul 2019 09:09:34 +0800

{% for i in connect.d %}
 "{{i[0]}}",
{% endfor %}#

#可以使用循环读取每一条数据

在Hadoop HDFS NameNode web端中下载文件会重定向到localhost:50075

Wed, 10 Jul 2019 08:46:58 +0800

host文件在错误的IP地址上指定，则获取并报告环回适配器的地址。因此需要检查一下几项

1.检查hosts文件，确认127.0.0.1对应的是 localhost

2.检查HDFS-site.xml中dfs.name.rpc-address和dfs.datanode.http.address中配置的主机名是否和/etc/hostname中的主机名对应

大数据行业就业指南

Mon, 01 Oct 2018 09:00:25 +0800

大数据行业就业指南

大数据开发工程师/大数据运维/Hadoop开发：

熟悉Hadoop生态圈（ MapReduce，hdfs，Hive，Spark等相关组件），liunx（shell脚本）相关技术以及对源码有深入认识，熟悉mysql数据库等，掌握JAVA语言或者python语言（有的公司要求掌握Scala语言，流式处理框架使用经验，熟悉Tableau报表设计

数据采集工程师/网络爬虫工程师/反爬虫工程师:

熟悉Selenium, phantomjs, scrapy等自动化测试工具，以及爬虫框架，精通Java/Objective-C/python等至少一种语言，了解各种前端技术，包括XHTML/XML/CSS/JavaScript/AJAX等；熟悉正则表达式和XPATH，能够从结构化或非结构化数据中获取信息；熟悉DDMS、Instruments，Charles，Fildder等抓包工具;，熟悉网络编程，对TCP/IP有深入理解，精通MySQL或PostgreSQL；熟悉Redis或MongoDB；了解linux优先

大数据分析工程师/统计建模师/数据管理/数据统计

熟悉R/Spark/Python或C/C++等至少一个常用语言；以机器学习、深度学习、复杂网络、自然语言处理等其中一种或几种模型见长；对建模技术的前沿探索有热情，优秀的学习能力和逻辑思考能力；对风险管理、用户生命周期管理、或不同垂直领域有深入研究，对各式海量数据分析与挖掘有强烈兴趣。具备ETL数据处理能力，有经验者优先，优秀的逻辑思维能力，和数据敏感度，可从海量数据中日趋分析并反推业务逻辑，优化核心业务流程；

数据可视化工程师：

. 理解W3C标准与ES规范，熟悉Web语义化，掌握盒模型、常用布局以及浏览器兼容性；熟练掌握各项Web前端技术 (HTML/CSS/Javascript) ，了解svg，canvas，webgl技术；熟练掌握JET Charts/ECharts/HighCharts/D3.js/Three.js等图形库熟练使用可视化BI工具及前端工具，具有计算机图形学理论基础，熟悉数据可视化相关基础算法；熟悉 HTTP 协议及缓存，了解基本的浏览器渲染及网络传输过程，掌握Java/python等一门语言，有前端开发经验/大规模数据存储，处理经验者优先

Collections 内建集合模块

Sat, 29 Sep 2018 08:49:45 +0800

Collections 集合类

namedtuple

我们知道tuple可以表示不变集合，例如，一个点的二维坐标就可以表示成：

>>> p = (1, 2)

但是，看到(1, 2)，很难看出这个tuple是用来表示一个坐标的。

定义一个class又小题大做了，这时，namedtuple就派上了用场：

>>> from collections import namedtuple

>>> Point = namedtuple('Point', ['x', 'y'])

>>> p = Point(1, 2)

>>> p.x

>>> p.y

namedtuple是一个函数，它用来创建一个自定义的tuple对象，并且规定了tuple元素的个数，并可以用属性而不是索引来引用tuple的某个元素。

这样一来，我们用namedtuple可以很方便地定义一种数据类型，它具备tuple的不变性，又可以根据属性来引用，使用十分方便。

可以验证创建的Point对象是tuple的一种子类：

>>> isinstance(p, Point)

True

>>> isinstance(p, tuple)

True

类似的，如果要用坐标和半径表示一个圆，也可以用namedtuple定义：

# namedtuple('名称', [属性list]):

Circle = namedtuple('Circle', ['x', 'y', 'r'])

Deque 双向队列

使用list存储数据时，按索引访问元素很快，但是插入和删除元素就很慢了，因为list是线性存储，数据量大的时候，插入和删除效率很低。

deque是为了高效实现插入和删除操作的双向列表，适合用于队列和栈：

list是线性存储，数据量大的时候，效率慢

deque除了实现list的append()和pop()外，还支持appendleft()和popleft()，这样就可以非常高效地往头部添加或删除元素。

defaultdict

使用dict时，如果引用的Key不存在，就会抛出KeyError。如果希望key不存在时，返回一个默认值，就可以用defaultdict：

>>> from collections import defaultdict

>>> dd = defaultdict(lambda: 'N/A')

>>> dd['key1'] = 'abc'

>>> dd['key1'] # key1存在

Java在各个操作系统中的安装方式

Mon, 30 Oct 2017 17:43:48 +0800

前言

Java安装应该是件非常简单的事情，不知何时在Oracle官方下载JDK时，竟然强制要求用户登陆。这样就不能通过Linux命令wget下载了，真是有点让人火大。

想了个办法破解这种恶心的cookies验证行为！

对大数据感兴趣的朋友可以加群大数据视频学习交流群 675590728

Java在Windows中安装
Java在Linux Ubuntu中安装

1 Java在Windows中安装

Java环境安装，是指Java开发环境的安装，包括JDK安装和Java的环境配置。在Windows中，很多的Java应用通过JRE就可以运行。但对Java的开发者来说，我们需要安装JDK，必须Oracle SUN官方发布的JDK。

在Windows系统上安装JDK是件非常简单的事情，对大数据感兴趣的朋友可以加群大数据视频学习交流群 675590728

大家可以下载最新版本的Java SE 8，或者较早的JDK版本。本文中使用的是1.6.0_45版本的JDK。

下载后，双击安装。我安装在目录: D: oolkitjavajdk6

安装好JDK后，配置环境变量：

选择：控制面板 –> 系统和安全 –> 系统属性 –> 高级 –> 环境变量

# 新建JAVA_HOME变量JAVA_HOME=D:	oolkitjavajdk6# 新建PATH变量PATH=D: oolkitjavajdk6in

注：如果PATH变量已存在，则在最后增加JDK的路径，用分号(;)与上个配置做分隔。

保存后，打开CMD命令窗口，测试Java的命令行操作。

# 查看Java安装版本~ C:UsersAdministrator>java -versionjava version "1.6.0_45"Java(TM) SE Runtime Environment (build 1.6.0_45-b06)Java HotSpot(TM) 64-Bit Server VM (build 20.45-b01, mixed mode)# 测试Java命令~ C:UsersAdministrator>javaUsage: java [-options] class [args...] (to execute a class) or java [-options] -jar jarfile [args...] (to execute a jar file)where options include: -server to select the "server" VM -hotspot is a synonym for the "server" VM [deprecated] The default VM is server. -cp-classpathA ; separated list of directories, JAR archives, and ZIP archives to search for class files. -D=set a system property -verbose[:class|gc|jni] enable verbose output -version print product version and exit -version:require the specified version to run -showversion print product version and continue -jre-restrict-search | -jre-no-restrict-search include/exclude user private JREs in the version search -? -help print this help message -X print help on non-standard options -ea[:...|:] -enableassertions[:...|:] enable assertions -da[:...|:] -disableassertions[:...|:] disable assertions -esa | -enablesystemassertions enable system assertions -dsa | -disablesystemassertions disable system assertions -agentlib:[=] load native agent library, e.g. -agentlib:hprof see also, -agentlib:jdwp=help and -agentlib:hprof=help -agentpath:[=] load native agent library by full pathname -javaagent:[=] load Java programming language agent, see java.lang.instrument -splash:show splash screen with specified image# 测试Javac命令~ C:UsersAdministrator>javac用法：javac <选项> <源文件>其中，可能的选项包括： -g 生成所有调试信息 -g:none 不生成任何调试信息 -g:{lines,vars,source} 只生成某些调试信息 -nowarn 不生成任何警告 -verbose 输出有关编译器正在执行的操作的消息 -deprecation 输出使用已过时的 API 的源位置 -classpath <路径> 指定查找用户类文件和注释处理程序的位置 -cp <路径> 指定查找用户类文件和注释处理程序的位置 -sourcepath <路径> 指定查找输入源文件的位置 -bootclasspath <路径> 覆盖引导类文件的位置 -extdirs <目录> 覆盖安装的扩展目录的位置 -endorseddirs <目录> 覆盖签名的标准路径的位置 -proc:{none,only} 控制是否执行注释处理和/或编译。 -processor[,,...]要运行的注释处理程序的名称；绕过默认的搜索进程 -processorpath <路径> 指定查找注释处理程序的位置 -d <目录> 指定存放生成的类文件的位置 -s <目录> 指定存放生成的源文件的位置 -implicit:{none,class} 指定是否为隐式引用文件生成类文件 -encoding <编码> 指定源文件使用的字符编码 -source <版本> 提供与指定版本的源兼容性 -target <版本> 生成特定 VM 版本的类文件 -version 版本信息 -help 输出标准选项的提要 -Akey[=value] 传递给注释处理程序的选项 -X 输出非标准选项的提要 -J<标志> 直接将 <标志> 传递给运行时系统

这样我们就在Windows的系统中，配置好了Java环境。

2 Java在Linux Ubuntu中安装

Java安装，指定的是SUN Oracle官方的JDK软件包，而不是Linux Ubuntu系统中通过apt-get安装的OpenJDK。

注：请一定注意版本，必须使用SUN Oracle官方的JDK软件包

在Linux Ubuntu中，下载并安装JDK，这里我选择安装Java SE 1.6.45的64位版本的JDK。

2.1 下载JDK

不知道Oracle官方网站时候调整的JDK下载需要先登陆，因此直接使用wget命令，无法完成JDK的下载。

我们有下面2种解决方法：

1). 从浏览器中登陆下载，然后再传到Linux的服务器

怎么开始使用Java机器学习？

Wed, 30 Aug 2017 20:36:01 +0800

本文咱们会做一个java的机械进修的重要框架的疾速概述，并证实Java机械进修是何等轻易上手，不必要你重新努力别辟门户或许从头开端创立算法。

开端Java机械进修的最佳工具是甚么?

这个成绩曾经有一段时间了，但近来这些日子险些每个人都在评论辩论人工智能和机械进修。这曾经再也不是一个保留给科学家和研究者的机密，而是险些完成于每一项新兴技巧中。

鄙人面的章节中，咱们会做一个java的机械进修的重要框架的疾速概述，并证实Java机械进修是何等轻易上手，不必要你重新努力别辟门户或许从头开端创立算法。

人类的人工智能

人工智能在一段时间以来是一个普遍而且炫酷的范畴，但老是感到有点难以涉及，是特别为科学家所做。假如你想发明一个人工智能体系，你必需完成你自己的焦点算法，而且练习它们能辨认形式，懂得图象而且处置自然说话。

近来对付这范畴的蜕变使得其对付非研究者能更轻易涉及。你如今能轻易涉及到相干算法和工具。你不必要晓得你正在做甚么，然则能很轻松的晋升你应用的机械进修才能。

让机械运行

为了更简单的论述，咱们决议选出3个名目赞助你开端：

1.Deeplearning4J (DL4J) –开源，分布式，JVM的贸易深度进修lib库

2. BID Data Project –可以或许运行疾速、大规模的机械进修和数据挖掘的形式聚集

3. Neuroph –面向工具的神经收集

趁便说一下, 咱们近来宣布了别的一些吸引咱们留意的风趣的开源GitHub库. 下载.

DL4J – 深度进修

DL4J是一个能赞助你设置装备摆设多层神经收集的工具。它为JVM供给了深度进修且随同疾速原型计划和大规模定制，同时重视比设置装备摆设更多的商定。

这个工具是为了赞助曾经领有创立和应用神经收集的实践，但不想亲身完成算法的那些人。你可以或许在海量数据上办理特定成绩和自定义神经收集属性。

DL4J 是由Java说话编写的，可以或许兼容任何JVM说话好比 Clojure, Scala, ,Kotlin，而且可以或许与Hadoop和Spark集成。

能够的应用案例包括评估或保举体系如(CRM，adtech， churn prevention)，猜测阐发乃至讹诈检测。假如你要探求实在的案例，你可以或许下载 Rapidminer. 这是应用DL4J的开源平台，用来为用户简化猜测阐发进程。

创立一个新的神经收集犹如创立一个新名目同样轻易。

BID Data Project (大数据名目)

大数据名目是由那些必要处置大批数据而且对机能敏感的人创立的。 UC Berkeley名目是由很多硬件、软件和计划形式聚集而成，能在上应用疾速、大规模的数据挖掘。

第一个库是 BIDMach，在单节点或集群上的惯例机械进修成绩都有记载。你可以或许应用这个库治理数据源，在CPU或许GPU上优化、分派数据。

BidMach 外面包括很多流行的机械进修算法，他们团队正致力于开辟分布式神经收集、图形算法和其余模子

其余两个库分别是BIDMat和 BIDParse。BIDMat是存眷与数据挖掘的疾速数学矩阵库，BIDParse是GPU加快的自然说话剖析。大数据名目标其余类库还包括可视化工具，可以或许支撑在Spark乃至在安卓运行的类库。

BIDMach基准比其余办理计划持续表现出更好的成果。乃至将其在繁多机械上的运行与其余计划在大集群上的运行比拟也是如斯。在这里可以或许找到一个完备的基准列表。

Neuroph

neuroph是用来开辟常用的神经收集构架的轻量级java框架。该框架供给了一个java库和一个GUI工具(称为easyNeurons)，你可以或许用它来在java名目中创立和练习自己的神经收集。

Neuroph包括一个开源的java类库和大批对应根本神经收集观点的基类。对付刚开端应用神经收集，或许想晓得它们若何事情的人来讲，Neuroph是个异常好的垫脚石。

你可以或许测验考试Neuroph的在线演示，看看它是怎样运行的。提醒：界面看起来很旧且过期，但你可以或许用它来创立美好的器械。它还得过2013的 Duke’s Choice的奖项。

收集视图

其余名目若何呢?

万一以上三个名目不是你所必要的，你想为你的名目探求一些分歧的，也不要紧。假如你在GitHub上搜刮“机械进修”，将有1506个Java资本让你找到适合的工具。

举个例子， Airbnb中有个风趣的名目是aerosolve,一个计划成具备人类友爱性的机械进修库。

开端进修一项新的技巧很费事，假如您希冀获得一些赞助，确保你曾经下载了Takipi的差错阐发工具。

最后的思虑

每隔几年就会有些对付人工智能的新声响。这一次，它伴跟着机械进修，数据挖掘，神经收集等等的强化来了，咱们都很支撑。这些类库开源的现实意味着这些信息和才能正奇货可居，而你一切所做的是思虑领有这个才能可以或许做成甚么。

假如你晓得其余风趣的名目或许你觉得咱们遗漏点甚么，咱们等待鄙人面的批评里见到它们。