庞玉栋博客
//

大数据

18 篇 · 资讯流

  2. Flume配置文件详解

    一、source配置1、netcat的source：bind指定IP，port指定port# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 444442、读文件exec：commd中写命令，如果用tail的话记得用大写的F# Describe/configure the sourcea1.sources.r1.type = exe

  4. Flume采集数据时在HDFS上产生大量小文件的问题

    在配置flume配置文件的时候，配置了滚动时间和最大字节数，但是在写入到hdfs的时候，其实是不按滚动时间去自动滚动的。设置a1.sinks.k1.hdfs.minBlockReplicas=1。因为文件会因为所在块的复制而滚动文件。

  6. flask传递列表等到jinja2模版的时候出现'；

    {% for i in connect.d %} "{{i[0]}}", {% endfor %}# #可以使用循环读取每一条数据

  8. 在Hadoop HDFS NameNode web端中下载文件会重定向到localhost:50075

    host文件在错误的IP地址上指定，则获取并报告环回适配器的地址。因此需要检查一下几项1.检查hosts文件，确认127.0.0.1对应的是 localhost2.检查HDFS-site.xml中dfs.name.rpc-address和dfs.datanode.http.address中配置的主机名是否和/etc/hostname中的主机名对应

  10. 大数据行业就业指南

    大数据行业就业指南 大数据开发工程师/大数据运维/Hadoop开发： 熟悉Hadoop生态圈（ MapReduce，hdfs，Hive，Spark等相关组件），liunx（shell脚本）相关技术以及对源码有深入认识，熟悉mysql数据库等，掌握JAVA语言或者python语言 （有的公司要求掌握Scala语言，流式处理框架使用经验，熟悉Tableau报表设计   数据采集工程师/网络爬虫工程师/反爬虫工程师:   熟悉Selenium, phantomjs,

  12. Collections 内建集合模块

    Collections 集合类 namedtuple 我们知道tuple可以表示不变集合，例如，一个点的二维坐标就可以表示成： >>> p = (1, 2) 但是，看到(1, 2)，很难看出这个tuple是用来表示一个坐标的。 定义一个class又小题大做了，这时，namedtuple就派上了用场： >>> from collections import namedtuple>>> Point = namedtuple('Po

  14. Java在各个操作系统中的安装方式

    前言Java安装应该是件非常简单的事情，不知何时在Oracle官方下载JDK时，竟然强制要求用户登陆。这样就不能通过Linux命令wget下载了，真是有点让人火大。想了个办法破解这种恶心的cookies验证行为！对大数据感兴趣的朋友可以加群大数据视频学习交流群 675590728目录Java在Windows中安装Java在Linux Ubuntu中安装1 Java在Windows中安装Java环境安装，是指Java开发环境的安装，包括JDK安装和Java的环境配置。在Windows中，很多的Ja

  16. 怎么开始使用Java机器学习？

    本文咱们会做一个java的机械进修的重要框架的疾速概述，并证实Java机械进修是何等轻易上手，不必要你重新努力别辟门户或许从头开端创立算法。开端Java机械进修的最佳工具是甚么?这个成绩曾经有一段时间了，但近来这些日子险些每个人都在评论辩论人工智能和机械进修。这曾经再也不是一个保留给科学家和研究者的机密，而是险些完成于每一项新兴技巧中。鄙人面的章节中，咱们会做一个java的机械进修的重要框架的疾速概述，并证实Java机械进修是何等轻易上手，不必要你重新努力别辟门户或许从头开端创立算法。人类的人