0

Hive表的几种存储格式

Hive的文件存储格式: textFile textFile为默认格式 存储方式:行存储 缺点:磁盘开销大;数据解析开销大;压缩的text文件,hive无法进行合并和拆分 sequencefile 二进制文件,以<key,value>的形式序列化到文件中 存储方式:行存储 优点:可分割、压缩,一般选 ...

海贼王一样的男人 发布于 2019-11-20 15:04 评论(0)阅读(3)
0

Zookeeper分布式集群搭建

文中Zookeeper分布式集群搭建在Linux CentOS7系统之上。搭建大数据分布式集群,不建议使用root用户直接操作,故文中使用bigdata用户进行集群的搭建。 一、环境准备 软件 版本 Linux系统 CentOS7 JDK jdk-8u221-linux-x64.tar.gz Zoo ...

wordcounts 发布于 2019-11-20 13:25 评论(0)阅读(9)
0

centos7在线yum安装mysql时官方镜像下载过慢的解决方案

centos7在线yum安装mysql时官方镜像下载过慢的一个解决方案 ...

邀月 发布于 2019-11-20 11:02 评论(0)阅读(10)
0

sqlserver刷新视图

sqlserver用于刷新视图的存储过程 create procedure dbo.proc_refreshview as begin declare @viewname varchar(100) declare cur_view cursor for select [name] from syso ...

南宫强子 发布于 2019-11-20 09:50 评论(0)阅读(18)
0

理解Spark运行模式(三)(STANDALONE和Local)

前两篇介绍了Spark的yarn client和yarn cluster模式,本篇继续介绍Spark的STANDALONE模式和Local模式。 下面具体还是用计算PI的程序来说明,examples中该程序有三个版本,分别采用Scala、Python和Java语言编写。本次用Java程序JavaSp ...

白竹山 发布于 2019-11-19 20:44 评论(0)阅读(17)
0

MySQL基础

1. 数据库 1.1 数据库概述 什么是数据库 数据库就是存储数据的仓库,其本质是一个文件系统,数据按照特定的格式将数据存储起来,用户可以对数据库中的数据进行增加,修改,删除及查询操作。 什么是数据库管理系统 数据库管理系统(DataBase Management System,DBMS):指一种操 ...

爱编程的小灰灰 发布于 2019-11-19 20:17 评论(0)阅读(22)
0

Oracle 11g与12c的审计详解

最近遇到一些脚本诱发的审计相关BUG,感觉有必要重新梳理一下11g与12c的审计模式,于是根据官网修正了一下以前的一篇笔记这里发出来。 一、审计功能的开启: audit_trail参数的值可以设置为以下几种(11G,12C适用): http://docs.oracle.com/cd/E11882_ ...

Leohahah 发布于 2019-11-19 18:06 评论(0)阅读(19)
0

flink 流式处理中如何集成mybatis框架

flink 中自身虽然实现了大量的connectors,如下图所示,也实现了jdbc的connector,可以通过jdbc 去操作数据库,但是flink-jdbc包中对数据库的操作是以ROW来操作并且对数据库事务的控制比较死板,有时候操作关系型数据库我们会非常怀念在java web应用开发中的非常优 ...

张永清 发布于 2019-11-19 17:32 评论(0)阅读(141)
0

MySQL数据篇(九)--存储过程实现定时每天清理过期数据

需求:有一个活动记录表 t_ad ,商家每次发起一个活动,就会在 t_shake_devices_relation 表里面生成一些关联记录。现在写一个存储过程实现,如果活动过期,就将关联表里面的数据标记删除。 1、代码如下: BEGIN /* 用途:每天23:00执行一次,处理“开屏广告”和“门店主 ...

在斑马线上散布 发布于 2019-11-19 16:37 评论(0)阅读(20)
0

[20191119]探究ipcs命令输出2.txt

[20191119]探究ipcs命令输出2.txt--//继续上午的测试:http://blog.itpub.net/267265/viewspace-2664758/=>[20191119]探究ipcs命令输出.txt--//先补充ipcs 剩余2个参数 -l -u--//-l limits--/ ...

lfree 发布于 2019-11-19 16:36 评论(0)阅读(0)
0

频繁项集的产生及经典算法

前言: 关联规则是数据挖掘中最活跃的研究方法之一, 是指搜索业务系统中的所有细节或事务,找出所有能把一 组事件或数据项与另一组事件或数据项联系起来的规则,以获 得存在于数据库中的不为人知的或不能确定的信息,它侧重于确 定数据中不同领域之间的联系,也是在无指导学习系统中挖掘本地模式的最普通形式。 一般 ...

StormTides 发布于 2019-11-19 16:36 评论(0)阅读(9)
0

MySQL数据篇(八)-- 存储过程的简单实现

思考:一般我们的数据都是存储在数据库里面,对于常规的CRUD操作都是用代码实现,比如使用PHP做项目,所有的数据处理都需要主动操作代码实现。如果我们现在有一项目,业务需要在用户下单后,对用户的订单进行分润处理,比如在每个月的21号,对上个月所有的订单按设置的规则进行分润处理,当然shll脚本也可以实 ...

在斑马线上散布 发布于 2019-11-19 15:08 评论(0)阅读(21)
0

linux下安装mysql数据库

本次安装使用的是虚拟机,系统使用centos6.5 64位版本,mysql使用的是linux通用版本5.7.28 一、下载链接地址http://dev.mysql.com/downloads/mysql/ 选择通用版本下载 二、安装前的系统环境配置 1、卸载原有(系统自带的)的mysql 检查是否 ...

牛肉丨火锅 发布于 2019-11-19 14:38 评论(0)阅读(8)
0

Windows下mysql的下载和安装

下载: 1.下载地址:http://www.mysql.com/downloads/ 2.选择社区版:MySQL Community (GPL) Downloads » 3.MySQL Community Server 4.选择版本 Looking for previous GA versions ...

xupp 发布于 2019-11-19 12:00 评论(0)阅读(19)
0

[20191119]探究ipcs命令输出.txt

[20191119]探究ipcs命令输出.txt$ man ipcsIPCS(8) Linux Programmer's Manual IPCS(8)NAME ipcs - provide information on ipc facilitiesSYNOPSIS ipcs [ -asmq ] [ ...

lfree 发布于 2019-11-19 11:30 评论(0)阅读(7)
0

MySQL 在 Windows 下安装教程、避坑指南

MySQL 是一个关系型数据库管理系统,由瑞典 MySQL AB 公司开发,2008 年被 SUN 公司收购,后 SUN 公司又被 Oracle 公司收购。 一、下载 MySQL 官网 "http://www.mysql.com/" 点击 进入下载地址,会看到几个不同的版本: MySQL Ente ...

丹枫无迹 发布于 2019-11-19 10:52 评论(0)阅读(18)
0

redis 底层数据结构

简单动态字符串SDS 包含字符串长度,剩余可用长度,字符数组 用于Redis中所有的 string 存储 字典(map) 数组+链表形式,跟hashMap很像 链地址法解决hash冲突 rehash使用新建hash数组链表进行数据rehash迁移,扩容是大于原数组长度的第一个2的n次幂 渐进式reh ...

songlingjie 发布于 2019-11-19 10:11 评论(0)阅读(7)
0

Oracle使用Sqlplus时常用命令

1. 连接用户 scott、system及自定义用户连接 sys用户登录 2. 显示和设置环境变量 修改每行显示的字符数 修改每页显示的行数 清屏 3. 文件操作 编辑指定的sql文件 运行sql脚本,如果文件后缀是.sql则可以省略后缀 将命令行中的命令保存在文件中 ...

盒饭加鸡腿 发布于 2019-11-19 08:35 评论(0)阅读(27)
0

Redis的基本使用

简介 Redis是由意大利人开发的一款内存高速缓存数据库,是一个高性能的键值对(key value)存储数据库 Redis全称为: Remote Dictionary Server(远程数据服务),使用C语言编写,并以内存作为数据存储介质,所以读写数据的效率极高 特性 Redis支持数据的持久化,可 ...

纪宇-年华 发布于 2019-11-18 23:26 评论(0)阅读(9)
0

NoSQL简介

NoSQL指的是非关系型数据库,是对不同于传统的关系型数据库的数据库管理系统的统称,NoSQL是web2.0时代海量数据催生的产物 特点 不支持SQL语法 NoSQL的世界中没有一种通用的语言,每种nosql数据库都有自己的语法,以及擅长的业务场景 读写性能高 NoSQL数据库都具有非常高的读写性能 ...

纪宇-年华 发布于 2019-11-18 23:05 评论(0)阅读(12)