JavaChen on Java

Kettle dependency management

JavaChen — Fri, 13 Apr 2012 12:41:39 +0000

pentaho的项目使用了ant和ivy解决项目依赖,所以必须编译源码需要ivy工具.直接使用ivy编译pentaho的bi server项目,一直没有编译成功.
使用ivy编译kettle的源代码却是非常容易的事情.

该篇文章翻译并参考了Will Gorman在pentaho的wiki上添加的Kettle dependency management,文章标题没作修改.
编写此文,是为了记录编译kettle源码的方法和过程.

以下是对原文的一个简单翻译.
将kettle作为一个产品发行是一个很有趣的事情.有很多来自于pentaho其他项目(其中有一些有依赖于kettle)的jar包被导入到kettle.这些jar包必须在发行的时候构建并且加入到kettle中.如果一个核心的库被更新了,我们必须将其导入到kettle中(如果有必要).bi服务器,pentaho报表以及pentaho元数据编辑器都将kettle作为一个服务/引擎资源而被构建的.自从我们已经将这些jar导入到我们的源码仓库,这些项目必须使用ivy明确列出kettle以及他的依赖.当kettle的依赖变化的时候,我们必须审查libext文件是否需要更新.

pentaho创建了一系列的脚本来自动化的安装ivy,解决jar(或者是artifacts),构建并发行artifacts.kettle已经升级使用subfloor(简单的意味着build.xml继承自subfloor的构建脚本).subfloor使用ivy从pentaho仓库()或者ibiblio maven2仓库来获取跟新jar.ibiblio仓库用于大多数第三方的jar文件(如apache-commons).pentaho仓库用于在线的pentaho项目或者一些比在ibiblio的三方库.为了解决kettle的依赖,我们不得不在ivy.xml里创建一个清单.这个文件明确地列出每一个没有传递依赖的jar文件.这意味着libext文件的映射在ivy.xml中是一对一的.

关于Ivy
Apache Ivy™是一个流行的致力于灵活性和简单性的依赖管理工具.更多的参考:enterprise features, what people say about it, 以及 how it can improve your build system

在kettle中使用ivyIDE
首先,从svn上下载kettle的源代码:

svn://source.pentaho.org/svnkettleroot/Kettle/trunk

如果你想在Eclipse上使用ivyde plugin.
请参考相关文章安装该插件.

如果你不想使用ivyde,你可以简单快速并且容易的开始并编译代码.
1.执行ant resolve,这个命令将会创建一个叫做resolved-libs的文件夹.
2.使用下面命令更新classpath
a.手动的添加这些jar文件到你的ide的classpath
b.执行ant create-dot-classpath,将会修改你的.classpath文件(注意刷新项目以使改变生效)
注意:kettle项目中的构建脚本会自动安装ivy插件.

构建Kettle
你可以下载kettle源代码然后立即执行ant distrib命令
或者你可以在ide中导入下载的kettle工程,然后按照你的操作系统(默认的是Windows 32-bit)版本修改依赖的swt.jar文件.

ivy中未完成的
pentaho-database-这是一个依赖kettle-db的常用项目,但又被kettle-ui使用.这样会导致循环依赖,将来可能会将其引入到kettle项目或是从该项目中去掉对kettle的依赖.
swt-swt文件目前没有包括在ivy.xml文件中
library configurations-每一个kettle库(kettle-db,kettle-core等等)应该在ivy.xml中有他自己的依赖.这些库应该继承一些特定的依赖,而取代继承整个kettle依赖.
checked-in plugins-当前引入的插件如;DummyJob, DummyPlugin, S3CsvInput, ShapeFileReader3,versioncheck应该都移到ivy的plugin配置中.

参考文章
Kettle dependency management

Getting Started Using the Cassandra CLI

JavaChen — Mon, 09 Apr 2012 12:51:39 +0000

这仅仅是一个Cassandra CLI使用方法的清单。
Cassandra CLI 客户端用于处理集群中基本的数据定义（DDL）和数据维护（DML）。其处于/usr/bin/cassandra-cli，如果是试用包安装，或者是$CASSANDRA_HOME/bin/cassandra-cli，如果使用二进制文件安装。

Starting the CLI

使用cassandra-cli -host -port 命令启动 Cassandra CLI，他将会连接cassandra.yaml文件中定义的集群名称，默认为“Test Cluster”。
如果你有一个但节点的集群，则使用以下命令：

$ cassandra-cli -host localhost -port 9160

如果想连接多节点集群中的一个节点，可以使用以下命令:

$ cassandra-cli -host 110.123.4.5 -port 9160

或者，可以直接执行以下命令：

$ cassandra-cli

登录成功之后，可以看到：

Welcome to cassandra CLI.
Type 'help;' or '?' for help. Type 'quit;' or 'exit;' to quit.

你必须指定连接一个节点：

[default@unknown]connect localhost/9160;

Creating a Keyspace

[default@unknown] CREATE KEYSPACE demo;

下面的一个例子，创建一个叫demo的Keyspace,并且复制因子为1，使用SimpleStrategy复制替换策略。

[default@unknown] CREATE KEYSPACE demo with
        placement_strategy ='org.apache.cassandra.locator.SimpleStrategy'
        and strategy_options = [{replication_factor:1}];

你可以使用SHOW KEYSPACES来查看所有系统的和你创建的Keyspace

Use a keyspace

[default@unknown] USE demo;

Creating a Column Family

[default@demo] CREATE COLUMN FAMILY users
WITH comparator = UTF8Type
AND key_validation_class=UTF8Type
AND column_metadata = [
{column_name: full_name, validation_class: UTF8Type}
{column_name: email, validation_class: UTF8Type}
{column_name: state, validation_class: UTF8Type}
{column_name: gender, validation_class: UTF8Type}
{column_name: birth_year, validation_class: LongType}
];

我们使用demo keyspace创建了一个column family，其名称为users，并包括5个静态列：full_name，email,state,gender,birth_year.comparator, key_validation_class和validation_class，用于设置；列名称，行key的值，列值的编码。comparator还定义了列名称的排序方式。
下面命令创建一个名称为 blog_entry的动态column family，我们不需要定义列，而由应用程序稍后定义。

[default@demo] CREATE COLUMN FAMILY blog_entry WITH comparator = TimeUUIDType AND key_validation_class=UTF8Type AND default_validation_class = UTF8Type;

Creating a Counter Column Family

[default@demo] CREATE COLUMN FAMILY page_view_counts WITH
          default_validation_class=CounterColumnType
          AND key_validation_class=UTF8Type AND comparator=UTF8Type;

插入一行和计数列：

[default@demo] INCR page_view_counts['www.datastax.com'][home] BY 0;

增加计数：

[default@demo] INCR page_view_counts['www.datastax.com'][home] BY 1;

Inserting Rows and Columns

以下命令以一个特点的行key值插入列到users中

[default@demo] SET users['bobbyjo']['full_name']='Robert Jones';
[default@demo] SET users['bobbyjo']['email']='bobjones@gmail.com';
[default@demo] SET users['bobbyjo']['state']='TX';
[default@demo] SET users['bobbyjo']['gender']='M';
[default@demo] SET users['bobbyjo']['birth_year']='1975';

更新数据： set users['bobbyjo']['full_name'] = ‘Jack’;
获取数据： get users['bobbyjo'];
get命令用法参考：API#get_slice
查询数据： get users where gender= ‘M’;
下面命令在 blog_entry中创建了一行，其行key为“yomama”，并指定了一列：timeuuid()的值为 ‘I love my new shoes!’

[default@demo] SET blog_entry['yomama'][timeuuid()] = 'I love my new shoes!';

Reading Rows and Columns

使用List命令查询记录，默认查询100条记录

[default@demo] LIST users;

Cassandra 默认以16进制数组的格式存储数据为了返回可读的数据格式，可以指定编码：

ascii

bytes

integer (a generic variable-length integer type)

lexicalUUID

long

utf8

例如：

[default@demo] GET users[utf8('bobby')][utf8('full_name')];

你也可以使用ASSUME命令指定编码，例如，指定行key，行名称，行值显示ascii码格式：

[default@demo] ASSUME users KEYS AS ascii;
[default@demo] ASSUME users COMPARATOR AS ascii;
[default@demo] ASSUME users VALIDATOR AS ascii;

Setting an Expiring Column

例如，假设我们正在跟踪我们的用户，到期后10天的优惠券代码。我们可以定义coupon_code的列和设置该列的过期日期。例如：

[default@demo] SET users['bobbyjo'] [utf8('coupon_code')] = utf8('SAVE20') WITH ttl=864000;

自该列被设置值之后，经过10天或864,000秒后，其值将被标记为删除，不再由读操作返回。然而，请注意，直到Cassandra的处理过程完成，该值才会从硬盘中删除。

Indexing a Column

给birth_year添加一个二级索引：

[default@demo] UPDATE COLUMN FAMILY users
            WITH comparator = UTF8Type AND column_metadata =
            [{column_name: birth_year, validation_class: LongType, index_type: KEYS}];

由于该列被索引了，所以可以直接通过该列查询：

[default@demo] GET users WHERE birth_date = 1969;

Deleting Rows and Columns

删除yomama索引的coupon_code列：

[default@demo] DEL users ['yomama']['coupon_code'];
[default@demo] GET users ['yomama'];

或者删除整行：

[default@demo] DEL users ['yomama'];

Dropping Column Families and Keyspaces

[default@demo] DROP COLUMN FAMILY users;
[default@demo] DROP KEYSPACE demo;

For help

[default@unknown]help;

查看某一个命令的详细说明：

[default@unknown] help SET;

To Quit

[default@unknown]quit;

To Execute Script

bin/cassandra-cli -host localhost -port 9160 -f script.txt

参考文章

1.Getting Started Using the Cassandra CLI
2.CassandraCli

使用DataStax Community Edition安装Cassandra单节点

JavaChen — Fri, 06 Apr 2012 13:41:36 +0000

本文主要记录使用DataStax Community Edition安装Cassandra单节点的过程.配置单节点的Cassandra,是为了方便快速的了解学习Cassandra.

检查java环境

Cassandra由java编写,需要运行中jvm虚拟机之上.如果用于生产环境,则需要jre 1.6.0-19或更高版本.

1.检查是否安装java:

# java -version

如果你没有安装java,可以参考网上相关文章.这里主要记录在RHEL系统上安装jdk的方法.

2.安装jdk

下载Oracle JRE
1）修改执行权限:

$ cd /tmp
$ chmod a+x jre-6u25-linux-x64-rpm.bin

2）解压执行RPM文件,例如:

$ sudo ./jre-6u25-linux-x64-rpm.bin

这样JRE会安装在/usr/java/
3）配置Oracle JRE取代OpenJDK JRE
可以使用alternatives命令添加一个链接到Oracle JRE.

$ sudo alternatives --install /usr/bin/java java /usr/java/jre1.6.0_25/bin/java 20000

4）确认是否安装JRE

$ java -version
  java version "1.6.0_25"
  Java(TM) SE Runtime Environment (build 1.6.0_25-b06)
  Java HotSpot(TM) 64-Bit Server VM (build 20.0-b11, mixed mode)

如果OpenJDK JRE仍然被使用,可以使用alternatives命令切换到Oracle JRE.例如:

$ sudo alternatives --config java
There are 2 programs which provide 'java'.

Selection      Command
-----------------------------------------------
   1           /usr/lib/jvm/jre-1.6.0-openjdk.x86_64/bin/java
*+ 2           /usr/java/jre1.6.0_25/bin/java

在Linux系统上安装DataStax Community二进制文件

$ cd $HOME
$ mkdir datas
$ cd datas

2.下载cassandra(必须的)和OpsCenter包(可选的)

$ wget http://downloads.datastax.com/community/dsc.tar.gz
$ wget http://downloads.datastax.com/community/opscenter.tar.gz
$ wget http://downloads.datastax.com/community/dsc-1.0.1-demo-bin.tar.gz

3.解压

$ tar -xzvf dsc.tar.gz
$ tar -xzvf opscenter.tar.gz
$ tar -xzvf dsc-1.0.1-demo-bin.tar.gz
$ rm *.tar.gz

4.设置环境变量

1)编辑 .bashrc

 vi $HOME/.bashrc

2)添加以下代码

export CASSANDRA_HOME=$HOME/datas/dsc_package_name
export DSCDEMO_HOME=$HOME/datas/dsc-1.0.1/demos/portfolio_manager
export OPSC_HOME=$HOME/datas/opscenter_package_name
export PATH="$PATH:$CASSANDRA_HOME/bin:$DSCDEMO_HOME/bin:$OPSC_HOME/bin"

注意替换dsc_package_name和opscenter_package_name
3)保存退出
4)使该文件生效

source $HOME/.bashrc

5.创建保存Cassandra数据的文件和日志目录

$ mkdir $HOME/datas/cassandra-data

配置并启动单节点

1.编辑配置环境

修改$CASSANDRA_HOME/conf/cassandra.yaml

$ sed -i -e "s,initial_token:,initial_token: 0," \
  $CASSANDRA_HOME/conf/cassandra.yaml

$ sed -i -e "s,- /var/lib/cassandra/data,- $HOME/datastax/cassandra-data," \
  $CASSANDRA_HOME/conf/cassandra.yaml

$ sed -i -e "s,saved_caches_directory: /var/lib/cassandra/saved_caches, \
  saved_caches_directory: $HOME/datastax/cassandra-data/saved_caches," \
  $CASSANDRA_HOME/conf/cassandra.yaml

$ sed -i -e "s,commitlog_directory: /var/lib/cassandra/commitlog,commitlog_directory: \
  $HOME/datastax/cassandra-data/commitlog," $CASSANDRA_HOME/conf/cassandra.yaml

2.设置日志文件位置

修改：$CASSANDRA_HOME/conf/log4j-server.properties

$ sed -i -e "s,log4j.appender.R.File=/var/log/cassandra/system.log, \
  log4j.appender.R.File=$HOME/datastax/cassandra-data/system.log," \
  $CASSANDRA_HOME/conf/log4j-server.properties

3.配置DataStax示例程序指向Cassandra的安装位置

$ sed -i -e "s,/usr/share/cassandra,$HOME/datastax/," \
  $DSCDEMO_HOME/bin/pricer

4.后台启动Cassandra

$ cassandra

5.检查cassandra环是否在运行

$ nodetool ring -h localhost

6.运行Portfolio Demo示例程序

1)进入Portfolio目录

$ cd $DSCDEMO_HOME

2)运行 ./bin/pricer工具生成数据

./bin/pricer --help

下面代码生成100天的历史数据

./bin/pricer -o INSERT_PRICES
./bin/pricer -o UPDATE_PORTFOLIOS
./bin/pricer -o INSERT_HISTORICAL_PRICES -n 100

3)启动服务(必须在$DSCDEMO_HOME/website目录下启动)

$ cd $DSCDEMO_HOME/website
$ java -jar start.jar &

4)浏览程序 http://localhost:8983/portfolio

参考文章

1.Installing a Single-Node Instance of Cassandra

哈希表

JavaChen — Mon, 26 Mar 2012 13:24:28 +0000

定义
一般的线性表、树，数据在结构中的相对位置是随机的，即和记录的关键字之间不存在确定的关系，因此，在结构中查找记录时需进行一系列和关键字的比较。这一类查找方法建立在“比较“的基础上，查找的效率依赖于查找过程中所进行的比较次数。若想能直接找到需要的记录，必须在记录的存储位置和它的关键字之间建立一个确定的对应关系f，使每个关键字和结构中一个唯一的存储位置相对应，这就是哈希表。

哈希表又称散列表。
哈希表存储的基本思想是：以数据表中的每个记录的关键字 k为自变量，通过一种函数H(k)计算出函数值。把这个值解释为一块连续存储空间（即数组空间）的单元地址（即下标），将该记录存储到这个单元中。在此称该函数H为哈希函数或散列函数。按这种方法建立的表称为哈希表或散列表。
哈希表是一种数据结构，它可以提供快速的插入操作和查找操作。
哈希表是基于数组结构实现的，所以它也存在一些缺点：数组创建后难于扩展，某些哈希表被基本填满时，性能下降得非常严重。这个问题是哈希表不可避免的，即冲突现象：对不同的关键字可能得到同一哈希地址。所以在以下情况下可以优先考虑使用哈希表： 不需要有序遍历数据，并且可以提前预测数据量的大小。

冲突
理想情况下，哈希函数在关键字和地址之间建立了一个一一对应关系，从而使得查找只需一次计算即可完成。由于关键字值的某种随机性，使得这种一一对应关系难以发现或构造。因而可能会出现不同的关键字对应一个存储地址。即k1≠k2，但H(k1)=H(k2)，这种现象称为冲突。
把这种具有不同关键字值而具有相同哈希地址的对象称同义词。在大多数情况下，冲突是不能完全避免的。这是因为所有可能的关键字的集合可能比较大，而对应的地址数则可能比较少。
对于哈希技术，主要研究两个问题：
（1）如何设计哈希函数以使冲突尽可能少地发生。
（2）发生冲突后如何解决。

哈希函数的构造方法
构造好的哈希函数的方法，应能使冲突尽可能地少，因而应具有较好的随机性。这样可使一组关键字的散列地址均匀地分布在整个地址空间。根据关键字的结构和分布的不同，可构造出许多不同的哈希函数。
1．直接定址法
直接定址法是以关键字k本身或关键字加上某个数值常量c作为哈希地址的方法。
该哈希函数H(k)为：
H(k)=k+c (c≥0)
这种哈希函数计算简单，并且不可能有冲突发生。当关键字的分布基本连续时，可使用直接定址法的哈希函数。否则，若关键字分布不连续将造成内存单元的大量浪费

2．除留余数法

取关键字k除以哈希表长度m所得余数作为哈希函数地址的方法。即：
H(k)=k％m
这是一种较简单、也是较常见的构造方法。
这种方法的关键是选择好哈希表的长度m。使得数据集合中的每一个关键字通过该函数转化后映射到哈希表的任意地址上的概率相等。
理论研究表明，在m取值为素数（质数）时，冲突可能性相对较少。

3．平方取中法
取关键字平方后的中间几位作为哈希函数地址（若超出范围时，可再取模）。
设有一组关键字ABC，BCD,CDE，DEF，……其对应的机内码如表所示。假定地址空间的大小为1000，编号为0-999。现按平方取中法构造哈希函数，则可取关键字机内码平方后的中间三位作为存储位置。

4．折叠法
这种方法适合在关键字的位数较多，而地址区间较小的情况。
将关键字分隔成位数相同的几部分。然后将这几部分的叠加和作为哈希地址（若超出范围，可再取模）。
例如，假设关键字为某人身份证号码430104681015355，则可以用4位为一组进行叠加。即有5355+8101+1046+430=14932，舍去高位。则有H(430104681015355)=4932 为该身份证关键字的哈希函数地址。

5．数值分析法
若事先知道所有可能的关键字的取值时，可通过对这些关键字进行分析，发现其变化规律，构造出相应的哈希函数。
例：对如下一组关键字通过分析可知：每个关键字从左到右的第l，2，3位和第6位取值较集中，不宜作哈希地址。剩余的第4，5，7和8位取值较分散，可根据实际需要取其中的若干位作为哈希地址。

6. 随机数法
选择一个随机函数，取关键字的随机函数值为它的哈希地址，即H(key)＝random(key)，其中random为随机函数。

7. 斐波那契（Fibonacci）散列法
平方散列法的缺点是显而易见的，所以我们能不能找出一个理想的乘数，而不是拿value本身当作乘数呢？答案是肯定的。
1，对于16位整数而言，这个乘数是40503
2，对于32位整数而言，这个乘数是2654435769
3，对于64位整数而言，这个乘数是11400714819323198485
这几个“理想乘数”是如何得出来的呢？这跟一个法则有关，叫黄金分割法则，而描述黄金分割法则的最经典表达式无疑就是著名的斐波那契数列，如果你还有兴趣，就到网上查找一下“斐波那契数列”等关键字，我数学水平有限，不知道怎么描述清楚为什么，另外斐波那契数列的值居然和太阳系八大行星的轨道半径的比例出奇吻合，很神奇，对么？
对我们常见的32位整数而言，公式：
index = (value * 2654435769) >> 28
如果用这种斐波那契散列法的话，那我上面的图就变成这样了：

冲突的解决方法
假设哈希表的地址范围为0～m-l，当对给定的关键字k，由哈希函数H(k)算出的哈希地址为i（0≤i≤m-1）的位置上已存有记录，这种情况就是冲突现象。处理冲突就是为该关键字的记录找到另一个“空”的哈希地址。即通过一个新的哈希函数得到一个新的哈希地址。如果仍然发生冲突，则再求下一个，依次类推。直至新的哈希地址不再发生冲突为止。
常用的处理冲突的方法有开放地址法、链地址法两大类
1．开放定址法
用开放定址法处理冲突就是当冲突发生时，形成一个地址序列。沿着这个序列逐个探测，直到找出一个“空”的开放地址。将发生冲突的关键字值存放到该地址中去。
如 Hi=(H(k)+d（i）) % m, i=1，2，…k (k 其中H(k)为哈希函数，m为哈希表长，d为增量函数，d(i)=dl，d2…dn-l。
增量序列的取法不同，可得到不同的开放地址处理冲突探测方法。

1）线性探测法
线性探测法是从发生冲突的地址（设为d）开始，依次探查d+l，d+2，…m-1（当达到表尾m-1时，又从0开始探查）等地址，直到找到一个空闲位置来存放冲突处的关键字。
若整个地址都找遍仍无空地址，则产生溢出。
线性探查法的数学递推描述公式为：
d0=H(k)
di=(di-1+1)% m (1≤i≤m-1)

【例】已知哈希表地址区间为0～10，给定关键字序列（20，30，70，15，8，12，18，63，19）。哈希函数为H(k)=k％ll，采用线性探测法处理冲突，则将以上关键字依次存储到哈希表中。试构造出该哈希表，并求出等概率情况下的平均查找长度。
假设数组为A, 本题中各元素的存放过程如下：
H(20)=9，可直接存放到A[9]中去。
H(30)=8，可直接存放到A[8]中去。
H(70)=4，可直接存放到A[4]中去。
H(15)=4，冲突；
d0=4
d1=(4+1)%11=5，将15放入到A[5]中。
H(8)=8，冲突；
d0=8
d1=(8+1)%11=9，仍冲突；
d2=(8+2)%11=10，将8放入到A[10]中。

在等概率情况下成功的平均查找长度为：
（1*5+2+3+4+6）/9 =20/9
利用线性探查法处理冲突容易造成关键字的堆积问题。这是因为当连续n个单元被占用后，再散列到这些单元上的关键字和直接散列到后面一个空闲单元上的关键字都要占用这个空闲单元，致使该空闲单元很容易被占用，从而发生非同义冲突。造成平均查找长度的增加。
为了克服堆积现象的发生，可以用下面的方法替代线性探查法。

（2）平方探查法
设发生冲突的地址为d，则平方探查法的探查序列为：d+12，d+22，…直到找到一个空闲位置为止。
平方探查法的数学描述公式为：
d0=H(k)
di=(d0+i2) % m (1≤i≤m-1)
在等概率情况下成功的平均查找长度为：
（1*4+2*2+3+4+6）/9 =21/9
平方探查法是一种较好的处理冲突的方法，可以避免出现堆积问题。它的缺点是不能探查到哈希表上的所有单元，但至少能探查到一半单元。
例如，若表长m=13，假设在第3个位置发生冲突，则后面探查的位置依次为4、7、12、6、2、0，即可以探查到一半单元。
若解决冲突时，探查到一半单元仍找不到一个空闲单元。则表明此哈希表太满，需重新建立哈希表。

2．链地址法
用链地址法解决冲突的方法是：把所有关键字为同义词的记录存储在一个线性链表中，这个链表称为同义词链表。并将这些链表的表头指针放在数组中（下标从0到m-1）。这类似于图中的邻接表和树中孩子链表的结构。
由于在各链表中的第一个元素的查找长度为l，第二个元素的查找长度为2，依此类推。因此，在等概率情况下成功的平均查找长度为：
(1*5+2*2+3*l+4*1)／9=16／9

虽然链地址法要多费一些存储空间，但是彻底解决了“堆积”问题，大大提高了查找效率。

3. 再哈希法：
Hi=R Hi(key)，
R Hi均是不同的哈希函数，即在同义词产生地址冲突时计算另一个哈希函数地址，直到冲突不再发生。这种方法不易产生聚集，但增加了计算的时间。

4.建立一个公共溢出区
这也是处理冲突的一种方法。
假设哈希函数的值域为[0，m-1]，则设向量HashTable[0…m-1]为基本表，每个分量存放一个记录，另设立向量OverTable[0．．v]为溢出表。所有关键字和基本表中关键字为同义词的记录，不管它们由哈希函数得到的哈希地址是什么，一旦发生冲突，都填入溢出表。

哈希表的查找及性能分析
哈希法是利用关键字进行计算后直接求出存储地址的。当哈希函数能得到均匀的地址分布时，不需要进行任何比较就可以直接找到所要查的记录。但实际上不可能完全避免冲突，因此查找时还需要进行探测比较。
在哈希表中，虽然冲突很难避免，但发生冲突的可能性却有大有小。这主要与三个因素有关。
第一:与装填因子有关
所谓装填因子是指哈希表中己存入的元素个数n与哈希表的大小m的比值，即f=n/m。
当f越小时，发生冲突的可能性越小，越大（最大为1）时，发生冲突的可能性就越大。
第二:与所构造的哈希函数有关
若哈希函数选择得当，就可使哈希地址尽可能均匀地分布在哈希地址空间上，从而减少冲突的发生。否则，若哈希函数选择不当，就可能使哈希地址集中于某些区域，从而加大冲突的发生。
第三:与解决冲突的哈希冲突函数有关
哈希冲突函数选择的好坏也将减少或增加发生冲突的可能性。

思考
哈希算法的基本思想是什么？
哈希算法的存储效率主要取决于什么？
哈希算法解决冲突的方式有哪些？

java 哈希表实现
java中哈希表的实现有多个，比如hashtable，hashmap，currenthashmap，也有其他公司实现的，如apache的FashHashmap,google的mapmarker,high-lib的NonBlockingHashMap,其中差别是：

hastable:线程同步，比较慢
hashmap：线程不同步，不同步时候读写最快（但是不能保证读到最新数据），加同步修饰的时候，读写比较慢
currenthashmap:线程同步，默认分成16块，写入的时候只锁要写入的快，读取一般不锁块，只有读到空的时候，才锁块，性能比较高，处于hashmap同步和不同步之间。
fashhashmap:apache collection 将HashMap封装，读取的时候copy一个新的，写入比较慢（尤其是存入比较多对象每写一次都要复制一个对象，超级慢），读取快
NoBlockingHashMap： high_scale_lib实现写入慢，读取较快
MiltigetHashMap，MapMaker google collection，和CurrentHashMap性能相当，功能比较全，可以设置超时，重复的可以保存成list

参考文章
http://course.onlinesjtu.com/mod/page/view.php?id=423
http://www.cnblogs.com/bigshuai/articles/2398116.html

扩展阅读
Hash碰撞的拒绝式服务攻击 http://blog.jobbole.com/11454/
Berkeley DB Hash、Btree、Queue、Recno选择 http://www.webzone8.com/article/560.html
Java Hashtable http://javapapers.com/core-java/java-hashtable/#&slider1=1
Java Hashtable分析 http://kantery.iteye.com/blog/441755

如何在kettle4.2上面实现cassandra的输入与输出

JavaChen — Fri, 23 Mar 2012 12:02:07 +0000

这是在QQ群里有人问到的一个问题. 如何在pdi-ce-4.2.X-stable上面实现cassandra的输入与输出,或是实现hadoop,hbase,mapreduce,mongondb的输入输出? 在kettle中实现cassandra的输入与输出有以下两种方式: 第一种方式:自己编写cassandra输入输出组件第二种方式:使用别人编写好的插件,将其集成进来当然还有第三种方法,直接使用4.3版本的pdi. 第一种方法需要对cassandra很熟悉编写插件才可以做到,第二种方法可以通过拷贝pdi-ce-big-data-4.3.0-preview中的文件来完成. 在pdi-ce-big-data-4.3.0-preview(下载页面)版本中可以看到kettle开始支持cassandra的输入和输出. 故我们可以将4.3版本中的cassandra相关文件拷贝到4.2.1中.我使用的是pdi-ce-4.2.1-stable. 在pdi-ce-big-data-4.3.0-preview/plugins目录下有以下目录或文件: . |-- databases |-- hour-partitioner.jar |-- jobentries |-- kettle-gpload-plugin |-- kettle-hl7-plugin |-- kettle-palo-plugin |-- pentaho-big-data-plugin |-- repositories |-- spoon |-- steps `-- versioncheck pentaho-big-data-plugin目录是kettle对大数据的集成与支持,我们只需要将该目录拷贝到pdi-ce-4.2.1-stable/plugins目录下即可.最后的结构如下 . |-- databases |-- hour-partitioner.jar |-- jobentries | `-- DummyJob | |-- DPL.png | |-- dummyjob.jar | `-- plugin.xml |-- pentaho-big-data-plugin [...]

您可能也喜欢：
kettle中定义错误处理	如何在kettle4.2上面实现casscandra的输入与输出	The execution process of kettle’s job	如何在kettle4.2上面实现cassandra的输入与输出	kettle进行数据迁移遇到的问题
无觅

您可能也喜欢：
如何在kettle4.2上面实现cassandra的输入与输出	使用DataStax Community Edition安装Cassandra单节点	OpenNebula的架构	生日快乐！	毕业纪念册完结了
无觅

您可能也喜欢：
Getting Started Using the Cassandra CLI	如何在kettle4.2上面实现cassandra的输入与输出	Centos上安装 OpenNebula Management Console	MyEclipse 反编译插件jad安装方法	JavaScript模态窗口和非模态窗口
无觅

您可能也喜欢：
commons-lang-1.0中的EqualsBuilder和HashCodeBuilder	OpenNebula的架构	生日快乐！	毕业纪念册完结了	用ExtJs制作登陆界面
无觅

您可能也喜欢：
如何在kettle4.2上面实现casscandra的输入与输出	kettle中定义错误处理	The execution process of kettle’s job	Kettle运行作业之前的初始化过程	Kettle dependency management
无觅

JavaChen on Java

Kettle dependency management

Getting Started Using the Cassandra CLI

Starting the CLI

Creating a Keyspace

Use a keyspace

Creating a Column Family

Creating a Counter Column Family

Inserting Rows and Columns

Reading Rows and Columns

Setting an Expiring Column

Indexing a Column

Deleting Rows and Columns

Dropping Column Families and Keyspaces

For help

To Quit

To Execute Script

参考文章

使用DataStax Community Edition安装Cassandra单节点

检查java环境

1.检查是否安装java:

2.安装jdk

在Linux系统上安装DataStax Community二进制文件

1.在用户目录创建一个目录,如datas

2.下载cassandra(必须的)和OpsCenter包(可选的)

3.解压

4.设置环境变量

5.创建保存Cassandra数据的文件和日志目录

配置并启动单节点

1.编辑配置环境

2.设置日志文件位置

3.配置DataStax示例程序指向Cassandra的安装位置

4.后台启动Cassandra

5.检查cassandra环是否在运行

6.运行Portfolio Demo示例程序

参考文章

哈希表

如何在kettle4.2上面实现cassandra的输入与输出