由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Java版 - 需求建议,关于NOSQL
相关主题
越来越讨厌relational database了为啥RDBMS只用一个Index?
一般来说MYSQL可以handle多大的数据量呢?MongoDB for Java Developers Starts Today
现在感觉到为什么大家说mongo有很多问题了mongodb自带的map/reduce跟hadoop的有什么关联吗?
问Zhaoce个问题总结并分享一下工作中学到的各种技术
请教一个multi key hashmap的问题Damn, love Cassandra
听说这里big data大拿多, MongoDB和Cassandra,云计算如何应用到传统的web server应用
听说HBase很难用BIgData对job market的影响?
哪里用NoSQL比较合适?请教个ec2 + nosql 的问题
相关话题的讨论汇总
话题: query话题: mongo话题: nosql话题: cassandra话题: mongodb
进入Java版参与讨论
1 (共1页)
p*****2
发帖数: 21240
1
我需要query,并且需要比较频繁的update数据,什么样的NOSQL比较好呢?
Mongo的query支持很好,但是write lock影响有多大呀?我这里写操作比较多,但是可
以控制到只是一个process写,但是不知道对其他process读影响有多大。
g**e
发帖数: 6127
2
HBase?

【在 p*****2 的大作中提到】
: 我需要query,并且需要比较频繁的update数据,什么样的NOSQL比较好呢?
: Mongo的query支持很好,但是write lock影响有多大呀?我这里写操作比较多,但是可
: 以控制到只是一个process写,但是不知道对其他process读影响有多大。

e*****t
发帖数: 1005
3
写多,但是需不需要上multi nodes?如果需要,上cassandra.

【在 p*****2 的大作中提到】
: 我需要query,并且需要比较频繁的update数据,什么样的NOSQL比较好呢?
: Mongo的query支持很好,但是write lock影响有多大呀?我这里写操作比较多,但是可
: 以控制到只是一个process写,但是不知道对其他process读影响有多大。

p*****2
发帖数: 21240
4

query怎么样呀?

【在 g**e 的大作中提到】
: HBase?
p*****2
发帖数: 21240
5

cassandra query是不是支持的不行?
目前一个node就够了,以后可能加node。

【在 e*****t 的大作中提到】
: 写多,但是需不需要上multi nodes?如果需要,上cassandra.
g*****g
发帖数: 34805
6
NoSQL means not only SQL. Before you jump on what NoSQL is best for you, you
may want to make sure SQL is not good enough for you. Most RDMBS can handle
frequent write, to the upward of 10K writes per second on a good box
without too much hassle, good enough for most applications. Of course if you
have very high availability requirement, that may be a different story.

【在 p*****2 的大作中提到】
: 我需要query,并且需要比较频繁的update数据,什么样的NOSQL比较好呢?
: Mongo的query支持很好,但是write lock影响有多大呀?我这里写操作比较多,但是可
: 以控制到只是一个process写,但是不知道对其他process读影响有多大。

w**z
发帖数: 8232
7
这个说的在你在理。我们用Cassandra 是因为数据量大,MySQL shard 不好扩容量。
request 也就1k /sec

you
handle
you

【在 g*****g 的大作中提到】
: NoSQL means not only SQL. Before you jump on what NoSQL is best for you, you
: may want to make sure SQL is not good enough for you. Most RDMBS can handle
: frequent write, to the upward of 10K writes per second on a good box
: without too much hassle, good enough for most applications. Of course if you
: have very high availability requirement, that may be a different story.

e*****t
发帖数: 1005
8
当然还有一种可能是人家要做RDD: Resume Driven Development. haha

you
handle
you

【在 g*****g 的大作中提到】
: NoSQL means not only SQL. Before you jump on what NoSQL is best for you, you
: may want to make sure SQL is not good enough for you. Most RDMBS can handle
: frequent write, to the upward of 10K writes per second on a good box
: without too much hassle, good enough for most applications. Of course if you
: have very high availability requirement, that may be a different story.

g*****g
发帖数: 34805
9
Out of box sharding, Multi-DC support, schemeless are all reasons Cassandra
is attractive. But it does suck on query and makes developer's life
difficult for even basic queries. You have to weight the pros and cons. A
hybrid approach is also more common than a pure NoSQL one.

【在 w**z 的大作中提到】
: 这个说的在你在理。我们用Cassandra 是因为数据量大,MySQL shard 不好扩容量。
: request 也就1k /sec
:
: you
: handle
: you

t*******e
发帖数: 684
10
MongoDB is not for write-intensive jobs, since the write lock is global.

【在 p*****2 的大作中提到】
: 我需要query,并且需要比较频繁的update数据,什么样的NOSQL比较好呢?
: Mongo的query支持很好,但是write lock影响有多大呀?我这里写操作比较多,但是可
: 以控制到只是一个process写,但是不知道对其他process读影响有多大。

相关主题
听说这里big data大拿多, MongoDB和Cassandra,为啥RDBMS只用一个Index?
听说HBase很难用MongoDB for Java Developers Starts Today
哪里用NoSQL比较合适?mongodb自带的map/reduce跟hadoop的有什么关联吗?
进入Java版参与讨论
p*****2
发帖数: 21240
11

you
handle
you
多谢大牛。我们的数据是schemaless, 而且不需要join,所以上来就没考虑SQL。我昨
天做了一个试验,发现mongo的写基本上也是10K/sec。看来还不错。

【在 g*****g 的大作中提到】
: NoSQL means not only SQL. Before you jump on what NoSQL is best for you, you
: may want to make sure SQL is not good enough for you. Most RDMBS can handle
: frequent write, to the upward of 10K writes per second on a good box
: without too much hassle, good enough for most applications. Of course if you
: have very high availability requirement, that may be a different story.

p*****2
发帖数: 21240
12

貌似2.2已经不是了。

【在 t*******e 的大作中提到】
: MongoDB is not for write-intensive jobs, since the write lock is global.
t*******e
发帖数: 684
13
Not sure. If you are looking for extreme speed and ad-hoc query, mongodb may
be your choice.

【在 p*****2 的大作中提到】
:
: 貌似2.2已经不是了。

u****s
发帖数: 2186
14
this is true.
我们的系统在用mongoDB,感觉还行。
我们跟10gen的contract里含几个free的下mongodb essential training.准备去更系统
的学一下。training is half for developer,half for DBA.

【在 p*****2 的大作中提到】
:
: 貌似2.2已经不是了。

P****i
发帖数: 12972
15
db level lock, still bad

【在 p*****2 的大作中提到】
:
: 貌似2.2已经不是了。

p*****2
发帖数: 21240
16

昨天测试,写操作,每秒10K,貌似还好吧?同一个db。

【在 P****i 的大作中提到】
: db level lock, still bad
h*****a
发帖数: 1718
17
Mongo数据量大了performance下降很快

【在 p*****2 的大作中提到】
:
: 昨天测试,写操作,每秒10K,貌似还好吧?同一个db。

w**z
发帖数: 8232
18
the whole data set needs to fit in the memory.

【在 h*****a 的大作中提到】
: Mongo数据量大了performance下降很快
w**z
发帖数: 8232
19
C* is better with write heavy use case.

【在 p*****2 的大作中提到】
:
: 昨天测试,写操作,每秒10K,貌似还好吧?同一个db。

p*****2
发帖数: 21240
20

大牛有什么好推荐的吗?我感觉我的数据量不会太大。应该最多1M个纪录。而且可以
sharding吧?

【在 h*****a 的大作中提到】
: Mongo数据量大了performance下降很快
相关主题
总结并分享一下工作中学到的各种技术BIgData对job market的影响?
Damn, love Cassandra请教个ec2 + nosql 的问题
云计算如何应用到传统的web server应用请问:关于做大数据处理和mongoDB的工作,前景如何
进入Java版参与讨论
p*****2
发帖数: 21240
21

query呢?

【在 w**z 的大作中提到】
: C* is better with write heavy use case.
p*****2
发帖数: 21240
22

嗯。我的想法就是要内存装的下。不行就做partition

【在 w**z 的大作中提到】
: the whole data set needs to fit in the memory.
g*****g
发帖数: 34805
23
If you don't have real time requirement, you may use elastic search for
query.

【在 p*****2 的大作中提到】
:
: 嗯。我的想法就是要内存装的下。不行就做partition

p*****2
发帖数: 21240
24

ES跟cassandra integration怎么样呢?
我其实还真比较了ES跟mongo,发现ES的write比mongo慢10倍。直接用不适合我的
scenario。看了一些ES的river,貌似没有官方支持cassandra的driver。

【在 g*****g 的大作中提到】
: If you don't have real time requirement, you may use elastic search for
: query.

W********n
发帖数: 254
25
mongodb到目前为止不支持full text search. 你需要用其他的index server.
p*****2
发帖数: 21240
26

嗯。不过我们倒是没有这个需求。

【在 W********n 的大作中提到】
: mongodb到目前为止不支持full text search. 你需要用其他的index server.
w**z
发帖数: 8232
27
这里讨论过了。有具体问题吗?
http://www.mitbbs.com/article_t/Java/31141555.html

【在 p*****2 的大作中提到】
:
: 嗯。不过我们倒是没有这个需求。

p*****2
发帖数: 21240
28

就是说query最好的办法是什么,效率如何

【在 w**z 的大作中提到】
: 这里讨论过了。有具体问题吗?
: http://www.mitbbs.com/article_t/Java/31141555.html

w**z
发帖数: 8232
29
Look at
https://github.com/Netflix/astyanax/wiki
You need to have a use case, then work on query, then schema.

【在 p*****2 的大作中提到】
:
: 就是说query最好的办法是什么,效率如何

p*****2
发帖数: 21240
30

多谢大牛。先上M,看以后有没有机会上C

【在 w**z 的大作中提到】
: Look at
: https://github.com/Netflix/astyanax/wiki
: You need to have a use case, then work on query, then schema.

相关主题
database 的线程安全操作一般来说MYSQL可以handle多大的数据量呢?
About Hibernate现在感觉到为什么大家说mongo有很多问题了
越来越讨厌relational database了问Zhaoce个问题
进入Java版参与讨论
c****e
发帖数: 1453
31
2.4就有了。数据量不大的话,DB level lock影响不大。

【在 p*****2 的大作中提到】
:
: 多谢大牛。先上M,看以后有没有机会上C

P****i
发帖数: 12972
32
C*跟mongo不是一个路子,一个是column store,一个doc store
如果你用mongo是因为数据比较复杂,比如有很多层嵌套,C*就不合适了,虽然它有sup
ercolumn

【在 p*****2 的大作中提到】
:
: 多谢大牛。先上M,看以后有没有机会上C

p*****2
发帖数: 21240
33

sup
是。我的数据量不大。不过我们这里有比较大的数据量也是往mongo里扔,感觉就不是
很合适了。可能cassandra更合适。

【在 P****i 的大作中提到】
: C*跟mongo不是一个路子,一个是column store,一个doc store
: 如果你用mongo是因为数据比较复杂,比如有很多层嵌套,C*就不合适了,虽然它有sup
: ercolumn

p*****2
发帖数: 21240
34

you
handle
you
大牛说说mysql到底有啥优势呀?
1. transaction
2. join
3. mature?

【在 g*****g 的大作中提到】
: NoSQL means not only SQL. Before you jump on what NoSQL is best for you, you
: may want to make sure SQL is not good enough for you. Most RDMBS can handle
: frequent write, to the upward of 10K writes per second on a good box
: without too much hassle, good enough for most applications. Of course if you
: have very high availability requirement, that may be a different story.

g**e
发帖数: 6127
35
我觉得还有index

【在 p*****2 的大作中提到】
:
: you
: handle
: you
: 大牛说说mysql到底有啥优势呀?
: 1. transaction
: 2. join
: 3. mature?

w**z
发帖数: 8232
36
transaction + query ability.

【在 g**e 的大作中提到】
: 我觉得还有index
p*****2
发帖数: 21240
37

index跟mongo的index比优势大在哪里呀?省内存吗?

【在 g**e 的大作中提到】
: 我觉得还有index
p*****2
发帖数: 21240
38

如果一个表的话,query主要比mongo强大在哪里呢?貌似mongo的query也跟SQL差不多
呀。

【在 w**z 的大作中提到】
: transaction + query ability.
w**z
发帖数: 8232
39
不是很熟Mongo,就不乱说.
两年前参加一个Mongo conference好像它刚开始有 Aggregation Framework,
http://docs.mongodb.org/manual/core/aggregation/
不知道performance 如何,但应该比不上 RDMS.

【在 p*****2 的大作中提到】
:
: 如果一个表的话,query主要比mongo强大在哪里呢?貌似mongo的query也跟SQL差不多
: 呀。

1 (共1页)
进入Java版参与讨论
相关主题
请教个ec2 + nosql 的问题请教一个multi key hashmap的问题
请问:关于做大数据处理和mongoDB的工作,前景如何听说这里big data大拿多, MongoDB和Cassandra,
database 的线程安全操作听说HBase很难用
About Hibernate哪里用NoSQL比较合适?
越来越讨厌relational database了为啥RDBMS只用一个Index?
一般来说MYSQL可以handle多大的数据量呢?MongoDB for Java Developers Starts Today
现在感觉到为什么大家说mongo有很多问题了mongodb自带的map/reduce跟hadoop的有什么关联吗?
问Zhaoce个问题总结并分享一下工作中学到的各种技术
相关话题的讨论汇总
话题: query话题: mongo话题: nosql话题: cassandra话题: mongodb