T*****w
发帖数: 802 | 1 多谢楼上的讨论，清楚多了
1) Markov process is about entire probability distribution, which is
independent with history before time s.
2) Martingale is about expectation ONLY (not the distribution), which
depends only on time s, not the earlier time.
再补充一些网上看到的例子:
【Markov but Not a martingale】
1. A biased coin (scoring +1 for H, -1 for T). Not a martingale, but
still markov
2.dX_t = a dt + \sigma dW_t is Markov but is not a martingale.
【Martingale but not a Markov process】
1. A fair coin, but more complex ru... 阅读全帖 |
|
a***n
发帖数: 3 | 2 我的理解：
Monte Carlo method是一般意义的随机模拟方法，它首先得抽样，再做统计计算，估
计期望。
根据抽样方式的不同，可以对monte carlo分类。如，常见的是简单随机抽样，也即iid
方式，这也就是大众理解的monte carlo方法，如用来计算PI值的积分模拟方法。当不
是iid方式，也就是说样本不独立，同分布也难定，那种类就很多，较简单的是，抽样
是对Markov Chain 特征的总体，这些样本在较短时间内不独立，但充分长时间内的样
本之间是独立的，当然前提条件是这个Markov Chain 是稳态的，也即能达到统计物理
上的平衡。对Markov Chain 抽样不能用简单的类似求PI值一样的方式，而常采用
Metropolis抽样方式，首先模拟总体生成一个满足要求的Markov Chain，再对这个链进
行抽样，再做统计计算，当然还得先对这些来自Markov Chain的样本进行关联性分析。
这种Monte Carlo方法就是Markov Chain Monte Carlo。
Markov Chain中的每个微观态只和前一个态概率关联，以其他历史态独立， |
|
z****g
发帖数: 1978 | 3 OK, if say general markov process, I am wrong with this.
However, I think the definition of markov process is clear enough to say
that markov chain has finite memory on the path, so that any length of
delay can be embedded into a vector as lag-one markov process. So any
martingale with infinite memory is not a markov process. |
|
o****r
发帖数: 57 | 4 正确描述Markov Chain应该是用State probabilities和transition probabilites.
你说的dropping and blocking probability，可能是通过Markov Chain算出来的实际
参数。
打个部分， 有一个很简单的Markov Chain， 只有2个状态： A和B.
它一共有以下变量：
state probabilities: SA, SB.表明任何一个适合系统处于A或B的概率。
transition probabilities:
（1） PAB：由A向B转变的概率。
（2）PAA：停留在A的概率。
（3）PBA:由B向A转变的概率。
(4)PBB:停留在B的概率.
系统方程：
SA+SB=1;
SA*PAB+SB*PBB=SB;
SB*PBA+SA*PAA=SA;
PAB+PAA=1;
PBA+PBB=1;
如果事先已经知道SA,SB,PAB,PBA,PAA,PBB这些参数的一些值，就很容易通过以上系统
方程算出所有参数的数值。
对于比较复杂的Markov Chain，得出的系统方程可能很复杂，可以用Matla |
|
T*****w
发帖数: 802 | 5 好像也是以前MS的面試題了
Given an example of a martingale that is not a Markov process and an example
of a Markov process that is not a martingale
我在mathematically 能看出兩個的區別，但是班上大牛能不能給個清楚的解釋, 為什
麼兩個其實沒有關系了。 我怎麼覺得從定義上理解，Martingale 是Markov Process的一個
特例呢？ 去構造example的思路是什麼？
Markov Process：最重要的特點就是future is independent with history before time s!
Martingale 最重要的特點就是 driftless, ， 但是 it may depend on the history Ft?
我比較在和漿糊。。。
多謝～ |
|
j******a
发帖数: 1582 | 6 【 以下文字转载自 Mathematics 讨论区 】
发信人: jinyasha (恋爱无能星人), 信区: Mathematics
标 题: 谁能推荐个Markov Process的Fluid Limit的参考资料
发信站: BBS 未名空间站 (Wed Sep 29 09:25:08 2010, 美东)
Markov Process的Fluid Limit或者Fluid Model
谁能给推荐个参考资料
Textbook, Lecture Notes, Seminar Paper之类的都可以
浅显点比较好，最好有不少例子演示具体怎么从Markov Process转化出Fluid Limit/
Fluid Model
如果谁有现成的电子文档能发信箱，那就更好了
多谢 |
|
j******a
发帖数: 1582 | 7 【 以下文字转载自 Mathematics 讨论区 】
发信人: jinyasha (恋爱无能星人), 信区: Mathematics
标 题: 谁能推荐个Markov Process的Fluid Limit的参考资料
发信站: BBS 未名空间站 (Wed Sep 29 09:25:08 2010, 美东)
Markov Process的Fluid Limit或者Fluid Model
谁能给推荐个参考资料
Textbook, Lecture Notes, Seminar Paper之类的都可以
浅显点比较好，最好有不少例子演示具体怎么从Markov Process转化出Fluid Limit/
Fluid Model
如果谁有现成的电子文档能发信箱，那就更好了
多谢 |
|
G**D
发帖数: 1 | 8 Does anybody have experience on computing transition probability of
semi-Markov process? I have several questions. Hope to receive some comments
or suggestions.
1. How to define the diagonal elements of semi-Markov kernel when setting up
the model? I set them to zeros. Is it correct? Any condition on
\sum_j{Q(i,j,t) other than \sum_j{Q(i,j,\infty)} = 1 and Q(i,j,0)=0 ?
2. When computing Markov renewal function, I use R(t) = inv(I-Q) for all
discretized t. I have tried numerical integration and F |
|
h****f
发帖数: 24 | 9 考虑Markov chain有两个可能的状态
1）证明 E[Ri]=1/(1-Pii),这里E()表示期望值，i是下标
这里Ri是Markov chain在状态i（mode i)的期望逗留时间（expected sojourn time),
以抽
样间隔为单位，Pii是转移概率从状态i到状态i
2)找出Markov chain转移矩阵，不管初始状态，它在一步内可以产生固定的概率向量
[p1 p2]'
3)若在状态1给定平均逗留时间（MST）是R1,对于以上情况，找出在状态2的R2（MST)
我对于马尔可夫链实在不懂，对于这样的题都不知道怎么下手，请大家能指教一二。
谢谢！ |
|
h*****r
发帖数: 1052 | 10 M balls are initially distributed among m urns. At each stage one of the
balls is selected at random, taken from whichever urn it is in, and placed,
at random, in one of the other m-1 urns. Consider the Markov chain whose
state at any time is the vector (n_1; ...; n_m), where n_i denotes the
number of balls in urn i. Guess at the stationary probabilities for this
Markov chain and then verify your guess and show at the same time that the
Markov chain is also time
reversible.
呃，这个不是面试题，是作业题，请高人指点 |
|
r**a
发帖数: 536 | 11 这个是markov的。下面这个不是
dX_t = (\int_0^t X_s ds) dW_t
非markov的process一般来说依赖于路径。就像上面这个取个路径的平均之后，肯定就
不是markov的了。 |
|
d****d
发帖数: 2919 | 12 俺也问一个，之前看版上有人问的题，
markov chain 不一定是martingale，martingale也不一定是markov chain。
分别举出例子。
markov 不是martingale的很容易，
反过来的例子，我就举不出来了。。
哪位给说个明显的啊？ |
|
X*****r
发帖数: 2521 | 13 比如有一个time series的 sample
我想知道他是否是Markov的，确切的说，是想看看是不是semi-markov的
有什么test可以测试吗?
我知道如果想知道是否是iid，有很多test可以用
有针对MARKOV的吗？ |
|
M******a
发帖数: 6723 | 14 http://mooc.guokr.com/note/15070/
三献茶六文钱 2014-12-25 09:09
Georgi Markov是一个保加利亚作家，他对保加利亚的共产主义政权非常不满。1971年
，他叛逃到了英国，开始在BBC国际频道工作。他用保加利亚语对保加利亚的人民广播
，控诉保加利亚共产主义政权的种种不是。1979年9月一天，上班路上，滑铁卢桥中，
他突然感到一条腿剧痛。实际上他被站在他身边的一男子用雨伞刺伤了腿。该男子道歉
之后就走了，之后他继续上班并感到不适，接下来的周一他就死了。
尸检的时候发现了这个刺伤，这部分腿部组织被送去波登当Porton Down化学武器研究
中心，检查发现这些组织里面有个非常小的小球，SEN-EDX分析指导它的组分非比寻常
。它是一块90%铂platinum和10%的铱iridium组成的合金，球体空心，可以放进去大约
2mg的药物。据推测放进去的药物很可能是叫做蓖麻蛋白ricin的复合多肽，它可以从蓖
麻中分离得到，很不幸的是，蓖麻到处可见。
雨伞也不是雨伞，实际上是克格勃KGB制造的伪造成雨伞的霰弹枪。这种暗杀伎俩一年
前1978... 阅读全帖 |
|
s*****i
发帖数: 37 | 15 【 以下文字转载自 EE 讨论区 】
发信人: scutgui (scutgui), 信区: EE
标 题: 关于markov decision process求解的复杂度 (转载)
发信站: BBS 未名空间站 (Sun Nov 27 18:32:57 2011, 美东)
发信人: scutgui (scutgui), 信区: Mathematics
标 题: 关于markov decision process求解的复杂度
发信站: BBS 未名空间站 (Sun Nov 27 18:30:58 2011, 美东)
给位大侠。小弟不才，从事工程，现开始接触MDP，大致工程类的文章都会说MDP有一个
curse of dimensionality，也就是求解的时候复杂度非常大。不知到现在为止，这样
的问题是否已经解决？
小弟数学不好，各位请拍砖。
非常感谢。 |
|
k***g
发帖数: 7244 | 16
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Markov strategies 只是状态(state)的函数，不
是时间(t)的函数：fix state，Markov strategies 是 time-invariant 的。 |
|
m**a
发帖数: 1840 | 17 Consider a discrete-time Markov process with continuous state space (say, [0
,1]). The transition has the property that given the current state, the
possible realization of the next state is finite.
Through some numerical simulations, I found that for certain discrete-time
Markov process with the above transition property, the stationary
distribution is concentrated on a finite number of states. Is there a theory
that I can use to determine whether such a concentration phenomenon happens
or not |
|
j******a
发帖数: 1582 | 18 Markov Process的Fluid Limit或者Fluid Model
谁能给推荐个参考资料
Textbook, Lecture Notes, Seminar Paper之类的都可以
浅显点比较好，最好有不少例子演示具体怎么从Markov Process转化出Fluid Limit/
Fluid Model
如果谁有现成的电子文档能发信箱，那就更好了
多谢 |
|
f*******g
发帖数: 55 | 19 Consider a Markov chain evolving on a general state space. Is there a
general approach to show whether the chain is irreducible with respect to
some non-trivial measure? In other words, how to find an irreducibility
measure for a Markov chain? Thanks! |
|
B*********h
发帖数: 800 | 20 ☆─────────────────────────────────────☆
pen (谢谢你) 于 (Mon Aug 28 23:28:01 2006) 提到:
http://www.wilmott.com/messageview.cfm?catid=8&threadid=11322&STARTPAGE=1&FTVAR_MSGDBTABLE=
These are two different notions
Markov processes are random processes that have no memory. Whereas
martingales have their
average value constant in a strong sense.
1. A biased coin (scoring +1 for H, -1 for T). Not a martingale, but still
markov.
2. Now you have a fair coin but more complex rules:
if your previous thro |
|
z****g
发帖数: 1978 | 21 markov process has STATE, which means it is basically for describing
discrete process.
Also, from the definition, martingale's mean is only dependent on current
time stamp. However, a markov chain may not have a STABLE distribution, or
the mean of the state may fluctuate periodically within in a range. |
|
w*****e
发帖数: 197 | 22 为什么不用离散时间的例子
非常简单，一个过程X(n)每一个时刻以等概率
翻倍或者不变，这个过程肯定是markov的，也
肯定不是martingale。
反方向的例子类似，X(n)以等概率要么增加
S(n-1) = X(1) + X(2) + ... + X(n-1)
要么减少S(n-1)，这个肯定是martingale，
但是很明显不是markov的。 |
|
n******m
发帖数: 169 | 23 Can you explain a little bit?
In the discrete case, given W(n) a symmetric random walk, it seems W(n)^2-n
is still markov. But I kind of believe W(n)^2+2W(n)-n is a non-markov
martingale. |
|
x*****i
发帖数: 287 | 24 it is like usually one uses Markov chain to compute expected time. How does
one use Markov chain to compute variance? |
|
k**u
发帖数: 60 | 25 The second example is still a Markov Process.
Solve this SDE:
X_t= x_0 e^{-0.5t+W_t}, which is still a markov process, the operator EXP,
preserves the markovian property. |
|
w**********y
发帖数: 1691 | 26 One definition of Markov chain is:
P(S_t = s|S_{t-1},..S_0) = P(S_t = s|S_{t-1})
So score itself is Markov Chain. |
|
m**c
发帖数: 88 | 27 X(t) = X(t-1) + X(t-1)*U(t)
已知U(t)是一个离散Markov Chain, 初始状态和转移矩阵都已知. X(0) = a也是已知的.
请问X(t)是不是一个Markov过程阿?
其实我最终想得到X(t)在任意时刻t的分布情况,i.e. 其概率密度函数 f(X(t)), 或者F
(X(t))
本人不是这个统计相关专业的,哪位能帮着解答一下阿,或者给列出点参考资料之类的? |
|
d****j
发帖数: 293 | 28 推荐审稿一篇：
Journal name: International Journal of Advanced Intelligence Paradigms
Paper keywords:
Optimization Algorithm
Mobility Robustness in cellular networks
Optimization with Self-Organizing Network (SON)
fuzzy logic and Partial Observed Markov Decision Process
站内联系 |
|
s**d
发帖数: 18498 | 29 偶来讲得详细些，这样就非常唐僧了。
hmm的意思就是一列东西，每个东西的概率只跟它前面的有限个东西有关。例子的话，可
以考虑拼音输入法。现在的拼音输入法大多是整句的，也就是说你输入一列拼音，定义为
S=s(1),.....s(n)，在汉语里通常每个s对应多个字c，拼音输入法就要把你输入的这个S
转换成一列字C=c(1),.....c(n)，使得C相对于S的概率最大，即P(C|S)最大，也就是说P(
c(1),...,c(n)|s(1),...,s(n))最大。计算对于所有的可能的C的P(C|S)计算量太大，简
化一下，变成对第i个c，计算P(c(i)|s(1),....s(i))，i=1,...,n，找使这个概率最大的
c(i)。这样计算量并没有减少，但是用上markov，就变成P(c(i)|s(i-k+1),...,s(i-1))
，k就是“每个东西的概率只跟它前面的有限个东西有关”里面的“有限个”+1。用大量
训练数据（如注了音的全部金庸古龙小说+50年的人民日报+100万篇中文科技论文等）就
可以统计出任意k个字的列的概率P(c(k)|c(1),...,c(k-1))，数据中没出 |
|
l****g
发帖数: 761 | 30 因为刚刚学 Queueing System, 以前没搞过 Markov Chain
遇到问题却不知道怎么下手
因为只看到书上的例子说一个 queue system 的几个 state 之间的transition 可以通过
如下的关系式表示:
[1] ---> [2] ----> [3] ........
^------- ^---------
P1 * lamda = P2 * mu
lamda 是 input rate, mu 是 output rate
那如果一个 system 并不是总存在双向的 transition, 比如
[1] ----> [2] ------> [3]
/\ |
| |
| \/
[5]<-------------------[4]
-----------------------^
那该怎么写整个system的 balance equation呢............ |
|
l*****n
发帖数: 328 | 31 If I have an undirected graph (markov chain) with 4 variables:
X1 - X2 - X3 - X4
Each variable can take 2 values: 0 or 1.
And I have transition matrices going from X1 to X2, X2 to X3, and X3 to X4:
X1 to X2:
0.1 0.7
0.8 0.3
(eg: if X1=0, then there's 0.1 probability that X2 will be 0, 0.7
probability that X2 will be 1. If X1=1, 0.8 prob that X2 will be 0, 0.3
probability that X2 will be 1)
X2 to X3
0.5 0.1
0.1 0.5
X3 to X4
0.9 0.3
0.1 0.3
Using the "forward pass" and "backward pass" method, find |
|
b***y
发帖数: 554 | 32 can anyone recommend some books on the application of Markov chain in
finance (pricing/valuation)? thanks! |
|
g****y
发帖数: 199 | 33 not quite sure about your question,
but there are some commends for markov chain in statistical toolbox, such as
hmmviterbi, hmmdecode,.. |
|
j********a
发帖数: 4 | 34 我现在已经画出了Markov chain。写出了balance equations。和我要求的dropping
and blocking probability 的公式。
呢？ |
|
z*****f
发帖数: 7 | 35 想要采用两状态的Markov模型模internet信道,计算不同的FEC解码后（采用RS（N，K）
）的residule丢包率（计算n个包里丢掉k个以上包的概率），我用matlab实现了（应该
没错），具体代码如下，但是运行速度巨慢，计算一个RS（16，9）的残差丢包率需要
十几秒，如果再放进优化循环里面的话，估计是不能忍了，所以想问问有没有快一点的
实现？此外，好像结果也不对：残差丢包率竟然比原来的丢包率还高一点点。不知道是
错在哪儿了？ 所以还请大牛们指点指点！！！谢谢啦！！！
function P_res = Func_ResidualPLR(P_GB, P_BG, PB, N, K)
P_res = 0;
for m = N-K+1:N
P_res = P_res + Func_P(P_GB, P_BG, PB, m, N);
end
% g(v)
function gv = Func_g(P_GB, P_BG, v)
if v == 1
gv = 1 - P_BG;
else
gv = P_BG * (1-P_GB)^(v-2) * P_GB;
end |
|
s******a
发帖数: 184 | 36 请问Markov Chain Monte Carlo和 Monte Carlo根本性的区别是什么？ 比如说两种方
法都可以用来estimate integral。 如何确定应该使用何种方法呢? |
|
k**********g
发帖数: 989 | 37 Just google ...
http://arxiv.org/ftp/math/papers/0210/0210109.pdf
Disclaimer:
(1) I don't know what is Markov Process
(2) I don't know what is Fluid Limit
but this link shows up as top result using suitable keywords on Google. |
|
w****h
发帖数: 212 | 38 Poisson/Markov ON-OFF的Traffic是不是属于Gaussian分布的？
能否就用Gaussian概率分布表达式描述这些traffic？ |
|
z*****f
发帖数: 7 | 39 想要采用两状态的Markov模型模internet信道,计算不同的FEC解码后（采用RS（N，K）
）的residule丢包率（计算n个包里丢掉k个以上包的概率），我用matlab实现了（应该
没错），具体代码如下，但是运行速度巨慢，计算一个RS（16，9）的残差丢包率需要
十几秒，如果再放进优化循环里面的话，估计是不能忍了，所以想问问有没有快一点的
实现？此外，好像结果也不对：残差丢包率竟然比原来的丢包率还高一点点。不知道是
错在哪儿了？ 所以还请大牛们指点指点！！！谢谢啦！！！
function P_res = Func_ResidualPLR(P_GB, P_BG, PB, N, K)
P_res = 0;
for m = N-K+1:N
P_res = P_res + Func_P(P_GB, P_BG, PB, m, N);
end
% g(v)
function gv = Func_g(P_GB, P_BG, v)
if v == 1
gv = 1 - P_BG;
else
gv = P_BG * (1-P_GB)^(v-2) * P_GB;
end |
|
s******a
发帖数: 184 | 40 请问Markov Chain Monte Carlo和 Monte Carlo根本性的区别是什么？ 比如说两种方
法都可以用来estimate integral。 如何确定应该使用何种方法呢？ |
|
s*****i
发帖数: 37 | 41 【 以下文字转载自 Mathematics 讨论区 】
发信人: scutgui (scutgui), 信区: Mathematics
标 题: 关于markov decision process求解的复杂度
发信站: BBS 未名空间站 (Sun Nov 27 18:30:58 2011, 美东)
给位大侠。小弟不才，从事工程，现开始接触MDP，大致工程类的文章都会说MDP有一个
curse of dimensionality，也就是求解的时候复杂度非常大。不知到现在为止，这样
的问题是否已经解决？
小弟数学不好，各位请拍砖。
非常感谢。 |
|
z*****f
发帖数: 7 | 42 想要采用两状态的Markov模型模internet信道,计算不同的FEC解码后（采用RS（N，K）
）的residule丢包率（计算n个包里丢掉k个以上包的概率），我用matlab实现了（应该
没错），具体代码如下，但是运行速度巨慢，计算一个RS（16，9）的残差丢包率需要
十几秒，如果再放进优化循环里面的话，估计是不能忍了，所以想问问有没有快一点的
实现？此外，好像结果也不对：残差丢包率竟然比原来的丢包率还高一点点。不知道是
错在哪儿了？ 所以还请大牛们指点指点！！！谢谢啦！！！
function P_res = Func_ResidualPLR(P_GB, P_BG, PB, N, K)
P_res = 0;
for m = N-K+1:N
P_res = P_res + Func_P(P_GB, P_BG, PB, m, N);
end
% g(v)
function gv = Func_g(P_GB, P_BG, v)
if v == 1
gv = 1 - P_BG;
else
gv = P_BG * (1-P_GB)^(v-2) * P_GB;
end |
|
X*****r
发帖数: 2521 | 43 【 以下文字转载自 EE 讨论区 】
发信人: Xfilter (支持南开的兄弟们), 信区: EE
标 题: 请教，Markov chain里，如果transition matrix
发信站: BBS 未名空间站 (Wed Feb 13 22:27:05 2008), 转信
是random的，怎么处理？
就是整个transition matrix是时变得，random的
怎么处理这种问题？
有没有什么相关的分析结果，以及相关的MDP solution？
多谢指点！ |
|
t******y
发帖数: 147 | 44 三个零均值的高斯向量A,B,C组成一个Markov Chain，那么它们的covariance matrix有
什么关系？
请问从哪儿可以找到相关的定理？ |
|
B****n
发帖数: 11290 | 45 Since A, B, C is a Markov Chain, we have P(A,C|B)=P(A|B)P(C|B)
Then use the formula for conditional distribution of multivariate normal.
|
|
q*********8
发帖数: 121 | 46 请问markov过程稳态分布存在的条件是什么，另外稳态分布会不会与初始状态有关？有
没有介绍这方便的相关书籍？
小女子课题中遇到这些问题，初学，找了很多书 感觉介绍的都不是很清楚。忘不吝赐
教，谢谢！ |
|
s******a
发帖数: 184 | 47 请问Markov Chain Monte Carlo和 Monte Carlo根本性的区别是什么？ 比如说两种方
法都可以用来estimate integral。 如何确定应该使用何种方法呢? |
|
|
i*********m
发帖数: 10 | 49 有人做过Hidden Markov 参数估计吗？用什么方法比较好？如果有人写过这方面的代码
，能不能发给我参照一下。多谢了！
我的邮件i*********[email protected] |
|
b******x
发帖数: 826 | 50 最近自己找了一本Markov Chain and mixing time, by david levin
看了一章，感觉思路有点不太清晰（经常refer后面的章节），证明不太初等
有没有好书，不一定要太严格，但是cover的topic比较全，能给出直觉，
本人主要是应用 |
|
