基于格的机器学习的对象表示

这是系列文章中的第四篇(链接到第一第二第三篇文章),专门研究基于格子理论的机器学习系统,称为“ VKF系统”。该程序使用基于马尔可夫链的算法,通过计算一些学习对象组之间相似性的随机子集来生成目标属性的原因。本文通过位字符串描述对象的表示形式,以便通过相应表示形式的按位乘法来计算相似性。具有离散特征的对象需要形式概念分析中的某些技术。具有连续特征的对象的情况使用逻辑回归,使用信息论和与比较区间的凸包相对应的表示将变化区域划分为子区间。



有主意!



1分立征兆



, , - . , ""/"". 'null' ( '_' ), () .



. . , .



( , ), () .





L,, G () - M () - . gImgm (G,M,I) L(G,M,I), L,,.



xL L,, -, x y,zL y<x z<x yz<x.

xL L,, -, xT y,zL x<y x<z x<yz.



- , , - , .



不可约元素



( . (L,L,))



G\M h i j k
a 1 1 1 0
b 0 1 1 1
c 1 1 0 0
d 1 0 1 0
f 0 1 0 1
g 0 0 1 1


, .



, 121 , 24 !



, :



  1. .
  2. , ( - ).
  3. (-) .
  4. .


CPython-: 'vkfencoder' vkfencoder.XMLImport 'vkf' vkf.FCA. — : vkf.FCA MariaDB, vkfencoder.XMLImport XML .



2



. C4.5 .

, .

, , , . .



2.1



, . .



E=GO G - O. [a,b)R V:GR G[a,b)={gG:aV(g)<b}, O[a,b)={gO:aV(g)<b}

E[a,b)={gE:aV(g)<b}.



[a,b)R V:GR



ent[a,b)=|G[a,b)||E[a,b)|log2(|G[a,b)||E[a,b)|)|O[a,b)||E[a,b)|log2(|O[a,b)||E[a,b)|)



a<r<b [a,b)R V:GR



inf[a,r,b)=|E[a,r)||E[a,b)|ent[a,r)+|E[r,b)||E[a,b)|ent[r,b).



V=r .



V:GR a=min{V} v0, vl+1 , b=max{V}. {v1<<vl} .



2.2



2l, l — . ()



δiV(g)=1V(g)viσiV(g)=1V(g)<vi,



1il.



δ1V(g)δlV(g)σ1V(g)σlV(g) V gE.



, — .



δ1(1)δl(1)σ1(1)σl(1) viV(A1)<vj δ1(2)δl(2)σ1(2)σl(2) vnV(A2)<vm.



(δ1(1)δ1(2))(δl(1)δl(2))(σ1(1)σ1(2))(σl(1)σl(2))



min{vi,vn}V((A1A2))<max{vj,vm}.



, 0000 min{V}V((A1A2))max{V}.



2.3



. ( 1). . , .





pi1pik pi1++pik>σ 0<σ<1.



,



c:Rd{0,1}, Rd — ( d ) {0,1} .



, X,KRd×{0,1},



pX,K(x,k)=pX(x)pKX(kx),



pX(x) — () , a pKX(kx) — , .. xRd



pKX(kx)=P{K=kX=x}.



c:Rd{0,1}



R(c)=P{c(X)K}.



b:Rd{0,1} pKX(kx)



b(x)=1pKX(1x)>12>pKX(0x)





b :



c:Rd{0,1}[R(b)=P{b(X)K}R(c)]





pKX(1x)=pXK(x1)P{K=1}pXK(x1)P{K=1}+pXK(x0)P{K=0}==11+pXK(x0)P{K=0}pXK(x1)P{K=1}=11+exp{a(x)}=σ(a(x)),



a(x)=logpXK(x1)P{K=1}pXK(x0)P{K=0} σ(y)=11+exp{y} .



2.4



a(x)=logpXK(x1)P{K=1}pXK(x0)P{K=0} wTφ(x) φi:RdR (i=1,,m) wRm.



x1,k1,,xn,kn tj=2kj1.



log{p(t1,,tnx1,,xn,w)}=j=1nlog[1+exp{tji=1mwiφi(xj)}].



,



L(w1,,wm)=j=1nlog[1+exp{tji=1mwiφi(xj)}]max



.



-



wt+1=wt(wTwL(wt))1wL(wt).



sj=11+exp{tj(wTΦ(xj))}



L(w)=ΦTdiag(t1,,tn)s,L(w)=ΦTRΦ,



R=diag(s1(1s1),s2(1s2),,sn(1sn))

s1(1s1),s2(1s2),,sn(1sn) diag(t1,,tn)st1s1,t2s2,,tnsn.



wt+1=wt+(ΦTRΦ)1ΦTdiag(t)s=(ΦTRΦ)1ΦTRz,



z=Φwt+R1diag(t1,,tn)s — .



, - -



wt+1=(ΦTRΦ+λI)1(ΦTRz).



"-" : 1 .



, . :



- Vk ,



R2=1exp{2(L(w0,,wk1)L(w0,,wk1,wk))/n}σ



Vk ,



1L(w0,,wk1,wk)L(w0,,wk1)σ





"-" Wine Quality ( . ). . ( >7), .



( 2.3) "" "". ( ) , 0 1. " " "" .



但是这对(“ pH”,“酒精”)的情况却截然不同。“酒精”重量为正,而“ pH”重量为负。但是借助明显的逻辑转换,我们得到了含义(“ pH” “醇”)。



作者要感谢他的同事和学生的支持和鼓励。




All Articles