Extracting Query Modifications from Nonlinear SVMs - C. Lee Giles

Extracting Query Modifications from Nonlinear SVMs Gary William Flake

Eric J. Glover

Steve Lawrence

NEC Research Institute 4 Independence Way Princeton, NJ 08540

NEC Research Institute 4 Independence Way Princeton, NJ 08540

NEC Research Institute 4 Independence Way Princeton, NJ 08540


  
      

 
!  "
 # $ $  

V?$ ALW6)9H!"
.), c.
.Y 
.), 8   ), ),
6=
.. . S.g
K8)M),N ]  "
%M%  * I (
Q % ),"
 S  .DP $. D
)MQ£`ƒ8³@™T¦Y.Q)M)9; .)M
%,% AT %
  )945AJ
%,% 6?$ ?. IXSG8 E % $´4\E) % 6),- %
 4.$KW.j %
  )9H"
.), E 
 S.tA8),"
%  E %  µ), ), G  %
."6h.T.   - $ 
% )MN
.),iVW
% )9.), .
.].G ),-),!
.),-=ƒ8³@™   $    XS), T
8 
…6)9^_$  e4d À =.$ =&D 0 % "
 ),V?$ A/W6)9H"
.), ko ÁSE?Ai8 W6 ),-F
: $.G4 V? AiW68),; )9H!"
.), @.
.L&D T.-$.$ @.k), PQ  "
%,% 2
 @ "6 .
 $. 4[),!6),PW)M6
%,% A:$^_ .)MPGW68)9H!"
.)M 2 .
. 
A= 
A .]&D  &S %,% .-.$ " XS), !
 L), @6),PW)M6"6:),?.H!PQ  .)M @BtJƒ8 .)M/ 2 &S 6),    *0*0* "
 e -), D
6 .
 "
   -), 2 &I)9.
… !
 ), k–"&Ã = $  % . :"
›EJ "60.U), P

ABSTRACT

*   + "
 ),-/. *0*1*32  $  45. 768 )9 :   % .  $; 6?  ?.@"
.$- A? BC6"
%,% A 2
= $ &D % 6FEG
E % G.H % .$ ( $  % . (&I)9.J
.K8.( %
  )9H! L. )M8; ),),N @4O
% > ),.),PQ   % . R!"&S P$ 2  8   ?. 
 T -)M
%,% "&U % A@ ), % DV?$ A@W6)9H"
.), YXZ
8.
.[.\8 ; $  Z4-  
.),-]$^_ $.),P[V? A(W68),H"
.), 2 &S[),?. W6$
]   )9.),PW)9.CA>

% A8 )M  .QP . G
),$ eXS  "6/$.W6
%,% "&I '.]  D.G   )94dAe
G6 )9 "6  $ ), )Me&I) % (
.. 8.; ),-J.F
K8),),N .  "
%M% Uf(8 g$.W6h$ 4b  a  P$ 
% %  P % G4'68)M$ ),
% )9.CAT "68$.),i
6J), @P
 w!qc}T~|Wx uyd|Ww€5l‚cBt4b 
.), ƒW"
 3
!6…„ $. ), P
% †3‡$ˆ‰Š‹FŒ$ŠŽ>ˆ8,‘O’l“ RaB ”W,•–o — wx x |Wuq ~|8˜s!{!qcydx"yds!ql‚]™=W6 % †›š‘`‘O’bš‘O’lœ

General Terms

 % - )9. 2!ž K8$ ), ?.
.),

Keywords

V?$ AQW6)9H!
.), 2  % S$KW. 
$.), 2  .YP . Y
)M 2 $ )9.),P8)9.tA:
!
% A8 ),

1.

%
&'   ($ 
) %   

INTRODUCTION

*  @ "
 ),-I. *0*0*32  $  4d.$>68 )9 \   % . 4d 
   )9Ha"
. - A 2 J
 @$  
% >
- L L 84b$ ; $ k
 $ ?. iŸ 4b .
. % A 2 
?Ai "
   -)M . a   % . j45 ¡a % .)M % S"
.$- ), 2 .W c4b $)M-L.' $ .
W!
%,% A H % .$ I.L $  % . 'f(@  % .),T)M I.g Q
T
; .
."6  %
  )9H$ .!
.)M6 ?.)9H! >&I$.$
/-),P     % .),  %  .k.a $ "¢ G6 )9 "6/"
. - A? m &D P$ 2 ),  
  $-), D4d.  !
"P % "&7 $ ), )M4b S
@-),P  "
. - A 2 )9.S
A EG$   
 A=. . )M$PG
%
 -aWaE$ I4S68?  ?. '4d  .a -),$ 2 &I)MJ
"A=Ea$K8  ),Pa @),  ),E % =£O 
  $-), >.tA),"
%,% Ai % A¤
%,% "&¥ $. ), PW)M-F
: $ .
)M¤
K8)M> WaE$ a4L)9. a4b e
iV?$ A¦  ),- % FV?$ A¤W6)9H"
.), £O k
 I§¨©8ª «¬1­W®¯?¬!¨"¦D
=),8 P 8   ), ), 2 E8.'45. :
. .>K$ Q4[  "
%M% LXZ=
%,% "&34d @E.T),-F8   ), ),/
!6 ),-Q  "
%,% 2 &SD),?. W6 \
]$.W6(. -  
.S
I  %M%  .)Ma4

Copyright °U°U°k±8²is²held ± by the author/owner(s). , May 7–11, 2002, Honolulu, Hawaii, USA. ACM 1-58113-449-5/02/0005.

317

.
 "
 / -)M BthƒW $.),in 2 &S 6$ $ ),Eg8 Q$.W6 4d ] W68 ),-a$^_ .)MPLV?$ A W68)9H!"
.)M 2 &I),k  S.$KW. 8   ?$  ),- 2 ƒW³@™Ä %
  ),H"
.), 2   ),.),PW)9.CAi

% A8 )M 2
!6
6
.
 $. 6$!
.),:8 ? "68 Sƒ8 .)M:¹g-)MP K )M$W.
% $  % . @4b G)M6$W.)945A),-=$  !
% a!
- G
!6/$4d$    
- ]
!6e "&I '.!
.I I.W6 -),P IE.k),-k  $)M ),
!6Q), P"6(  
%,% jÅc),!
%,% A 2 ƒ8 $.),g”' 
 )MN$ Z c&D  &I)9. 
F6),    ),¤¤"&¥&D E¤!
-e!
..  G
 e$K8 % )9."6 E?Ae8 ]$.W6_¢ I68),  ),
% )9.CA "68$.),=  .)M$ 

2.

 -), £b.), P( $"
%,% ¦]XS$ Q), ]a&S
"Ak. PW)M6@  W6)9H"
.), \.Q), PS.] 
 e 4b  6gEWA>. "
  -),$ [XS), \&D a-),P \
L$.W6aE?AG&I),$^_ $.),P V?$ A W68)9H!"
.)M '.!
.I!
"P E.=),-=8   ), ),F
!6k),-  "
%,% "
:EL-$$ 
."6T
8.
.),"
%,% A?

WWW SEARCH AND METASEARCH

X D8 )M
 AL.? % 4d [
$   ),-@6
.
IQ. *  EQ), j
] 
  S $-),e h
  % .
³ )M ),  !
%M% AF
g.),"
% 
    ( P$ A: "
 F -),G  (
 K )M$ "6 2 .CA8),"
% "
 UV?$ ), G45. ¤ $. h. 
!68 4#Ÿ(„ Ç 2  %
 ),-G
LE 6$ag.I $ [.L
W
%,% A>H % . \. $  % .  f(j  . ),]4b c aE!
.),-S.), # E %  –), .½C ), ¾
' "
 GV? A(&I)9.G
SW6)9H!"
.),@.!
.Z), c68 ),-"6L.]
  "& .   % . S.a
G   )9H!  ?.$KW.' '"
.$- A?\Å '$K
 %  2 )94 
 ),-=4d @.a$  !
% a
- @4D
), % 
 ), $ "
 $  2
66),- .G. Ĩ©Wª «¬+­8®¯?¬!¨>
F),$ "
 >. 68  )9.tAh4]P
% !
E %    % . GE?Ai  8 
-)M-i
: 
 ¤ -)M .e 
:$  
% >
-$ @),-$ L.!
/8;tG!
-  m "&S P 2  ),-k
?AT ),- % gV?$ A=W6)9H!
.),F),$ 
  L. 
 1 $ ), )M0
.g.k$K8  e4  "
%,% 2 )O  2 
WAh 
- L£O - 2 . ].
.S6Q.S W.
),U½t]
- ¾?¦\
AaE ),  "6_ XSk$P$ 
-k4(
T "
  V?$ Ah"
¤E )M8 P"6iE?A/  % .), % ),$  2 íXS¤),),aì. ž VW
.),kÂL"
E]4d6a&I)9.k
?Ag4Z
L4O
) % Aa4Z
% - ),. 2
%,% 4 &I),0
 kE!
 "6++   % )M"
 ] %
  ),H"
.), E!6
 A? BC  '$K8$ ), ?. [&S( "6e
È
  )M
k$  % 4b$.),e4 . 4b  å â,â â,â "ã  õh£lïjô ï  ¦ × $K8   î ïjô î ï  £ln¦ 

 %
  )94dA8),- 
 :. =&I),0?$   % AU)M+: $.e
6U. &D  P $. 2 &I$ I"
a4b
. I), \
  ),-"6 Ø?î • •Ù 2 &I),. î • ),6),"
.),-g.!
.]
G4b"
. @), (
E  ?."

3.2 SVM Classification åñ

åò ò$òå åñ Ë  )M6 h
1 .i4 6
.
ñ 2Ø £lïSð ðå¦ D £lïjó ó(¦Ù 2  .
.kïjôG), k
0),.e
!6 ô Þ¼Ø?î • •ÙJ), k
i.
 -.k.."   .'P $. S
), )M I
QW6 % .!
.S)M '
%   %
."6:
 S
&D ),-?."6F ´4S$  % 4b$.),J8.å . @XSa$  % 4b$; .),+4L
1ƒW³@™Õ)M >&' ),..$+
 õh£lïYö ïj÷¦>
!6¤)9.g"
+Ek
 ),$ ] W68$. 2!È
  )M
 2  % A8)M
% 2 
WAk.$ I4b$.), .
.]EA ]™=  $ "¢ ( !68),.),ho9•”l å ò Bt:.G ), %  . ƒ8³L™ÓW6 % jÅ 
?Aa "
% ;l&D % 6e8 E % $ (£b.$KW.S %
  )9H!"
.)M:
-@. e¦ 2 .kWaE$ Q4(  .>P .  a
A/E=6W 

.)M
%,% Ah4b$&D$ .
. WaE \4c6
.
Q),?. [XSW 2 8 ' "
  4b ' $4d % P
%  IF 4 $F"
:EL ), % )9H!"6eE?A  % Ae "
 )M-a. @),?. ),J.a),.L !
$a.!
.Q
 
% :  .QP .  g£O)O  2 
P 8;tN$$ ]ÇZ
- 
-D> % .), % ),$  ¦c™=  P$ 2 ),$[&DD
 \  ),?.$  .
.
P:
F8;`N $ /ÇZ
- 
- > % .), % ),$ "  4O
) % AG4VW$ AQW6)9H"
.), j)M c4d!6>E?AQ)M6$; .)945A),-/. %
 -$
%,% 4j.@)M84b 
.),T),:.@$; Í ), ?. I4Y.(   )9.),PW),.tA=P $. " Bt &'
 @ $.@.=”e
 @)MF.>"
 % ),$ @. E),"6TV?$ A=W68)9H!"
.)M L^_$ L >),8;  
 @),:
 Q
?Ae ),- % GV? AkW68)9H!"
.)Mk4b
) % 

EXPERIMENTAL RESULTS

* >"&µ6$ $ ),Ea"&è ($.W6:
 E  F "6:. -$;  
.e$^_ $.),PeV?$ A/W6)9H"
.), G4d a)568 ?.)94dA8),-F$  
% g
- a
!6J 84b$   !
- =Å Q Q   % . 2 &S  .k.
.)Mx  SY‚S5ƒ2 ¬ „˜S? ¬ T«+.F),!68),"
. .!
 . S? ¬ T"«U  % 6¤?$; $ Q),/.a.)9. % a4I
:68? $W."g™:
?AJ "
 / -)M 2 
  % .
³(), )M- % QW6)9H!
.),# XT"
 8 a.$^_$$.),P $  >4'.V? A/W68)9H!"
.)M 2 &DL. W68)9H!"
.)M [XSI $  % . D
  8   ?."6¤), Xc
E % k¹8 *  $P$ a
F 
 + -), $.8 "6  D.!
 ”Î]   % . 2 &D' % A>
W
%,% A> %
  )9H!"6>.SH  .
6g  %  $."6 E!
 "6¤h.eP$ Ai  ), ?.)9H! .),¤.!
.>.$Ah $ "6/. ½C
Q    ¾ * ) % G Q4j.QW
;`-$$ 
."6=V? )M$ &S (  ."6E?A SK )M$W. 2  '
.
."6$.W6 6),  P "6:
?AkP % VW$ AkW6)9H!"
.), 2 &I), 2 ),:.  2 --  "
 €  ‚RŽ_S?@¬ T?5¬ …SY…?UXS8 2  a$.W6i4d H!68)M-(> % .), % 'V?$ AQW68)9H!"
.)M [
"
  j.()M68 ?.),45A %
; -!
-@.  !68 S.!
. ?$  ]),= E-  ]4j
a"
. - A? * ) % @),.]), I % ), % A .68$ ),PQ
a $.]4jV?$ AeW6)9H"
.), .
.
 =• ÎÎéí  "
%M%
!67•"ÎÎéø $ ), )M 2 &S=E % ), Pk.!
.  Q&S /  . Q.g 4'a % .)M % V?$ AJW6)9H"
.), 4d ),$ "
 ),-g  "
%,% &I) % @
),?.
),)M-
g68 )9 "6= $ ), )M

.>6?$ ?. .
.(
GT. *0*0*  * >"
J6),  P ),-$ ;` 68$ I    %
.), ]), .(4d Ó4YV? AW6)9H!
.), .!
.I ?.
)Mka % .), %  .$  † $P &I)9.T
% ),"
 % A=), $!
 
; E % @4b
. G !
  † E8. &DG
J
%  -
 
?. Q.!
.(  ;  "68 L&I) %,% .$ ),
.L),:
G "
 !
E % >
W.I4c.), Bt.D), '
% a),?.$ 
$. Y
 j
% ?WQ.
E % D4b .'. 
)M),-Q6
.
8jBta.), ["
  2 '&S % 6!
"P % )9.. %  I4 -$$ 
% ),N ),-L.( "
% ;l&S % 66
.
W P AG 84b $)M-Q6),  )M!
% )9.tA "68$.),h
.Q
?AF  % .), %  V?$ A W6)9H"
.), @"
J4b8 .$ Q), "
 . % )M % )M?W6i4DH!!68),P$ A 
  "&… "
 =   % . S&I),k),-?.I 
%,% A E( 
"6 E$A?!6 . % ),)9. 4j
a-)MP : "
 :$-),

5.2 “Eigenqueries” & Data Deflation

f(DA@4O
$$.j4 j8  "6>$.W6@)M c.S6
.
 .[6$!
; .),k ƒ8³@™/ XS>8 ? "68 >),FXc
E %  •  4b  g
F$ &D % 6¤  % ),
  %
  ),H$  
!6¤
¤K
 ¾ “ Í/lœ ?’b“_‰ Îc‰Š“’b_ “ Ð 2 W>E$ L• n · ¶ 2 
-$ G• nNÊ Ñ• ¹ 2 ËD$)9.N 2 É ž'2 • ·· ¶8#ƒW ),-$ ;`³\$ %
- 28m  )M68 % E$ - 2 É ž  o · QX(Ï
), X 
 6$.),PL),4d$  $Q4d I.$KW.  %
  )9H"
.),F )M-g  .IP$$. ]
), 8BC(  Æ Š"Rœ Ç ëí
‘ 7Ê“‘t‰Š“‘O’O“)  Ë[“"OŒ Çj( “ ÍJlœ W’b“Ï ‰ Îc‰Š“’b_“ Ð 2 
-$ ÂÎRÎ ÑWÂÎ · #™= -
7  ÒQ
4d
 2 ƒ
=Å8 
$)M $ 2 Ë  2 • ···  o9• ΁>ƒ_ÇZ
&'   Q
6TË Ç[ È ) %  ËD?.$KW.
6k!
-

% A8 ), ]4d ]), P"6 &S Ek "
  Ê ÙÙ)Ù Ê“‘t‰Š“_‰‘ Ë[H Ž ×!ˆW‘O’b5“ Ð@å Ô ˆ8 ‹ é ß ˆ Ј8š‘ 2 
- ]nR¶ ѹÁ 2 • ·· ¶8 o9••$GÏ!» %
.."Å!
  ž .N ),)OXSG™=.
Ë\ 
& % $
 )9. $.8 L4b I    G
-- $-
.),J=. *  E A Ñ?Å E8 !
 A¦‚,•l• Ñ!•$¹ 2 • ·· ÊW Ê ÙÙ)ـÙ)ó ׉Š‘ 2 £lÏ
W!
 5 o9• ¹ È  È XZ"&S %,%
!6=Ï * ƒW!
"P % ), ž KW. 
$.),-a $H"6  %  '4d  8"& %  6-;tE
 "6:  
% $.t&S W  Í/lœ W’d“_‰ Îc‰Š“’b5 “ Ð 2 •"nW‚ Ê?• 2 • ·· n8 o9•”"Q³>8³D
)M È]Ï ‰ æQ‘OˆWŠ‰aED6"&I % 
6 6G4d è_ ŽW5 ¬ —]ņ—ª 0« ý©8ª «¬­W®¯?5¬ … ýŒ5ƒR® ž8¬ ýŽ8@ª  ?¬ ƒ5‚RˆYý5© SB« ƒý

324