xapian-omega-language-detection-with-textcat-updated.patch on Ticket #514 – Attachment – Xapian

xapian-applications/omega/ChangeLog

diff --git a/xapian-applications/omega/ChangeLog b/xapian-applications/omega/ChangeLog
index 74f3396..878ba89 100644

-              a
+-08-22 09:30:12 Reini Urban <reinhard.urban@avl.com>
+        omega-0.9.6c:
+        * scriptindex.cc: Support TEXTCAT for language autodetection.
+-08-17 18:06:26 Reini Urban <reinhard.urban@avl.com>
+        omega-0.9.6a:
+        * configure.ac: Add HAVE_TEXTCAT.
+        * omindex.cc: Added libtextcat.
+        * commonhelp.cc: Update stemmer help with HAVE_TEXTCAT (lang autodetection)
+        * langclass, langclass.conf: New file and directory
 Tue May 12 14:07:27 GMT 2015  Olly Betts <olly@survex.com>
         * docs/overview.rst,omindex.cc: Allow --filter to handle commands

xapian-applications/omega/Makefile.am

diff --git a/xapian-applications/omega/Makefile.am b/xapian-applications/omega/Makefile.am
index e3befca..c975a1c 100644

                EXTRA_DIST =\
         images/score-7.png \
         images/score-8.png \
         images/score-9.png \
+        xapian-omega.spec
+        xapian-omega.spec \
+        \$(wildcard langclass/*.lm) langclass.conf
 AM_CPPFLAGS = \
         -I$(top_srcdir)/common \
-…
+               omindex_SOURCES = omindex.cc myhtmlparse.cc htmlparse.cc\
 if NEED_MKDTEMP
 omindex_SOURCES += portability/mkdtemp.cc
 endif
 omindex_LDADD = $(MAGIC_LIBS) $(XAPIAN_LIBS)
+omindex_LDADD = $(MAGIC_LIBS) $(TEXTCAT_LIBS) $(XAPIAN_LIBS)
 scriptindex_SOURCES = scriptindex.cc myhtmlparse.cc htmlparse.cc\
  common/getopt.cc commonhelp.cc utils.cc hashterm.cc loadfile.cc\
  common/safe.cc common/stringutils.cc utf8convert.cc utf8truncate.cc\
  common/keyword.cc timegm.cc
 scriptindex_LDADD = $(XAPIAN_LIBS)
+scriptindex_LDADD = $(TEXTCAT_LIBS) $(XAPIAN_LIBS)
 omindex_list_SOURCES = common/getopt.cc omindex-list.cc
 omindex_list_LDADD = $(XAPIAN_LIBS)

xapian-applications/omega/configure.ac

diff --git a/xapian-applications/omega/configure.ac b/xapian-applications/omega/configure.ac
index 9a8bbfd..f2dcc3d 100644

                case $ac_cv_func_snprintf in
     ;;
 esac
+AC_ARG_WITH([textcat],
+  AC_HELP_STRING([--without-textcat], [don't use libtextcat for automatic language classification]))
+TEXTCAT_LIBS=
+if test xno != x$with_textcat; then
+  AC_CHECK_LIB([textcat], [textcat_Init], [
+    TEXTCAT_LIBS=-ltextcat
+    AC_DEFINE([HAVE_LIBTEXTCAT], [1], [Define to 1 if you have libtextcat for automatic language classification])
+  ])
+fi
+AC_SUBST([TEXTCAT_LIBS])
 AC_ARG_WITH(iconv,
   AC_HELP_STRING([--with-iconv], [force use of iconv (error if not found)])
   AC_HELP_STRING([--without-iconv], [don't use iconv]),

new file xapian-applications/omega/langclass.conf

diff --git a/xapian-applications/omega/langclass.conf b/xapian-applications/omega/langclass.conf
new file mode 100644
index 0000000..8a6cf5c

-              -
+# A config file for the language models
+# provided with Gertjan van Noords language guesser
+# (http://odur.let.rug.nl/~vannoord/TextCat/)
+#
+# Notes:
+# - Putting the most probable languages at the top of the list
+# improves performance, because this will raise the threshold for
+# likely candidates more quickly.
+#
+/var/lib/omega/langclass/english.lm             english
+/var/lib/omega/langclass/german.lm              german
+/var/lib/omega/langclass/french.lm              french
+/var/lib/omega/langclass/danish.lm              danish
+/var/lib/omega/langclass/dutch.lm               dutch
+/var/lib/omega/langclass/finnish.lm             finnish
+/var/lib/omega/langclass/italian.lm             italian
+/var/lib/omega/langclass/norwegian.lm           norwegian
+/var/lib/omega/langclass/portuguese.lm          portuguese
+/var/lib/omega/langclass/russian-iso8859_5.lm   russian
+/var/lib/omega/langclass/russian-koi8_r.lm      russian
+/var/lib/omega/langclass/russian-windows1251.lm russian
+/var/lib/omega/langclass/spanish.lm             spanish
+/var/lib/omega/langclass/swedish.lm             swedish

new file xapian-applications/omega/langclass/danish.lm

diff --git a/xapian-applications/omega/langclass/danish.lm b/xapian-applications/omega/langclass/danish.lm
new file mode 100644
index 0000000..5e5a61a

-              -
+_        21274
+e        9291
+r        5307
+n        4733
+i        3976
+t        3948
+s        3751
+a        3296
+l        3063
+d        3025
+o        2868
+g        2471
+er       2164
+k        2002
+m        1680
+e_       1655
+en       1613
+f        1507
+de       1484
+r_       1379
+v        1245
+u        1176
+t_       1081
+n_       1032
+er_      992
+b        942
+.        870
+ge       868
+._       831
+re       816
+h        816
+et       813
+te       813
+p        806
+in       788
+or       775
+_s       753
+_a       749
+en_      712
+_e       691
+ti       689
+an       687
+,        681
+,_       677
+_f       655
+_d       645
+el       642
+ng       635
+nd       634
+g_       634
+se       615
+le       615
+st       607
+s_       601
+_o       572
+ne       560
+li       537
+et_      524
+es       521
+_i       512
+ri       511
+sk       510
+_de      498
+å        497
+ar       475
+ed       473
+ig       463
+at       452
+_m       446
+is       443
+fo       441
+æ        441
+ve       438
+_k       434
+ø        432
+der      429
+ke       428
+ing      427
+og       426
+_b       412
+me       408
+il       407
+for      405
+ns       394
+y        389
+_h       380
+_t       374
+on       371
+d_       370
+al       362
+be       359
+_fo      351
+af       336
+de_      335
+_og      333
+_p       332
+og_      325
+om       325
+_for     324
+_og_     313
+l_       308
+nge      302
+i_       295
+_v       294
+c        289
+ter      283
+ll       280
+ni       278
+nde      278
+rs       277
+_af      277
+un       275
+ra       271
+ko       271
+den      270
+_i_      268
+id       265
+til      265
+j        265
+vi       264
+D        260
+ere      256
+ma       255
+si       253
+f_       252
+af_      238
+_af_     235
+ik       235
+m_       234
+å_       232
+_ti      227
+_D       226
+_u       226
+_er      225
+nt       224
+_en      224
+ls       221
+es_      216
+lig      216
+ger      216
+re_      210
+ag       210
+_me      207
+at_      204
+lle      200
+ge_      200
+_til     200
+ige      199
+_er_     199
+der_     199
+em       199
+ds       197
+r.       195
+io       195
+r._      195
+ud       193
+_at      192
+_at_     191
+ta       190
+els      190
+_l       190
+ha       190
+il_      189
+or_      189
+ke_      186
+rt       185
+gen      184
+ka       183
+-        180
+rk       180
+ning     178
+ol       178
+nin      178
+la       177
+ld       175
+De       175
+it       173
+ede      172
+ed_      171
+_ko      171
+lse      171
+ek       168
+else     167
+inge     167
+på       167
+ng_      167
+_på      167
+iv       166
+ør       166
+so       165
+he       165
+ens      165
+ske      165
+ind      164
+til_     163
+rn       163
+ide      162
+ev       162
+den_     162
+to       162
+sen      160
+_be      160
+sa       160
+bl       158
+_g       158
+an_      157
+det      156
+om_      156
+ru       156
+va       155
+_til_    155
+ste      154
+rd       153
+_på_     152
+k_       152
+på_      152
+di       152
+kr       152
+K        151
+_De      149
+for_     148
+te_      148
+kon      148
+ver      147
+mm       146
+am       146
+_en_     145
+_r       145
+ne_      144
+ing_     144
+tr       143
+le_      142
+del      142
+_in      142
+gt       140
+_st      138
+S        138
+eg       138
+gs       138
+tt       138
+r,       137
+ser      137
+r,_      137
+er.      137
+ro       137
+er._     137
+_for_    136
+ent      136
+kt       136
+eri      135
+ur       134
+lin      134
+B        133
+A        133
+sti      133
+ner      133
+da       133
+ris      132
+ion      132
+_K       131
+ern      131
+ers      130
+ist      130
+ær       130
+ige_     130
+_si      130
+tte      129
+E        128
+_n       128
+nn       127
+_B       126
+_ha      126
+_.       126
+rne      125
+H        125
+_ud      125
+rin      124
+na       124
+und      124
+ft       124
+_der     124
+ku       123
+_A       122
+ler      120
+and      120
+end      120
+ns_      120
+rg       119
+op       119
+er,_     119
+er,      119
+ar_      118
+P        118
+_S       117
+_H       117
+_._      116
+ov       116
+erne     115
+tio      115
+med      115
+tion     115
+_E       115
+_P       115
+det_     114
+pr       114
+e.       113
+ter_     113
+:        113
+kk       113
+e._      113
+e,_      113
+e,       113
+od       113
+kke      113
+ten      113
+ling     113
+:_       112
+mi       112
+eli      112
+lo       111
+som      111
+_den     111
+rb       110
+se_      110
+ell      110
+sid      110
+nne      109
+fi       108
+lt       107
+v_       107
+_de_     107
+ark      106
+lige     106
+ngen     106
+ie       105
+_med     105
+_der_    105
+ring     105
+a_       105
+_vi      104
+-_       104
+ys       103
+gel      103
+_so      103
+ia       103
+ive      102
+ej       101
+ati      101
+ren      101
+_det     101
+side     101
+ske_     101
+br       100
+gi       100
+F        100
+M        100
+ul       99
+isk      99
+men      99
+n,_      99
+age      99
+fr       99
+n,       99
+tu       98
+ts       98
+_ma      98
+nder     98
+ot       97
+dt       97
+R        97
+med_     96
+ho       96
+ans      95
+_kon     95
+pe       95
+ce       94
+gr       93
+mme      92
+ret      92
+lige_    92
+mu       91
+_med_    91
+hv       91
+væ       91
+Det      91
+ens_     91
+kl       91
+_M       90
+T        90
+ingen    90
+rm       90
+ill      89
+elle     89
+ef       89
+ene      89
+nds      89
+ove      89
+som_     89
+C        88
+_den_    88

new file xapian-applications/omega/langclass/dutch.lm

diff --git a/xapian-applications/omega/langclass/dutch.lm b/xapian-applications/omega/langclass/dutch.lm
new file mode 100644
index 0000000..17a0626

-              -
+_        20104
+e        9848
+n        5323
+a        3733
+t        3683
+i        3490
+r        3195
+d        2876
+o        2845
+n_       2443
+en       2439
+s        2195
+e_       1842
+l        1837
+g        1522
+en_      1500
+de       1489
+er       1388
+t_       1377
+v        1253
+u        1217
+k        1204
+_d       1136
+h        1102
+m        1084
+an       939
+te       875
+j        857
+in       810
+_v       793
+r_       751
+de_      742
+ee       737
+p        732
+et       718
+ge       716
+aa       708
+b        703
+_e       686
+st       669
+z        668
+ie       662
+_de      655
+w        631
+c        611
+.        604
+s_       582
+_de_     576
+_h       572
+el       570
+ij       564
+._       554
+et_      531
+an_      522
+he       505
+_o       497
+nd       478
+_i       475
+ar       459
+_m       451
+re       442
+ve       441
+'        428
+or       424
+ng       421
+at       418
+_s       415
+oo       403
+_z       401
+le       395
+_b       394
+_a       391
+_he      386
+va       385
+er_      381
+me       372
+_w       368
+f        361
+on       351
+_t       351
+_va      345
+_g       342
+di       342
+nt       340
+,        335
+g_       335
+,_       334
+van      327
+ch       326
+is       326
+ing      325
+be       325
+ni       320
+it       317
+een      316
+_van     315
+al       310
+den      309
+ti       309
+van_     307
+oe       302
+ke       302
+_van_    299
+aar      299
+d_       295
+we       293
+da       292
+tu       290
+_ee      290
+ud       287
+een_     286
+li       284
+es       282
+_st      281
+ver      281
+ten      281
+ri       275
+nde      275
+der      274
+_in      270
+k_       268
+vo       267
+het      266
+oor      264
+_het     262
+het_     262
+_het_    259
+_een     258
+l_       258
+ze       257
+_n       254
+ro       248
+gen      243
+_een_    241
+at_      240
+op       238
+n.       238
+_en      237
+rs       237
+_da      235
+stu      232
+in_      230
+_be      229
+_ge      228
+_k       226
+rd       226
+tud      220
+_en_     220
+n._      217
+te_      209
+ei       208
+ent      206
+_me      203
+la       202
+ek       202
+ed       201
+ra       200
+stud     200
+en.      200
+ie_      197
+ste      196
+_vo      195
+_in_     193
+_stu     191
+zi       191
+om       189
+ui       189
+en._     186
+ten_     185
+_stud    185
+ude      184
+die      183
+ns       183
+_j       181
+D        179
+aan      179
+se       179
+ma       178
+_ve      176
+ne       174
+_p       174
+eg       173
+p_       172
+ar_      172
+aar_     171
+_te      170
+ng_      169
+_we      169
+''       167
+_D       165
+ers      164
+_op      163
+dat      161
+dat_     160
+ig       160
+ere      159
+eer      158
+_zi      158
+voor     156
+voo      156
+nge      155
+nder     151
+nte      151
+or_      150
+ta       150
+je       149
+ing_     148
+ll       148
+_ver     147
+jk       146
+oor_     146
+_dat     145
+ijk      145
+ren      145
+is_      145
+_dat_    144
+_l       144
+and      144
+lij      143
+ter      143
+na       142
+uden     139
+tude     138
+_voor    136
+_voo     136
+ond      136
+ken      135
+cht      135
+_al      135
+ht       135
+wa       134
+ho       133
+em       133
+den_     133
+pe       132
+sc       132
+un       131
+ur       131
+_di      130
+gen_     130
+zo       129
+rt       129
+ev       128
+mo       128
+lijk     127
+_is      126
+stude    124
+ha       123
+to       122
+el_      121
+og       121
+op_      121
+sch      120
+ol       120
+ente     119
+_u       118
+pr       118
+end      118
+mi       117
+iet      116
+_aa      116
+eli      115
+dent     115
+ijn      115
+jn       115
+ou       115
+men      114
+_'       114
+tie      113
+_is_     113
+nie      113
+tr       112
+ak       112
+id       112
+udent    111
+tuden    111
+uit      110
+_te_     109
+aan_     109
+ld       109
+S        108
+_aan     108
+ede      108
+ja       107
+nten     107
+it_      107
+je_      107
+ts       107
+erd      106
+est      106
+E        105
+_op_     105
+ad       104
+al_      104
+_ze      104
+_on      104
+rk       104
+lle      103
+ens      103
+gel      103
+m_       103
+len      103
+_r       102
+ec       102
+inge     102
+met      102
+_met     101
+si       100
+die_     100
+us       100
+onde     99
+_ni      99
+De       99
+eu       99
+dente    99
+enten    99
+ic       99
+_met_    98
+f_       98
+met_     98
+no       97
+ko       96
+voor_    96
+rde      96
+H        96
+ngen     95
+lo       95
+ot       95
+as       94
+zij      93
+_nie     92
+vi       92
+eb       92
+_De      92
+_zij     91
+ep       91
+wi       91
+_zo      91
+kt       91
+ege      91
+G        91
+bi       90
+j_       90
+ij_      90
+ze_      90
+do       90
+lan      89
+ov       89
+udi      89
+ord      89
+onder    89
+V        88
+elij     88
+_wa      88
+elijk    88
+ef       88
+_die     87
+ag       86
+erk      86
+eren     86
+R        85
+ik       85
+_ma      85
+gr       85
+am       85
+_mo      84
+ul       84
+nn       83
+eve      83
+De_      83
+maa      83
+ingen    83
+wo       83
+_''      83
+O        83
+tudi     82
+I        82
+nt_      82
+tudie    81
+ven      81
+udie     81
+nten_    81
+_die_    81
+jaa      80
+ka       80
+eke      80
+ite      80
+a_       80
+_je      80
+ac       80
+jaar     80
+_je_     79
+_H       79
+_zijn    79
+zijn     79
+n,       78
+nen      78
+N        78
+n,_      78
+ijn_     77

new file xapian-applications/omega/langclass/english.lm

diff --git a/xapian-applications/omega/langclass/english.lm b/xapian-applications/omega/langclass/english.lm
new file mode 100644
index 0000000..ab71632

-              -
+_        20326
+e        6617
+t        4843
+o        3834
+n        3653
+i        3602
+a        3433
+s        2945
+r        2921
+h        2507
+e_       2000
+d        1816
+_t       1785
+c        1639
+l        1635
+th       1535
+he       1351
+_th      1333
+u        1309
+f        1253
+m        1175
+p        1151
+_a       1145
+the      1142
+_the     1060
+s_       978
+er       968
+_o       967
+he_      928
+d_       888
+t_       885
+the_     844
+_the_    843
+on       842
+in       817
+y        783
+n_       773
+b        761
+re       754
+,        734
+,_       732
+an       732
+g        728
+w        718
+_i       707
+en       676
+f_       599
+y_       595
+of       594
+_of      592
+es       589
+ti       587
+v        580
+_of_     575
+of_      575
+nd       568
+at       549
+r_       540
+_w       534
+it       522
+ed       496
+_p       494
+nt       485
+_c       462
+o_       457
+io       450
+_an      439
+te       432
+or       425
+_b       418
+nd_      407
+to       406
+st       402
+is       401
+_s       396
+_in      389
+ion      385
+and      385
+de       384
+ve       382
+ha       375
+ar       366
+_m       361
+and_     360
+_and     360
+_and_    358
+se       353
+_to      347
+me       346
+to_      344
+ed_      339
+.        330
+be       329
+_f       329
+._       329
+_to_     320
+co       317
+ic       316
+ns       308
+al       307
+le       304
+ou       304
+ce       293
+ent      279
+l_       278
+_co      277
+tio      275
+on_      274
+_d       274
+tion     268
+ri       266
+_e       264
+ng       253
+hi       251
+er_      249
+ea       246
+as       245
+_be      242
+pe       242
+h_       234
+_r       232
+ec       227
+ch       223
+ro       222
+ct       220
+_h       219
+pr       217
+in_      217
+ne       214
+ll       214
+rt       213
+s,_      210
+s,       210
+li       209
+ra       208
+T        207
+wh       204
+a_       203
+ac       201
+_wh      199
+_n       196
+ts       196
+di       196
+es_      195
+si       194
+re_      193
+at_      192
+nc       192
+ie       190
+_a_      188
+_in_     185
+ing      184
+us       182
+_re      182
+g_       179
+ng_      178
+op       178
+con      177
+tha      175
+_l       174
+_tha     174
+ver      173
+ma       173
+ion_     171
+_con     171
+ci       170
+ons      170
+_it      170
+po       169
+ere      168
+is_      167
+ta       167
+la       166
+_pr      165
+fo       164
+ho       164
+ir       162
+ss       161
+men      160
+be_      160
+un       159
+ty       159
+_be_     158
+ing_     157
+om       156
+ot       156
+hat      155
+ly       155
+_g       155
+em       153
+_T       151
+rs       150
+mo       148
+ch_      148
+wi       147
+we       147
+ad       147
+ts_      145
+res      143
+_wi      143
+I        143
+hat_     142
+ei       141
+ly_      141
+ni       140
+os       140
+ca       139
+ur       139
+A        138
+ut       138
+that     138
+_that    137
+ati      137
+_fo      137
+st_      137
+il       136
+or_      136
+for      136
+pa       136
+ul       135
+ate      135
+ter      134
+it_      134
+nt_      133
+that_    132
+_ha      129
+al_      128
+el       128
+as_      127
+ll_      127
+_ma      125
+no       124
+ment     124
+an_      124
+tion_    122
+su       122
+bl       122
+_de      122
+nce      120
+pl       120
+fe       119
+tr       118
+so       118
+int      115
+ov       114
+e,       114
+e,_      114
+_u       113
+ent_     113
+Th       113
+her      113
+j        112
+atio     112
+ation    112
+_Th      111
+le_      110
+ai       110
+_it_     110
+_on      110
+_for     109
+ect      109
+k        109
+hic      108
+est      108
+der      107
+tu       107
+na       106
+_by_     106
+by_      106
+E        106
+by       106
+_by      106
+ve_      106
+_di      106
+en_      104
+vi       104
+m_       103
+_whi     102
+iv       102
+whi      102
+ns_      102
+_A       101
+ich      100
+ge       100
+pro      99
+ess      99
+_whic    99
+ers      99
+hich     99
+ce_      99
+which    99
+whic     99
+all      98
+ove      98
+_is      98
+ich_     97
+ee       97
+hich_    97
+n,_      96
+n,       96
+im       95
+ir_      94
+hei      94
+ions     94
+sti      94
+se_      94
+per      93
+The      93
+_pa      93
+heir     93
+id       93
+eir      93
+eir_     93
+ig       93
+heir_    93
+_no      93
+ev       93
+era      92
+_int     92
+ted      91
+_The     91
+ies      91
+art      91
+thei     90
+_ar      90
+_thei    90
+their    90
+_pro     90
+et       89
+_pe      88
+_mo      88
+ther     88
+x        87
+gh       87
+S        87
+_is_     87
+ol       87
+ty_      87
+_I       86
+nde      86
+am       86
+rn       86
+nte      86
+mp       85
+_su      84
+_we      84
+par      84
+_v       84
+pu       82
+his      82
+ow       82
+mi       82
+go       81
+N        81
+ue       81
+ple      81
+ep       80
+ab       80
+;_       80
+;        80
+ex       80
+ain      80
+over     80
+_un      79
+q        79
+qu       79
+pp       79
+ith      79
+ry       79
+_as      79
+ber      79
+ub       78
+av       78
+uc       78
+s._      77
+s.       77
+enc      77
+are      77
+iti      77
+gr       76
+his_     76
+ua       76
+part     76
+ff       75
+eve      75
+O        75
+rea      74
+ous      74
+ia       74
+The_     73
+ag       73
+mb       73
+_go      73
+fa       72
+on,_     72
+ern      72
+t,_      72
+on,      72
+t,       72
+_me      71

new file xapian-applications/omega/langclass/finnish.lm

diff --git a/xapian-applications/omega/langclass/finnish.lm b/xapian-applications/omega/langclass/finnish.lm
new file mode 100644
index 0000000..328f886

-              -
+_        19984
+a        9133
+i        8384
+t        7797
+e        6481
+n        6431
+s        5897
+l        4504
+o        4163
+u        4106
+k        4013
+ä        3354
+n_       2868
+m        2569
+a_       1987
+v        1905
+r        1827
+ta       1580
+en       1553
+is       1515
+h        1508
+y        1462
+st       1390
+in       1375
+p        1342
+j        1333
+an       1139
+si       1073
+tt       1030
+te       1008
+en_      982
+_k       980
+it       974
+ll       947
+aa       942
+ä_       902
+va       878
+el       855
+_t       851
+ka       846
+i_       835
+.        832
+se       818
+li       806
+tä       804
+oi       767
+ai       744
+._       739
+tu       734
+_o       719
+mi       715
+al       703
+on       684
+d        681
+_v       662
+et       654
+_j       641
+t_       635
+ti       632
+_m       628
+_s       620
+ja       616
+ma       596
+sa       595
+la       582
+ist      575
+_e       565
+to       565
+ks       557
+in_      554
+es       551
+il       538
+an_      536
+ki       527
+,        525
+ku       525
+,_       524
+us       520
+as       514
+nt       512
+ri       495
+ke       494
+at       491
+_p       485
+le       484
+ik       483
+ss       477
+ut       469
+ö        469
+sta      460
+ee       459
+uu       458
+ol       457
+ta_      451
+ne       445
+ää       445
+ei       443
+uo       436
+ko       433
+un       430
+lu       421
+ii       420
+e_       418
+nn       413
+_h       412
+ar       408
+er       402
+än       396
+ja_      386
+im       381
+on_      365
+_va      363
+aan      354
+_a       352
+me       350
+ak       345
+ssa      331
+na       330
+ie       329
+pa       327
+_ja      326
+ia       325
+tä_      322
+_l       319
+vi       317
+ise      316
+tta      315
+de       314
+os       312
+lli      309
+_ja_     304
+jo       295
+vä       290
+su       289
+au       287
+lis      286
+_on      285
+sä       284
+uk       280
+am       280
+ot       280
+ty       275
+ett      271
+ttä      270
+ni       269
+lä       267
+ksi      264
+nk       264
+ht       263
+ul       261
+ell      261
+sa_      259
+ha       257
+sen      257
+a.       254
+isi      253
+ste      253
+aan_     252
+_on_     252
+_ka      252
+sk       251
+kk       246
+itt      245
+ok       242
+a._      239
+all      239
+yt       239
+mä       237
+mu       237
+av       237
+_y       236
+lla      233
+taa      231
+ais      231
+een      230
+K        230
+lt       228
+s_       227
+ast      227
+iv       226
+ssa_     225
+ra       225
+-        223
+kse      223
+oit      220
+om       220
+T        219
+_ku      218
+än_      216
+aa_      214
+at_      214
+tel      211
+ui       210
+si_      208
+rk       207
+sta_     207
+_jo      203
+kä       202
+_K       201
+est      200
+em       200
+he       199
+_n       199
+vo       198
+_ta      196
+eh       196
+_ol      196
+S        196
+nta      196
+_ko      194
+je       194
+stä      194
+är       193
+ust      191
+mis      191
+ns       190
+pu       189
+nen      188
+ät       188
+toi      188
+iin      187
+ten      187
+min      186
+ista     185
+hd       184
+a,       184
+a,_      184
+sen_     183
+E        182
+lle      181
+vat      179
+ill      177
+no       176
+pä       176
+lm       176
+llis     175
+n.       175
+io       172
+ine      171
+n._      170
+pi       169
+uks      168
+ava      168
+ään      166
+nen_     165
+ah       165
+_mu      164
+tus      163
+mm       162
+_to      162
+ek       160
+int      159
+_r       159
+lin      158
+oim      158
+_T       158
+A        158
+imi      157
+tö       157
+la_      157
+jä       157
+aj       156
+yh       155
+o_       154
+lo       154
+oli      153
+een_     153
+le_      153
+_si      153
+g        152
+aik      151
+vat_     150
+L        149
+ur       149
+ti_      149
+sia      148
+ite      147
+inen     147
+ain      146
+sti      146
+lla_     146
+ys       145
+_mi      145
+val      144
+stu      144
+äm       144
+alli     143
+pe       143
+utt      142
+et_      141
+_tu      141
+eri      140
+_E       140
+:        140
+nki      139
+ir       139
+llä      138
+up       138
+äi       137
+ama      137
+_ha      135
+id       135
+_se      135
+po       134
+inen_    134
+tte      133
+nna      133
+ten_     132
+or       132
+ts       131
+nä       131
+yk       131
+äs       131
+_S       130
+ses      130
+ve       130
+ess      129
+äl       129
+ita      129
+lai      129
+H        129
+van      127
+äk       127
+kin      127
+N        127
+_te      126
+den      126
+tee      126
+P        126
+kaa      126
+iin_     125
+kun      125
+ois      125
+sit      125
+oh       124
+V        124
+yö       124
+äv       124
+tav      124
+voi      124
+ia_      123
+I        123
+oll      123
+maa      122
+ih       122
+oj       122
+rj       121
+ro       121
+ikk      120
+so       120
+oo       120
+oimi     120
+do       120
+pp       119
+M        119
+_ei      118
+toim     118
+op       118
+uut      118
+tet      118
+_i       118
+_ma      117
+vai      117
+lä_      116
+u_       116
+sy       116
+kau      116
+utta     116
+un_      115
+eu       115
+ssä      115
+tti      115
+_sa      115
+mp       114
+eis      114
+ka_      112
+että     112
+taa_     111
+_et      111
+hu       111
+itu      111
+suu      111
+den_     111
+ksen     110
+ap       110
+_ke      110
+uv       110
+tam      110
+yv       109
+aup      109
+stä_     109
+asta     109
+äy       109
+kan      108
+nu       108
+ukse     108
+_toi     107
+ien      107
+hi       107
+iss      107

new file xapian-applications/omega/langclass/french.lm

diff --git a/xapian-applications/omega/langclass/french.lm b/xapian-applications/omega/langclass/french.lm
new file mode 100644
index 0000000..5080d9c

-              -
+_        20800
+e        7258
+i        4051
+s        4003
+a        3972
+n        3903
+r        3650
+t        3590
+u        2968
+o        2823
+l        2723
+e_       2632
+d        2241
+s_       1721
+_d       1693
+c        1663
+p        1528
+é        1320
+m        1297
+es       1164
+t_       1106
+_l       1079
+de       1048
+on       959
+_de      940
+en       939
+_p       852
+nt       825
+le       808
+es_      791
+re       777
+,        721
+,_       720
+n_       703
+de_      685
+'        670
+an       667
+_de_     645
+v        641
+_s       610
+r_       596
+_c       594
+er       585
+ai       575
+_a       558
+_e       554
+ou       554
+q        549
+qu       538
+is       530
+te       528
+ti       525
+ur       519
+it       514
+g        498
+a_       490
+f        480
+la       476
+in       475
+_le      441
+me       436
+nt_      432
+.        427
+b        427
+ra       423
+io       416
+ent      415
+._       404
+ne       395
+ns       392
+ion      383
+h        381
+ue       376
+se       371
+le_      370
+ar       370
+ie       362
+co       361
+at       359
+tr       359
+et       349
+pr       342
+ce       336
+au       328
+u_       321
+il       314
+_r       313
+_la      304
+un       303
+eu       303
+st       300
+re_      296
+ro       290
+la_      288
+on_      287
+_m       286
+_la_     283
+que      281
+_qu      280
+_q       280
+po       275
+tio      273
+tion     273
+pa       273
+li       271
+_t       269
+nc       268
+si       266
+_pr      265
+ri       264
+al       263
+ui       262
+_co      259
+i_       255
+ta       255
+é_       251
+x        247
+em       244
+l_       243
+et_      238
+_l'      236
+l'       236
+les      233
+ns_      233
+ir       232
+_le_     228
+ent_     227
+or       226
+ré       224
+_f       224
+ne_      222
+à        221
+ve       220
+ch       220
+it_      219
+di       219
+oi       217
+-        216
+ni       215
+à_       215
+les_     215
+d'       214
+el       212
+ss       212
+_n       212
+ut       211
+our      210
+des      210
+"        208
+ur_      207
+nd       207
+er_      206
+ait      206
+ion_     204
+rs       202
+_en      201
+_et      200
+j        200
+_d'      200
+ll       199
+_des     198
+des_     197
+_pa      197
+té       196
+_et_     195
+_à       195
+_à_      195
+om       193
+ma       192
+ati      190
+_des_    189
+L        188
+so       187
+_u       185
+è        184
+_"       183
+sa       182
+_po      181
+tre      181
+dé       181
+ue_      180
+pe       179
+en_      179
+ont      178
+_un      178
+_L       178
+us       176
+_les     176
+_les_    176
+rt       176
+is_      173
+_i       173
+du       172
+e,_      171
+e,       171
+na       171
+s,       170
+s,_      170
+as       169
+men      169
+M        167
+ait_     167
+'a       166
+vi       162
+ci       159
+ant      158
+_au      158
+da       157
+_M       157
+ation    155
+atio     155
+con      154
+que_     153
+ons      153
+eur      151
+est      149
+me_      149
+mi       149
+par      148
+tion_    148
+_so      147
+te_      147
+res      144
+lo       144
+ment     144
+és       144
+ans      143
+_du      142
+du_      141
+ux       141
+un_      140
+y        138
+pro      138
+_du_     136
+_dé      136
+ce_      135
+_se      134
+_re      134
+pl       133
+A        132
+ge       131
+ic       131
+su       130
+x_       129
+ien      129
+nce      129
+"_       129
+ac       128
+il_      128
+qui      128
+_pro     127
+no       127
+av       126
+_v       125
+_o       125
+rs_      125
+ans_     124
+eme      124
+bl       123
+emen     122
+_en_     122
+iqu      122
+ct       122
+iq       122
+lle      122
+nn       121
+ts       121
+ement    121
+ét       120
+_"_      120
+ér       119
+té_      119
+_ce      119
+mp       119
+ire      119
+ui_      119
+to       118
+he       117
+_é       117
+ca       117
+_j       116
+ec       116
+va       116
+_par     116
+ée       115
+_con     115
+se_      114
+tre_     113
+ique     112
+dan      111
+éc       111
+ha       110
+une      110
+P        110
+lu       110
+ux_      109
+_b       108
+s.       108
+pou      108
+_pou     108
+ier      107
+C        107
+ais      106
+s._      105
+ain      104
+_un_     104
+nte      103
+'e       103
+mo       103
+mm       103
+ment_    102
+une_     102
+com      101
+_P       101
+'i       101
+_ma      100
+do       99
+ant_     98
+anc      98
+che      97
+ap       97
+ont_     97
+_que     97
+os       97
+urs      96
+_di      96
+fi       96
+im       96
+pour     96
+_pour    96
+ê        95
+ts_      95
+_g       95
+our_     94
+_sa      94
+ntr      94
+_da      94
+_ré      93
+rai      93
+rm       93
+_qui     93
+e.       92
+am       92
+_com     91
+uv       91
+_C       91
+D        91
+qui_     90
+e._      90
+pu       89
+_qui_    88
+ia       87
+_dan     87
+_dans    87
+dans     87
+ter      87
+fo       87
+son      87
+dans_    87
+id       86
+ag       86
+ine      86
+tu       85
+ran      85
+au_      85
+ol       85
+oc       84
+est_     84
+st_      84
+enc      84
+F        82
+_tr      81
+'u       81
+tai      81
+ell      80
+R        79
+_su      79
+S        79
+ions     79
+pré      79
+sé       78
+ab       78
+né       77
+_que_    77
+_in      77
+_av      76
+pour_    76
+fa       76
+rr       76
+air      75
+_ch      75
+_a_      75
+ba       74
+_pl      74
+gr       74
+tt       74
+ssi      74
+rd       73
+pas      73
+bi       73

new file xapian-applications/omega/langclass/german.lm

diff --git a/xapian-applications/omega/langclass/german.lm b/xapian-applications/omega/langclass/german.lm
new file mode 100644
index 0000000..eb4eda0

-              -
+_        31586
+e        15008
+n        9058
+i        7299
+r        6830
+t        5662
+s        5348
+a        4618
+h        4176
+d        4011
+er       3415
+en       3412
+u        3341
+l        3266
+n_       2848
+c        2636
+ch       2460
+g        2407
+o        2376
+e_       2208
+r_       2128
+m        2077
+_d       1948
+de       1831
+en_      1786
+ei       1718
+er_      1570
+in       1568
+te       1505
+ie       1505
+b        1458
+t_       1425
+f        1306
+k        1176
+ge       1144
+s_       1137
+un       1113
+,        1104
+,_       1099
+w        1099
+z        1060
+nd       1039
+he       1004
+st       989
+_s       952
+_de      949
+.        909
+_e       906
+ne       906
+der      880
+._       847
+be       841
+es       829
+ic       796
+_a       791
+ie_      779
+is       769
+ich      763
+an       755
+re       749
+di       732
+ein      730
+se       730
+"        720
+ng       709
+_i       706
+sc       683
+sch      681
+it       673
+der_     652
+h_       651
+ch_      642
+S        630
+le       609
+p        609
+ä        607
+ü        603
+au       603
+v        602
+che      599
+_w       596
+d_       585
+die      576
+_di      572
+m_       562
+_die     559
+el       548
+_S       540
+_der     529
+li       527
+_der_    523
+si       515
+al       514
+ns       507
+on       501
+or       495
+ti       490
+ten      487
+ht       486
+die_     485
+_die_    483
+D        479
+rt       478
+nd_      476
+_u       470
+nt       468
+A        466
+in_      464
+den      461
+cht      447
+und      443
+me       440
+_z       429
+ung      426
+ll       423
+_un      421
+_ei      419
+_n       415
+hr       412
+ine      412
+_A       408
+_ein     405
+ar       404
+ra       403
+_v       400
+_g       400
+as       395
+zu       392
+et       389
+em       385
+_D       380
+eine     376
+gen      376
+g_       376
+da       368
+we       366
+K        365
+lt       360
+B        354
+_"       353
+nde      349
+ni       347
+und_     345
+E        345
+ur       345
+_m       342
+ri       341
+ha       340
+eh       339
+ten_     338
+es_      336
+_K       336
+_und     335
+ig       335
+_b       335
+hen      334
+_und_    332
+_au      329
+_B       327
+_da      325
+_zu      324
+_in      322
+at       321
+us       318
+wi       307
+n,       305
+n,_      304
+nn       304
+te_      301
+eit      301
+_h       300
+ter      299
+M        298
+n.       295
+ß        294
+ng_      289
+sche     289
+-        283
+rs       282
+den_     282
+_si      280
+G        280
+im       278
+_ge      277
+chen     276
+rd       273
+_E       273
+n._      270
+icht     270
+rn       268
+uf       267
+isch     264
+isc      264
+nen      263
+_in_     262
+_M       260
+_er      257
+ich_     255
+ac       253
+lic      252
+_G       252
+ber      252
+la       251
+vo       251
+eb       250
+ke       249
+F        248
+as_      248
+hen_     248
+ach      245
+en,      244
+ung_     243
+lich     243
+ste      243
+en,_     243
+_k       241
+ben      241
+_f       241
+en.      241
+_be      239
+it_      239
+L        238
+_se      237
+mi       236
+ve       236
+na       236
+on_      236
+P        235
+ss       234
+ist      234
+ö        234
+ht_      233
+ru       233
+st_      229
+_F       229
+ts       227
+ab       226
+W        226
+ol       225
+_eine    225
+hi       225
+so       224
+em_      223
+"_       223
+ren      222
+en._     221
+chen_    221
+R        221
+ta       221
+ere      220
+ische    219
+ers      218
+ert      217
+_P       217
+tr       217
+ed       215
+ze       215
+eg       215
+ens      215
+ür       213
+ah       212
+_vo      212
+ne_      211
+cht_     210
+uc       209
+_wi      209
+nge      208
+lle      208
+fe       207
+_L       207
+ver      206
+hl       205
+V        204
+ma       203
+wa       203
+auf      201
+H        198
+_W       195
+T        195
+nte      193
+uch      193
+l_       192
+sei      192
+nen_     190
+u_       189
+_den     189
+_al      189
+_V       188
+t.       188
+lte      187
+ut       186
+ent      184
+sich     183
+sic      183
+il       183
+ier      182
+am       181
+gen_     180
+sen      179
+fü       178
+um       178
+t._      177
+f_       174
+he_      174
+ner      174
+nst      174
+ls       174
+_sei     173
+ro       173
+ir       173
+ebe      173
+mm       173
+ag       172
+ern      169
+t,_      169
+t,       169
+eu       169
+ft       168
+icht_    167
+hre      167
+Be       166
+nz       165
+nder     165
+_T       164
+_den_    164
+iche     163
+tt       163
+zu_      162
+and      162
+J        161
+rde      160
+rei      160
+_we      159
+_H       159
+ige      159
+_Be      158
+rte      157
+hei      156
+das      155
+aus      155
+che_     154
+_das     154
+_zu_     154
+tz       154
+_ni      153
+das_     153
+_R       153
+N        153
+des      153
+_ve      153
+_J       152
+I        152
+_das_    152
+men      151
+_so      151
+_ver     151
+_auf     150
+ine_     150
+_ha      150
+rg       149
+ind      148
+eben     148
+kt       147
+mit      147
+_an      147
+her      146
+Ge       146
+Sc       145
+_sich    145
+U        145
+Sch      145
+_sic     145
+end      145
+Di       144
+abe      143
+ck       143
+sse      142
+ür_      142
+ell      142
+ik       141
+o_       141
+nic      141
+nich     141
+sa       141
+_fü      140
+hn       140
+zi       140
+no       140
+nicht    140
+im_      139
+von_     139
+von      139
+_nic     139
+_nich    139
+eine_    139
+oc       138
+wei      138
+io       138
+schen    138
+gt       138

new file xapian-applications/omega/langclass/italian.lm

diff --git a/xapian-applications/omega/langclass/italian.lm b/xapian-applications/omega/langclass/italian.lm
new file mode 100644
index 0000000..543cadc

-              -
+_        25028
+a        7570
+e        6477
+i        5481
+o        5104
+l        3905
+n        3866
+r        3502
+t        2934
+c        2862
+s        2862
+a_       2504
+e_       2404
+d        2004
+i_       1749
+o_       1679
+u        1650
+v        1611
+p        1561
+m        1414
+_c       1325
+,        1192
+,_       1192
+_s       1190
+_d       1094
+g        1067
+an       925
+er       915
+_a       914
+_p       895
+la       858
+_l       830
+re       799
+ar       769
+h        762
+no       753
+co       726
+va       698
+_e       657
+n_       656
+on       656
+ra       653
+to       651
+f        638
+di       638
+_i       634
+ch       634
+ll       633
+l_       624
+la_      598
+ta       593
+el       576
+in       567
+_m       558
+en       529
+b        528
+ri       525
+_co      523
+_n       523
+_di      522
+li       513
+av       507
+al       501
+le       494
+ia       492
+se       484
+ol       479
+_f       477
+or       477
+te       469
+_e_      467
+ve       454
+at       449
+de       447
+.        443
+ne       429
+va_      428
+ca       426
+._       422
+tt       422
+re_      415
+nt       415
+io       411
+_v       407
+pe       405
+z        392
+to_      391
+_ch      389
+na       384
+si       384
+'        383
+he       382
+no_      379
+ci       374
+_la      373
+ro       371
+_g       370
+st       368
+cc       366
+he_      362
+di_      362
+ma       358
+ev       354
+che      354
+es       352
+me       352
+pa       351
+_t       349
+ti       348
+_di_     347
+ss       345
+che_     344
+a,_      337
+a,       337
+nd       335
+o,       333
+o,_      333
+ell      330
+gl       323
+sa       322
+il       322
+gli      321
+da       318
+as       318
+do       314
+_che     308
+_che_    306
+eva      306
+_la_     300
+lla      298
+le_      293
+un       291
+_pe      290
+_de      288
+q        283
+qu       283
+ava      280
+po       277
+on_      275
+r_       273
+li_      273
+_b       269
+_il      268
+_il_     268
+il_      268
+lo       267
+om       263
+e,       263
+e,_      263
+ni       258
+tr       258
+so       255
+ra_      253
+os       251
+_in      249
+_u       248
+per      244
+are      243
+et       243
+_se      240
+ano      239
+si_      238
+_ca      238
+_qu      238
+lla_     238
+_q       238
+_a_      236
+ac       236
+_r       234
+ic       233
+_no      232
+ie       227
+fa       227
+hi       226
+del      225
+ua       222
+_per     218
+ce       218
+_ma      216
+sc       216
+_del     215
+mi       212
+_un      208
+chi      206
+era      205
+i,       205
+i,_      205
+su       203
+and      202
+vo       202
+_fa      201
+eva_     200
+ano_     199
+gli_     197
+non      196
+pi       196
+vi       195
+er_      195
+_al      194
+se_      193
+_ne      192
+_non     191
+am       190
+is       187
+ava_     187
+_non_    186
+non_     186
+in_      185
+ent      185
+_si      184
+_pa      184
+com      183
+!        182
+_le      182
+_su      181
+uo       181
+el_      180
+!_       180
+l'       178
+ue       177
+te_      177
+_com     177
+are_     176
+pr       176
+_in_     176
+van      172
+mo       172
+ta_      171
+gn       167
+ere      166
+na_      166
+tto      163
+it       161
+_per_    161
+per_     161
+é        161
+all      160
+ess      159
+ut       159
+col      158
+acc      157
+gi       155
+lo_      154
+oc       154
+vano     153
+io_      153
+_av      151
+ndo      151
+é_       151
+ato      149
+ave      148
+_st      147
+me_      147
+'a       146
+ia_      144
+con      143
+mp       143
+fi       142
+ett      142
+_si_     141
+_pi      140
+era_     140
+ti_      140
+ó        140
+vano_    140
+_gl      139
+qua      139
+ella     139
+sta      138
+ome      137
+S        137
+_gli     137
+_S       137
+ad       136
+_ve      134
+ant      134
+ne_      134
+ó_       133
+sp       133
+do_      133
+_po      132
+ro_      132
+ov       132
+_le_     131
+ella_    130
+sse      129
+_con     128
+ir       128
+_vi      128
+ig       127
+_gli_    127
+_ave     127
+vev      127
+un_      126
+ot       126
+veva     125
+dell     125
+que      125
+a.       125
+_o       125
+a._      124
+tu       124
+cia      123
+za       123
+_que     123
+_da      121
+par      121
+_pr      120
+cch      120
+_dell    120
+eg       119
+_sa      119
+o._      119
+o.       119
+_col     118
+lt       118
+_un_     118
+rt       118
+ur       117
+_vo      117
+_me      117
+ome_     117
+L        116
+ap       116
+_L       116
+zi       116
+nto      116
+og       115
+_an      115
+_so      115
+em       114
+ag       114
+be       111
+ni_      111
+im       110
+cchi     110
+ver      110
+lle      109
+nz       109
+cci      109
+_ri      109
+nc       108
+_er      108
+come_    107
+come     107
+aveva    107
+ui       107
+avev     107
+tto_     107
+_come    106
+ed       106
+P        105
+man      105
+_P       105
+rs       105
+occ      104
+ndo_     103
+ato_     103
+_qua     103
+_era     103
+ari      102
+ba       100
+_mo      100
+nel      100
+id       99
+men      98
+_fi      98
+_all     98
+rr       97
+_do      97
+_avev    97
+att      97
+l'a      96
+ei       96
+zz       96
+;        96
+vol      95
+pp       95
+tra      95
+;_       95
+ere_     94
+lle_     94
+nda      94
+utt      94
+est      93
+_nel     93
+ul       92
+ola      92
+iv       92
+ando     90
+ale      90
+lu       90
+rn       90
+e.       89
+e._      89
+ll'      89
+tta      88
+nte      87
+_l'      87
+uel      87

new file xapian-applications/omega/langclass/norwegian.lm

diff --git a/xapian-applications/omega/langclass/norwegian.lm b/xapian-applications/omega/langclass/norwegian.lm
new file mode 100644
index 0000000..f2c3cec

-              -
+_        22970
+e        6833
+n        4206
+r        3516
+t        3112
+a        2587
+s        2440
+i        2112
+l        1901
+o        1900
+n_       1875
+r_       1761
+k        1713
+g        1630
+en       1615
+m        1508
+e_       1450
+d        1444
+er       1436
+h        1306
+t_       1300
+_h       1180
+_s       1148
+er_      1105
+v        982
+en_      976
+an       919
+.        901
+._       791
+_.       781
+et       770
+g_       762
+_._      726
+å        725
+u        719
+f        709
+p        702
+ha       682
+_ha      672
+de       657
+te       651
+_e       621
+et_      614
+re       581
+ne       565
+_o       554
+an_      544
+ke       534
+_,       522
+,_       522
+,        522
+_,_      522
+_f       519
+_m       515
+or       503
+_d       483
+_i       480
+å_       479
+se       476
+m_       469
+nn       454
+b        449
+me       441
+ø        434
+_a       413
+st       404
+_t       398
+og       380
+_v       377
+_og      366
+ar       364
+el       364
+le       361
+i_       356
+om       353
+og_      351
+_og_     351
+li       350
+_k       346
+_de      339
+ge       339
+han      337
+y        333
+_han     332
+ve       330
+kk       323
+in       311
+_b       307
+fo       301
+j        301
+il       298
+_H       291
+H        291
+han_     288
+_han_    288
+for      287
+ik       281
+l_       278
+kke      277
+tt       276
+ti       270
+ne_      270
+d_       269
+ed       269
+om_      268
+nne      266
+_me      264
+ng       257
+_er      257
+_fo      256
+eg       256
+_se      256
+_g       256
+un       255
+ig       255
+sk       253
+_er_     252
+_p       252
+_for     250
+ke_      249
+_n       238
+_l       233
+al       232
+ør       222
+s_       221
+ar_      215
+at       214
+_en      211
+he       211
+pe       209
+_i_      208
+am       200
+es       200
+si       200
+enn      197
+det      195
+or_      193
+vi       190
+ns       189
+ikk      188
+det_     185
+so       185
+un_      183
+il_      181
+nd       181
+te_      181
+"_       180
+"        180
+_"_      180
+_"       180
+em       179
+_ti      176
+kke_     176
+lig      174
+ten      174
+Ha       173
+_Ha      173
+re_      172
+ikke     168
+je       165
+Han      165
+ter      165
+_Han     165
+eg_      164
+på       164
+_på      163
+_si      163
+_å       163
+_Han_    162
+Han_     162
+på_      162
+_på_     161
+til      160
+som      160
+_so      159
+den      159
+_det     157
+ed_      155
+ll       155
+_ik      155
+rt       155
+som_     153
+ra       152
+a_       152
+har      152
+nt       152
+de_      152
+tr       151
+v_       151
+_har     151
+ka       151
+ig_      150
+_som     150
+for_     150
+_som_    150
+_en_     149
+hu       149
+_ikk     148
+_ham     148
+ham      148
+ste      148
+_det_    148
+_ikke    148
+enne     148
+ikke_    148
+har_     147
+nge      147
+D        147
+_har_    147
+_D       147
+am_      147
+ere      147
+ham_     146
+_ham_    146
+it       145
+_he      144
+_til     144
+av       143
+va       140
+men      140
+år       140
+_ve      140
+_hu      139
+ta       139
+pen      137
+sp       137
+_st      135
+tte      135
+la       135
+_E       133
+E        133
+den_     130
+is       130
+til_     128
+_r       128
+tt_      128
+år_      127
+k_       124
+_å_      124
+ri       124
+_til_    124
+at_      123
+ene      123
+seg      123
+_av      123
+med      122
+_vi      122
+_seg     122
+seg_     121
+_seg_    121
+_for_    120
+nne_     120
+ut       120
+_u       119
+mm       119
+mme      119
+De       118
+_De      118
+_at      118
+_hun     117
+hun      117
+ko       117
+be       116
+_at_     115
+ter_     115
+pen_     114
+ker      113
+hun_     113
+_hun_    113
+on       111
+lig_     111
+..       110
+hen      107
+_med     107
+rs       106
+ser      106
+med_     105
+_men     104
+_hen     104
+_sk      104
+_med_    104
+ak       103
+ans      103
+ker_     102
+av_      101
+_ka      101
+no       100
+ver      100
+ler      99
+J        99
+spe      99
+ten_     99
+_J       99
+ene_     98
+ld       98
+hv       98
+_av_     98
+ger      97
+ni       96
+gen      96
+ie       95
+ser_     94
+_et      94
+spen     94
+_hv      94
+men_     93
+Espe     92
+Es       92
+_Esp     92
+_Es      92
+_Espe    92
+Esp      92
+_al      92
+Espen    92
+lle      89
+rem      89
+id       89
+fø       89
+ei       88
+inn      88
+rd       88
+enne_    88
+_henn    87
+henne    87
+henn     87
+kt       86
+spen_    86
+_om      86
+ler_     86
+da       86
+ett      86
+itt      86
+bl       85
+to       85
+_Je      84
+ger_     84
+Je       84
+æ        84
+ma       83
+ing      83
+ær       83
+ns_      83
+eli      82
+ang      82
+_be      82
+så       82
+_den     82
+pp       81
+rk       81
+dr       81
+oe       81
+ss       81
+_fø      80
+ek       80
+le_      79
+_no      79
+kj       78
+elig     78
+nes      78
+nn_      77
+nk       77
+fr       77
+sl       77
+my       77
+kan      77
+så_      76
+as       76
+_om_     76
+_kan     75
+_ko      75
+_bl      73
+Hu       73
+nen      73
+_Hu      73
+eng      73
+gj       73
+rt_      72
+ge_      72
+ba       72
+lv       71
+rer      71
+nde      71
+ls       70
+lo       70
+ga       70
+_noe     70
+ro       70
+_den_    70
+_ut      70
+noe      70
+Hun      69
+Hun_     69
+_in      69
+_Hun     69
+_Hun_    69
+ren      68
+øre      68
+ør_      68
+sen      68
+sa       67

new file xapian-applications/omega/langclass/portuguese.lm

diff --git a/xapian-applications/omega/langclass/portuguese.lm b/xapian-applications/omega/langclass/portuguese.lm
new file mode 100644
index 0000000..4e1a5d7

-              -
+_        35328
+a        10423
+e        10132
+o        8919
+s        6795
+r        6033
+i        5443
+n        4588
+d        4531
+t        4217
+m        3476
+u        3404
+o_       3240
+a_       3029
+e_       2879
+c        2756
+s_       2461
+_d       2379
+l        2307
+p        2242
+_a       1753
+de       1751
+,        1660
+,_       1658
+_e       1454
+es       1447
+os       1412
+ra       1343
+_p       1328
+nt       1302
+_de      1248
+do       1215
+en       1176
+re       1150
+as       1123
+v        1115
+m_       1113
+de_      1096
+er       1082
+g        1053
+_c       1047
+da       1008
+co       986
+os_      975
+te       974
+ar       950
+or       943
+q        938
+qu       938
+_s       908
+ta       902
+_de_     901
+_o       858
+se       841
+ue       831
+to       799
+ad       777
+.        761
+que      752
+em       751
+an       748
+f        746
+r_       745
+b        732
+st       718
+is       716
+al       712
+_qu      706
+_q       706
+in       701
+as_      696
+ã        695
+do_      685
+ent      678
+ão       677
+_n       671
+_co      660
+_a_      654
+_m       646
+on       645
+ç        624
+ri       623
+_que     619
+ma       602
+po       581
+ia       580
+ão_      575
+._       573
+na       572
+me       564
+ro       554
+_t       544
+pa       533
+da_      528
+h        523
+ue_      515
+ca       511
+que_     509
+nte      503
+no       499
+tr       498
+am       496
+em_      491
+_que_    487
+_se      485
+om       471
+io       460
+_do      459
+ti       448
+ci       445
+_da      444
+nd       442
+ei       435
+ra_      435
+pr       427
+_r       423
+_e_      420
+_f       420
+ss       412
+es_      412
+el       407
+id       406
+_o_      399
+_pa      390
+um       379
+pe       378
+_po      376
+la       374
+ir       371
+á        371
+ic       362
+di       362
+li       359
+é        359
+_re      353
+ve       353
+mo       350
+s,       349
+s,_      349
+ou       347
+com      340
+sa       338
+si       338
+men      337
+rt       331
+_i       330
+con      330
+o,       327
+_da_     326
+o,_      326
+se_      325
+_com     325
+ado      323
+to_      322
+ai       322
+it       320
+A        319
+ec       316
+dos      316
+_em      312
+ção      310
+aç       310
+çã       310
+ara      305
+so       299
+tu       299
+res      297
+im       296
+_pr      295
+mi       293
+ua       292
+nto      291
+ment     290
+í        290
+par      288
+_do_     287
+ce       286
+est      286
+u_       284
+ente     284
+S        278
+l_       278
+_u       278
+"        276
+ni       276
+z        274
+sta      273
+nc       272
+_em_     270
+P        269
+ção_     267
+_v       267
+at       267
+dos_     266
+_es      262
+«        259
+_«       259
+te_      258
+»        257
+va       255
+le       252
+ur       252
+_um      252
+vi       251
+_par     250
+a,       247
+a,_      247
+_con     247
+ant      242
+lo       240
+ia_      240
+gu       237
+ar_      235
+ac       235
+e,_      234
+e,       234
+no_      232
+eg       232
+il       232
+ns       232
+er_      231
+_ma      230
+por      230
+_in      228
+_l       226
+ó        225
+ont      224
+_no      223
+_P       222
+tra      220
+E        219
+ida      218
+is_      217
+ol       216
+açã      215
+ter      215
+ação     215
+_A       211
+un       211
+-        210
+_te      210
+or_      209
+ma_      208
+_pe      208
+ara_     208
+C        206
+ist      202
+para     202
+nta      201
+ais      201
+ut       198
+nte_     198
+j        197
+dad      196
+_na      195
+am_      195
+ade      193
+ica      191
+x        190
+al_      189
+O        188
+des      187
+_para    187
+ada      187
+nh       186
+_se_     186
+mp       185
+ndo      184
+R        183
+_por     181
+ação_    181
+para_    179
+eir      177
+ui       177
+vo       177
+ou_      177
+ta_      177
+M        176
+ria      175
+tos      175
+rr       174
+D        174
+io_      174
+br       174
+_di      173
+õ        173
+õe       173
+fo       173
+I        172
+ões      172
+_C       171
+mo_      171
+ov       170
+pro      169
+_os_     169
+_os      169
+das      167
+iv       166
+uma      165
+gr       165
+su       164
+fi       164
+um_      162
+na_      162
+ga       162
+ais_     161
+_S       161
+lh       159
+ort      159
+cia      158
+..       157
+_est     156
+cont     156
+ig       155
+á_       154
+ran      154
+ça       154
+om_      153
+_en      152
+dade     152
+_as      152
+ho       152
+ntr      151
+nto_     151
+fe       150
+N        149
+das_     149
+uma_     149
+ess      149
+é_       148
+ndo_     147
+ob       147
+»_       147
+ul       146
+ente_    146
+go       146
+ento     144
+ver      144
+_des     144
+gi       144
+ha       142
+cu       142
+idad     142
+av       141
+ões_     141
+_pro     141
+ura      141
+ap       139
+_com_    139
+_ca      139
+com_     139
+ao       139
+ne       138
+od       138
+_"       137
+_M       137
+pre      137
+ras      136
+_me      136
+_ao      136
+_no_     134
+oc       134
+str      133
+tes      133
+_b       133
+and      133
+_g       133
+ro_      133
+omo      133
+_dos     132
+_fo      132
+_dos_    132
+rn       132
+mento    131
+ito      131
+ev       131
+rio      130
+ass      130
+eu       130
+be       128
+os,      128
+os,_     128
+sp       127
+_uma     127
+ep       126
+tad      125
+s.       125
+_uma_    125
+_E       125
+idade    124
+_um_     124
+nã       124
+não      124
+ct       123
+ram      123
+ado_     123
+ela      123
+omo_     121
+iz       121
+_an      121

new file xapian-applications/omega/langclass/russian-iso8859_5.lm

diff --git a/xapian-applications/omega/langclass/russian-iso8859_5.lm b/xapian-applications/omega/langclass/russian-iso8859_5.lm
new file mode 100644
index 0000000..4768902

-              -
+_        76249
+Þ        19732
+Õ        16714
+Ð        14389
+Ø        13942
+â        13160
+Ý        12444
+á        9867
+à        8461
+Ò        7895
+Û        7330
+Ú        6498
+Ü        5935
+.        5725
+ã        5287
+Ô        5019
+ß        4877
+ï        4083
+,        3899
+,_       3878
+ë        3656
+ì        3376
+Ø_       3167
+_ß       3144
+Õ_       3135
+Þ_       3098
+-        3019
+×        2983
+_Ò       2952
+._       2930
+_á       2919
+ç        2887
+Ó        2876
+Ñ        2797
+áâ       2672
+_Ý       2631
+âÞ       2585
+..       2407
+_Ø       2316
+ÝÞ       2300
+-_       2294
+Ù        2281
+Ð_       2249
+ÝÐ       2057
+ï_       2029
+ÞÒ       1981
+ÝØ       1950
+_â       1944
+å        1874
+ÕÝ       1856
+_Þ       1774
+...      1744
+àÐ       1709
+ÝÕ       1685
+ßÞ       1636
+_-       1625
+ÚÞ       1616
+âÕ       1595
+àÞ       1584
+_Ú       1558
+_-_      1531
+Ù_       1521
+Õâ       1518
+Ö        1509
+_Ø_      1454
+âÐ       1433
+ÐÝ       1419
+Õà       1396
+Þâ       1389
+ì_       1381
+ÓÞ       1375
+ÐÛ       1370
+_ßÞ      1364
+àÕ       1345
+ÚÐ       1338
+ßà       1337
+ÒÐ       1329
+âØ       1306
+ÛØ       1300
+_Ô       1297
+_Ü       1290
+Õá       1284
+ÒÞ       1271
+çÕ       1256
+Þà       1245
+....     1232
+âì       1219
+Þá       1212
+è        1192
+î        1187
+Ò_       1168
+.....    1167
+ÞÝ       1147
+ÐÚ       1144
+æ        1109
+ÞÓ       1101
+ÛÞ       1099
+â_       1093
+àØ       1076
+Ü_       1074
+_ßà      1063
+ÞÛ       1062
+Ûì       1045
+_ÝÕ      1034
+ÕÛ       1029
+_Ñ       1026
+ØÝ       1000
+ÞÔ       998
+ÞÜ       996
+ÜÕ       993
+ë_       975
+ÒÕ       968
+áÚ       968
+_ÝÐ      966
+ÔÕ       946
+Ýë       943
+_à       931
+_ç       923
+Ðâ       913
+ÕÜ       910
+ã_       907
+×Ð       898
+å_       898
+ÛÕ       889
+âÞ_      881
+Øâ       878
+ÞÙ       875
+áÕ       862
+_Ò_      833
+_×       816
+ÚØ       816
+âà       807
+"        786
+âì_      769
+ÕÔ       767
+ÝÕ_      762
+áï       754
+ÛÐ       748
+ÞÑ       747
+ÜÞ       741
+ÔÐ       730
+ÓÞ_      715
+Ú_       713
+Øá       711
+_ã       702
+ÞÙ_      697
+ØÛ       694
+ÜÐ       692
+ÝÝ       687
+ÔÞ       662
+Ðá       660
+ÐÜ       656
+Øï       649
+ÖÕ       646
+Ð×       638
+áÞ       629
+ÝÐ_      619
+_Ó       615
+ÜØ       612
+_Ð       610
+í        609
+Òá       608
+.._      605
+Òë       604
+ÞÓÞ      604
+ØÜ       604
+_ÚÞ      600
+ÐÒ       597
+áÛ       594
+ØÕ       593
+_ÝÕ_     589
+_Õ       587
+_âÕ      583
+âã       583
+Øç       583
+àã       575
+Þáâ      571
+é        571
+Û_       570
+_í       569
+_ï       559
+°        556
+ÕÝØ      544
+Ø×       540
+ÕÚ       536
+ÞÒÐ      533
+ä        525
+:        519
+²        513
+ÐÝØ      511
+_Òá      510
+ØÙ       510
+½        508
+_ÚÐ      508
+!        503
+?        501
+ÔØ       498
+ÛØ_      489
+¿        488
+ßàÞ      486
+_àÐ      485
+áØ       484
+Øà       484
+_áâ      484
+ìÝ       484
+ÛìÝ      484
+:_       484
+áï_      480
+_×Ð      477
+ÑÞ       470
+_Û       469
+..._     465
+Ñë       464
+Øå       464
+¸        462
+ÕÓ       461
+âÒ       459
+ÝØï      458
+ïâ       454
+çâ       454
+íâ       445
+çÕá      442
+_âÞ      442
+Øï_      441
+ØÚ       440
+ÒØ       437
+ÐÚ_      436
+áâÐ      436
+ÞÓÞ_     435
+_²       434
+ØçÕ      433
+æØ       431
+çâÞ      431
+ëå       429
+_íâ      429
+Á        425
+_çâ      424
+_°       424
+î_       423
+ßÕ       422
+Ýï       422
+_çâÞ     422
+Ûï       419
+ÒáÕ      418
+Ôã       418
+ÕáÚ      415
+Ýâ       413
+ÚÐÚ      411
+áâÞ      411
+_Òë      409
+Ýã       408
+âá       406
+Ý_       406
+_¿       401
+¼        401
+ÝÞ_      399
+_ßàÞ     398
+_.       397
+àÞÒ      396
+æÕ       396
+Úâ       394
+Õáâ      394
+_"       393
+èÕ       393
+á_       392
+_Þâ      392
+¾        391
+_ÝÐ_     391
+àÕÔ      391
+çÕáÚ     390
+Þ-       390
+ÒÐÝ      388
+Ð,       385
+ÐÔ       384
+Ðï       384
+_ï_      383
+Ð,_      383
+âë       383
+?_       383
+_ÞÑ      380
+_ÒáÕ     380
+_âÐ      378
+_ÚÐÚ     376
+åÞ       375
+âÐÚ      375
+ÐÛì      374
+ÞÖ       373
+ëå_      372
+ÞÒÞ      372
+ØÒ       371
+_ÒÞ      369
+Üã       369
+_½       369
+ÕÙ       368
+ßàÕ      368
+×Ý       366
+ØçÕá     365
+ßØ       365
+ÕÓÞ      362
+_áÞ      360
+ÞÕ       360
+!_       360
+Ðâì      360
+áâØ      358
+Øå_      358
+âÝ       358
+ÜÕÝ      358
+âáï      356
+ØÕ_      356
+ØçÕáÚ    354
+ÑÕ       352
+_Ñë      352
+áâà      349
+Úã       349
+_ÜÞ      348
+Õâ_      348
+Â        346
+_ÜÕ      344
+ÕÒ       344
+ßàØ      343
+çØ       342
+ÜÝ       341
+ÝØï_     339
+Ðà       338
+ÝÝÞ      337
+ÞÒÐÝ     334
+Úá       334
+ãà       328
+_çÕ      328
+ÞÛì      328
+ãâ       327
+çâÞ_     324
+ÞÜ_      323
+Þß       323
+àÜ       322
+°_       322
+_çâÞ_    322
+íâÞ      322
+Þç       321
+Þ,_      320
+Þ,       320
+áÚÞ      319
+ÚÞÝ      319
+ÛÞÒ      318
+ëÙ       318
+ãá       317
+Þâ_      316
+ØàÞ      315
+áâÒ      314
+Ø,       314
+ØÙ_      313
+áá       313
+Ø,_      313
+âÞÜ      312
+ÐÕ       312
+ÕÝÝ      311
+Õ×       311
+ÝÞÙ      311
+_íâÞ     310
+º        309
+áÐ       309
+àÐ×      309
+Õß       309
+_ÔÞ      308
+ÞÛÞ      308
+áâì      308
+ãÔ       307
+ÔÕÛ      307
+_¸       305
+ÐÑ       305
+áì       303
+ÐÛìÝ     302
+ÞÚ       300
+áÚØ      300
+Ýëå      300
+_ßàØ     298
+çÐ       297
+_Ö       297
+Õ,       297
+Õ,_      297
+_°_      296
+_ÝØ      296
+_._      295
+âáï_     295
+ØØ       294
+×ÝÐ      293
+ï,       292
+ï,_      292
+_ßàÕ     291
+_Á       290
+ÝÞÙ_     290
+Ðï_      288
+_¾       288
+ÐÛØ      286
+ÖÕ_      285
+áß       285
+Øáâ      285
+Ýëå_     285
+×_       283
+_¼       283

new file xapian-applications/omega/langclass/russian-koi8_r.lm

diff --git a/xapian-applications/omega/langclass/russian-koi8_r.lm b/xapian-applications/omega/langclass/russian-koi8_r.lm
new file mode 100644
index 0000000..43dd334

-              -
+_        28256
+Ï        8957
+Å        7206
+Á        6230
+É        5966
+Ô        5385
+Î        5338
+Ó        4464
+Ò        3984
+×        3504
+Ì        3335
+Ë        2700
+Í        2441
+Ð        2324
+Ä        2230
+Õ        1840
+Ñ        1562
+Ù        1540
+_Ð       1505
+,        1492
+,_       1492
+Ø        1437
+Ï_       1423
+Å_       1335
+ÓÔ       1286
+Ú        1283
+Ç        1233
+Â        1232
+É_       1193
+ÔÏ       1175
+_Ó       1146
+Þ        1143
+_×       1118
+_Î       1062
+Á_       1032
+.        999
+ÎÏ       996
+ÅÎ       920
+Ï×       911
+._       908
+Ê        907
+ÎÁ       893
+ÒÏ       869
+ÒÁ       851
+ÎÉ       844
+Ñ_       808
+ÐÒ       786
+ÐÏ       775
+ËÏ       768
+Ö        763
+_Ï       735
+ÎÅ       730
+ÏÓ       723
+_É       721
+È        696
+ÒÅ       667
+_ÐÒ      629
+_Ë       626
+×_       621
+ÔÅ       620
+Ø_       616
+×Ï       599
+Ê_       597
+_ÐÏ      592
+ÇÏ       589
+ÅÒ       584
+ÌÉ       579
+ÔÁ       576
+ÅÔ       566
+Í_       562
+ÅÓ       548
+ÏÒ       545
+ÅÌ       545
+ÁÌ       544
+×Á       535
+ÔØ       533
+ÌÅ       528
+_Ä       522
+ÏÍ       520
+ËÁ       520
+À        518
+Û        510
+_Ô       507
+ÏÔ       502
+ÏÌ       500
+ÁÎ       498
+ÌØ       486
+ÏÄ       476
+ÁÔ       475
+ÔÉ       471
+ÉÔ       458
+ÏÎ       457
+ÏÇ       450
+Ã        450
+ÌÏ       449
+Ô_       448
+_ÎÁ      447
+ÎÙ       443
+ÄÅ       442
+_Í       438
+ÌÁ       431
+_×_      430
+ÓË       428
+_ÎÅ      424
+ÒÉ       400
+ÅÍ       396
+_Â       392
+_Þ       388
+ÞÅ       388
+ÁË       388
+_É_      385
+_Ò       382
+ÔÏ_      381
+ÉÎ       380
+ÍÅ       374
+ÄÁ       362
+Ù_       361
+×Å       350
+ÔØ_      348
+ÐÒÏ      347
+ÏÊ       346
+ÚÁ       338
+È_       336
+ÁÓ       335
+ÏÂ       328
+ÓÑ       326
+ÉÍ       323
+ÔÒ       321
+ÎÁ_      321
+ÓÏ       320
+ÅÄ       320
+ÏÓÔ      318
+ÉÅ       318
+ÍÏ       317
+ÎÎ       316
+ÓÅ       314
+-        314
+Á×       309
+ÖÅ       308
+Õ_       307
+ËÉ       306
+ÎÅ_      305
+ÇÏ_      302
+_Ú       300
+ÉÌ       295
+_ÐÒÏ     291
+Ý        289
+Ô×       288
+ÉÓ       285
+_Õ       275
+_ËÏ      274
+ÅÎÉ      274
+Ü        273
+ÎÏ_      272
+ÉÒ       271
+_Ç       271
+ÁÚ       267
+ÁÒ       266
+ÄÉ       265
+ÏÊ_      264
+ÏÇÏ      263
+ÁÍ       260
+ÐÅ       258
+×Ù       255
+ÍÉ       254
+ÄÏ       254
+ÓÔ×      247
+ÉÚ       246
+ÃÉ       246
+î        244
+Æ        240
+_Ü       239
+_Á       239
+Ë_       238
+ó        237
+ÅÓÔ      237
+_ÎÅ_     236
+ÂÙ       234
+ÉÑ       234
+ÒÕ       229
+ÅË       228
+ÓÉ       226
+ÔÅÌ      224
+ÉË       224
+ÌÉ_      222
+ÅÊ       222
+ÓÑ_      222
+ÎÔ       220
+ØÎ       218
+ÞÔ       216
+ÌØÎ      216
+ÏÅ       214
+ÍÁ       213
+_ÚÁ      211
+Ï×Á      211
+ÂÏ       210
+_Ì       210
+ÞÁ       209
+_î       208
+ÓÌ       205
+ÞÔÏ      204
+_ÞÔ      204
+ÅÔ_      203
+_ÞÔÏ     203
+ÜÔ       202
+Ó_       202
+×É       201
+ÁÑ       199
+ÅÎÎ      199
+ÔÏÒ      199
+_ÎÁ_     199
+ÓÔÁ      198
+ÏÖ       198
+ÉÅ_      197
+_ó       197
+_ÓÏ      195
+ÐÒÉ      194
+ËÔ       193
+Ì_       193
+×Ó       191
+ÏÍ_      190
+ÏÇÏ_     187
+_Ö       187
+ÅÇ       186
+_ÔÏ      186
+ÁÄ       186
+_ÒÁ      185
+_ÜÔ      184
+_ËÁ      184
+ÓÔÉ      183
+_Å       182
+Å×       182
+ÔÓ       181
+_ÓÔ      180
+ÌÑ       180
+ÔÎ       180
+ÓÐ       173
+ÉÉ       172
+ÏÞ       172
+À_       172
+ÐÒÅ      172
+ÏË       172
+ÁÔØ      171
+ÂÉ       171
+ÛÅ       170
+ÁÅ       169
+á        169
+ÏÒÏ      168
+ÙÈ       167
+Ï×Ï      166
+ÏÌØ      166
+ÁÎÉ      165
+ÞÔÏ_     164
+_ÞÔÏ_    163
+÷        163
+ÁÑ_      163
+ÉÈ       162
+Ï,_      160
+Ï,       160
+ÓÓ       160
+ÅÚ       159
+ÎÉÅ      158
+ÚÎ       157
+ÜÔÏ      157
+ÄÎ       156
+ÒÏ×      156
+ð        155
+Á,       155
+ÓËÏ      155
+_×Ï      155
+Á,_      155
+_ÂÙ      154
+ÙÅ       154
+ÝÅ       154
+_ÏÂ      154
+É,_      153
+É,       153
+ÎÎÏ      152
+_ÐÒÉ     151
+ÔÙ       150
+ÓÔÏ      150
+ÉÑ_      150
+ÍÕ       150
+É×       150
+_-       149
+ÒÅÄ      148
+ÉÔÅ      147
+_ÜÔÏ     146
+ÍÅÎ      146
+ÏÐ       146
+_ÐÒÅ     145
+ÉÊ       145
+ÅÌØ      145
+_÷       144
+_Ó_      144
+ÉÞ       144
+__      144
+_       144
+_       144
+ÈÏ       143
+ÅÇÏ      143
+ÑÔ       142
+ÔÓÑ      142
+ÐÅÒ      142
+ÙÊ       142
+ÐÁ       141
+ÏÔÏ      140
+-_       140
+ÁÐ       139
+ÏÚ       139
+ÓËÉ      138
+ÙÈ_      138
+ï        137
+ÓÁ       137
+ÙÅ_      137
+_ð       136
+Å,       136
+Å,_      136
+ÒÙ       136
+Î_       135
+_á       135
+ÇÉ       134
+_×Ù      134
+ÓÔØ      134
+ÁÓÔ      133
+ÖÅ_      133
+ÞÉ       133
+ÎÉÑ      133
+ÕÔ       133
+ÁÌÉ      132
+_-_      131
+ËÕ       131
+ÓØ       131
+_ÄÏ      129
+ÄÕ       129
+ÒÁÚ      129
+ÖÎ       129
+ÁÅÔ      129
+_ÍÏ      127
+ÖÉ       127
+_ÄÅ      127
+ÓÔÒ      127
+ØÎÏ      126
+ÔÕ       126
+_×Ó      126
+ÌØÎÏ     126
+ÌÅÎ      125
+ÁÌØ      125
+Ï×_      124
+×Ì       123
+ÉÂ       123
+ÁË_      123
+_ÐÅ      123
+ÔÅÌØ     123
+Ú_       122
+×Î       122
+ÁÀ       122
+ÅÎÔ      121
+ÐÏÌ      121
+ÉÈ_      121
+ÙÊ_      121
+ÓÎ       121
+ÎÏÇ      121
+ÃÅ       120
+_ÏÔ      120
+ÅÍ_      119
+ÉÏ       119
+_ÔÅ      118
+ËÁË      118
+_ÎÏ      117
+ÉÉ_      117
+ÉÔØ      117
+ë        116
+_ÉÚ      116
+ÕÓ       116
+ÎÏÓ      115
+ÂÅ       115
+ÕÄ       115
+ÅÒÅ      114
+ÂÌ       114
+ÉÔÅÌ     113
+ÅÇÏ_     113
+ÙÍ       113
+ÁÂ       113
+ÎØ       113
+ÎÏÊ      112
+ÎÉÅ_     112
+_Æ       112
+ÒÏÓ      111
+ËÒ       111
+_ËÁË     111
+ÛÉ       111
+Í,       111
+ÎÏ×      111
+Í,_      111
+ÔÏÍ      110
+ÅÅ       110
+ÔÏ×      109
+Ó×       109

new file xapian-applications/omega/langclass/russian-windows1251.lm

diff --git a/xapian-applications/omega/langclass/russian-windows1251.lm b/xapian-applications/omega/langclass/russian-windows1251.lm
new file mode 100644
index 0000000..6497c05

-              -
+_        21836
+î        5818
+à        4506
+å        4258
+è        3769
+ò        3394
+í        3254
+ñ        2594
+ë        2470
+ð        2346
+â        2227
+ê        1798
+ì        1709
+ó        1673
+ä        1638
+ï        1377
+,        1187
+,_       1172
+î_       1160
+ÿ        1059
+ü        1024
+û        1006
+å_       966
+á        945
+_ï       937
+ç        910
+_í       907
+è_       896
+òî       878
+ã        856
+_ñ       828
+_â       818
+à_       801
+÷        795
+.        789
+._       761
+ñò       655
+íå       617
+_è       616
+íà       575
+ø        568
+é        565
+ïî       549
+ðà       526
+íî       524
+ÿ_       522
+_ò       521
+_î       497
+_ä       496
+æ        484
+_ïî      477
+_ê       477
+ãî       472
+àë       470
+ü_       461
+íè       456
+îâ       454
+êî       452
+ðî       432
+êà       431
+ëè       425
+õ        413
+òà       403
+åí       402
+_ì       396
+_á       396
+âî       395
+îë       388
+òî_      384
+é_       383
+_íå      378
+_è_      375
+îð       369
+âà       367
+_íà      365
+ì_       364
+îì       363
+ïð       357
+ó_       357
+åë       353
+åð       352
+ëà       350
+èò       344
+îñ       344
+ë_       343
+òü       338
+äå       337
+ëî       334
+ðè       330
+ðå       328
+èë       326
+àê       326
+îò       323
+-        322
+îí       320
+åò       317
+þ        312
+àí       308
+âå       308
+â_       302
+_÷       299
+ò_       296
+çà       292
+íå_      292
+òå       291
+äà       291
+_ç       291
+îä       286
+àð       283
+àò       283
+_ïð      274
+åñ       264
+ìî       263
+û_       260
+îã       253
+_-       245
+_ó       245
+ê_       244
+îá       240
+ãî_      238
+ñÿ       235
+_íå_     235
+ìå       233
+ëü       229
+-_       225
+ñê       219
+_â_      217
+åì       217
+íû       215
+îé       215
+ñå       211
+áû       211
+êè       211
+÷ò       209
+òü_      209
+÷å       208
+_ã       206
+Í        206
+äî       205
+ö        205
+÷òî      203
+èí       203
+àñ       202
+_-_      202
+_÷ò      199
+_÷òî     199
+òè       197
+àâ       197
+íà_      197
+_å       195
+åä       192
+_ð       191
+æå       190
+àì       190
+åã       188
+àç       188
+òð       185
+_òî      184
+_Í       183
+èì       182
+_çà      181
+äè       175
+Â        174
+_êî      172
+ëå       170
+_Â       169
+îé_      168
+!        168
+÷òî_     165
+ìó       165
+íî_      164
+èñ       164
+í_       164
+ìè       163
+ñòà      163
+ù        162
+_÷òî_    162
+_áû      159
+ìà       158
+ðó       157
+âû       156
+âè       154
+âñ       154
+åãî      153
+èê       153
+èç       153
+ñü       153
+àø       152
+ûë       150
+_íà_     149
+ñ_       148
+òâ       148
+_ñò      146
+ñÿ_      146
+ëè_      146
+_ÿ       144
+îãî      143
+øå       141
+õ_       141
+àê_      141
+!_       139
+ñî       139
+êó       139
+áî       137
+ïðî      136
+àòü      136
+åãî_     135
+_êà      134
+_ìî      131
+èå       131
+îñò      130
+îì_      129
+î,       128
+_ãî      128
+î,_      127
+èâ       127
+ñë       126
+óò       126
+_òà      126
+íí       125
+àä       125
+Ñ        124
+íó       123
+î÷       122
+_âû      122
+_âñ      121
+_îí      120
+áûë      120
+ïà       120
+óä       120
+_Ñ       119
+ïðè      119
+îâî      119
+õî       118
+ý        117
+_áûë     117
+è,       115
+åé       115
+_äî      115
+àë_      114
+_æ       114
+è,_      114
+_à       113
+_ý       113
+îå       112
+åñò      112
+îðî      110
+çí       110
+_äå      110
+øè       109
+èä       109
+ñòî      109
+_ïðî     109
+_âî      108
+àëè      108
+íÿ       107
+øà       107
+ýò       107
+îæ       106
+à,       106
+Ï        106
+ûé       105
+îëü      105
+óñ       105
+_ýò      105
+_ïðè     104
+èõ       104
+ñü_      104
+ñè       104
+îï       104
+Ì        103
+à,_      103
+àÿ       103
+åç       102
+äåë      102
+_ðà      102
+_Ï       101
+îâà      101
+óæ       101
+âàë      101
+þ_       101
+êàê      100
+_ÿ_      100
+ó,       100
+æå_      100
+ñòâ      100
+äí       100
+÷è       100
+òó       100
+_õ       100
+_Ì       99
+ò,       99
+îê       99
+èòü      99
+åò_      99
+_ñî      99
+ëÿ       98
+àå       98
+_îò      98
+îãî_     98
+Ê        97
+âîð      97
+òí       97
+_ë       97
+ó,_      97
+äó       96
+_äà      96
+ò,_      96
+áà       96
+ïå       96
+ëà_      95
+áó       95
+áå       94
+ìó_      94
+_ìå      94
+÷à       94
+âñå      93
+òû       93
+êà_      92
+_êàê     91
+ìí       91
+òñ       90
+íü       90
+_îá      90
+?        90
+ðàç      89
+òàê      89
+_ñ_      89
+ñà       89
+å,       89
+æè       88
+ô        88
+_òàê     88
+èÿ       88
+è÷       88
+îí_      87
+ìåí      87
+å,_      87
+ûé_      86
+ë,       86
+ë,_      86
+òîì      86
+ðàí      86
+ýòî      86
+Íó       86
+È        86
+öè       85
+èå_      85
+âåð      85
+ñâ       84
+_îí_     84
+_âñå     84
+ðû       84
+_ýòî     84
+_È       84
+ç_       83
+ïè       83
+ëó       83
+À        83
+åíè      82
+èë_      82
+"        82
+ïîë      82
+àòü_     81
+òîð      81
+èëè      81
+êð       81
+ëñ       81
+òåë      81
+åíí      81
+îòî      80
+äà_      79
+èòå      79
+ñòð      79
+îâîð     79
+ãîâ      79
+îðè      79
+àíè      79
+_Íó      78
+ëñÿ      78
+_íè      78
+è.       77
+_ñâ      77
+è._      76
+à.       76
+_èç      76
+èø       76
+ùå       76
+ÿò       76
+îëî      76
+ü,       75
+Î        75
+êè_      75
+ü,_      75
+ëî_      75
+îç       74
+_åã      74
+ëüí      74
+üí       74
+ûå       74

new file xapian-applications/omega/langclass/spanish.lm

diff --git a/xapian-applications/omega/langclass/spanish.lm b/xapian-applications/omega/langclass/spanish.lm
new file mode 100644
index 0000000..e40317f

-              -
+_        25044
+e        7830
+a        7437
+o        5102
+s        4394
+n        4358
+i        4065
+r        3998
+l        3634
+d        3118
+c        2931
+t        2834
+u        2316
+a_       2269
+e_       2211
+s_       1862
+de       1679
+p        1673
+_d       1644
+m        1447
+_de      1443
+n_       1332
+o_       1301
+en       1295
+_e       1216
+es       1177
+_l       1132
+de_      1080
+la       1060
+os       1028
+_de_     1027
+_p       963
+l_       910
+ci       890
+_c       866
+_a       866
+os_      801
+ar       777
+er       775
+as       768
+ra       746
+nt       736
+_la      727
+re       726
+,_       724
+,        724
+el       722
+ta       708
+ue       701
+g        678
+on       674
+al       670
+_s       666
+co       653
+b        637
+an       622
+v        616
+la_      616
+or       612
+te       599
+st       596
+el_      580
+_la_     573
+y        545
+to       543
+r_       517
+ad       512
+ó        511
+do       504
+ro       504
+se       488
+as_      488
+q        487
+qu       487
+.        479
+._       478
+en_      475
+ca       460
+in       459
+un       456
+_co      450
+es_      449
+ic       449
+_en      440
+ac       440
+que      439
+na       439
+lo       430
+_m       430
+f        429
+ent      428
+da       412
+ue_      411
+po       405
+le       399
+_q       399
+_qu      399
+que_     393
+_que     388
+ie       386
+h        385
+pa       382
+y_       371
+ti       367
+_que_    365
+_en_     365
+_y       361
+tr       358
+_el      353
+ri       349
+ia       342
+_el_     333
+_se      330
+ió       330
+_y_      330
+io       329
+pr       320
+ón       317
+ec       317
+no       314
+id       301
+í        300
+mi       299
+_t       299
+ión      292
+nte      292
+me       286
+aci      283
+do_      279
+li       276
+con      276
+nd       273
+est      272
+ni       272
+á        271
+di       270
+_es      268
+_lo      267
+ció      265
+ma       265
+ón_      264
+_pr      263
+_r       261
+ción     255
+z        254
+ra_      251
+si       247
+ión_     246
+oc       245
+nc       244
+_u       244
+_po      243
+los      243
+or_      242
+_con     241
+is       239
+del      238
+_del     237
+ado      236
+se_      233
+_i       233
+los_     231
+_re      231
+por      229
+_del_    228
+sta      228
+del_     228
+al_      228
+ne       226
+_h       226
+cu       225
+_n       225
+_a_      224
+_v       224
+_un      223
+ce       222
+so       220
+ción_    218
+res      218
+vi       217
+om       216
+te_      212
+_pa      211
+ien      210
+j        209
+E        208
+_los     207
+_los_    207
+to_      206
+ol       204
+it       203
+am       202
+ació     201
+rt       201
+ación    201
+pe       197
+ha       190
+_se_     189
+nto      188
+_o       184
+_E       184
+on_      184
+sa       183
+na_      182
+ta_      181
+su       180
+cia      180
+mo       180
+ct       178
+par      178
+_f       177
+_por     176
+eg       172
+_in      172
+ur       170
+L        168
+ve       166
+im       164
+ga       163
+_est     161
+ar_      161
+ab       160
+_L       159
+tu       158
+at       158
+no_      157
+s,       157
+s,_      157
+_por_    156
+por_     156
+las      156
+ba       154
+o,_      154
+o,       154
+ento     151
+et       150
+C        150
+_ha      149
+A        149
+tra      148
+ient     148
+_al      147
+a,_      146
+ica      146
+a,       146
+pro      146
+ado_     145
+ici      144
+_ca      144
+an_      144
+las_     143
+ara      143
+nci      143
+ente     142
+ú        142
+rr       142
+ir       142
+da_      141
+em       141
+ll       140
+il       139
+ía       138
+iv       138
+_su      138
+_par     136
+ul       136
+ant      136
+_A       135
+mp       135
+_las_    134
+_las     134
+_C       134
+_pro     133
+men      132
+P        132
+des      131
+com      130
+ion      130
+era      130
+ed       129
+ida      129
+sp       128
+gu       127
+nte_     127
+ns       127
+za       126
+dos      125
+M        125
+cio      125
+les      125
+_P       124
+bl       124
+_com     122
+s._      122
+s.       122
+_M       121
+ua       120
+nta      120
+mu       119
+_no      118
+dad      118
+ñ        117
+é        116
+un_      116
+va       116
+ist      116
+nes      116
+iento    115
+one      114
+ara_     113
+S        113
+ada      113
+_un_     113
+fi       111
+pre      110
+tos      110
+ter      109
+ot       109
+esta     108
+_me      107
+ido      107
+ob       107
+_g       105
+br       105
+go       105
+ea       104
+nto_     104
+ona      103
+pu       103
+dos_     103
+tro      103
+ier      103
+para     102
+ment     101
+ag       101
+ero      101
+gr       101
+rec      101
+bi       101
+ia_      100
+una      100
+nic      99
+ncia     99
+ía_      98
+a._      98
+tos_     98
+a.       98
+ran      98
+lo_      97
+ones     97
+rm       96
+lu       96
+ron      95
+con_     95
+ó_       95
+nes_     95
+_ci      95
+ante     94
+ch       94
+_con_    94
+_para    94
+ntr      93
+una_     93
+para_    93
+mie      92
+ico      92
+fe       92
+les_     92
+uc       92
+ip       91
+sto      91
+_ma      91
+ui       91
+sta_     91
+_ve      90
+cion     90
+"        90
+op       90
+cal      89
+_mu      89
+_S       89
+ro_      89
+_pe      88
+ste      88
+ras      88
+pl       88
+_una     88
+_di      87
+ento_    86
+ita      86
+ione     85
+ect      85
+_una_    85
+mien     85
+tan      85
+du       84
+den      84
+ndo      84
+per      84
+eri      84

new file xapian-applications/omega/langclass/swedish.lm

diff --git a/xapian-applications/omega/langclass/swedish.lm b/xapian-applications/omega/langclass/swedish.lm
new file mode 100644
index 0000000..1c02124

-              -
+_        33494
+e        8992
+n        7900
+t        7859
+a        7781
+r        7251
+s        6435
+i        5649
+l        4541
+d        4079
+o        3724
+m        3203
+k        3058
+g        2478
+en       2403
+n_       2389
+t_       2073
+de       1939
+r_       1910
+v        1890
+h        1789
+u        1782
+_s       1768
+ä        1724
+er       1709
+f        1597
+en_      1537
+a_       1526
+an       1357
+p        1320
+et       1317
+ö        1278
+å        1261
+st       1236
+ar       1226
+c        1191
+_d       1158
+e_       1116
+in       1045
+_f       1027
+te       1000
+b        997
+_a       978
+s_       974
+ra       958
+.        956
+tt       935
+_i       898
+_m       890
+._       886
+ll       870
+ta       844
+_o       842
+_e       839
+nd       820
+ti       804
+sk       798
+re       779
+at       769
+_de      754
+om       743
+m_       739
+ör       720
+,        697
+,_       695
+ng       686
+li       673
+ka       666
+oc       662
+_h       654
+on       652
+et_      647
+ch       645
+ns       643
+is       642
+er_      630
+är       625
+_v       614
+_t       614
+ni       611
+i_       609
+_oc      592
+tt_      587
+na       586
+y        586
+la       579
+_b       579
+h_       577
+kt       575
+ch_      568
+ig       564
+fö       563
+och      555
+or       555
+_och     554
+och_     554
+_och_    553
+me       548
+den      548
+om_      535
+_i_      531
+d_       530
+j        529
+ik       520
+de_      520
+för      518
+ge       498
+ad       497
+_k       491
+_fö      487
+ri       484
+el       482
+il       481
+so       480
+al       474
+g_       469
+le       464
+an_      461
+_för     447
+si       437
+ar_      437
+att      435
+_p       434
+es       420
+ing      413
+se       407
+to       404
+_u       403
+_en      403
+and      398
+den_     395
+nde      393
+nn       393
+_l       391
+å_       391
+D        385
+än       383
+nt       382
+l_       381
+tr       378
+_D       372
+va       370
+am       369
+sa       367
+_so      365
+ga       364
+_en_     361
+är_      358
+ck       357
+av       354
+v_       351
+ed       347
+ma       346
+da       346
+som      346
+rs       344
+som_     344
+ve       342
+ter      341
+att_     341
+ha       338
+ne       337
+ut       335
+as       332
+ska      329
+_at      327
+_att     326
+_som     324
+_att_    324
+_som_    323
+vi       322
+ikt      317
+_av      316
+det      316
+_den     315
+he       315
+ss       314
+un       307
+ke       304
+_g       303
+us       302
+di       302
+_st      300
+rn       297
+_me      296
+_ä       295
+ade      294
+"        290
+_ha      290
+av_      289
+ill      288
+_n       286
+_in      279
+io       275
+_r       275
+der      275
+it       274
+_av_     274
+sta      274
+gen      272
+isk      270
+_ti      269
+id       265
+na_      265
+ns_      264
+ko       262
+_den_    261
+ag       258
+det_     257
+lig      257
+era      256
+ll_      255
+_det     252
+_är      251
+be       249
+_är_     248
+ra_      247
+ion      244
+-        241
+pr       240
+oni      233
+til      231
+ten      228
+_si      225
+k_       222
+på       222
+fr       221
+ro       219
+till     219
+iv       216
+ls       216
+ande     215
+ör_      214
+_det_    213
+äl       212
+_på      211
+ts       210
+ens      209
+med      209
+mm       208
+rt       208
+_till    208
+_til     208
+_va      207
+_fr      205
+_sk      205
+var      205
+nin      204
+ning     203
+ol       201
+ka_      200
+lle      198
+ett      198
+rd       197
+em       196
+på_      195
+x        195
+rk       194
+_ut      194
+ste      194
+ds       193
+_vi      192
+år       192
+S        192
+nde_     191
+are      191
+ver      190
+_på_     190
+nis      189
+kr       189
+_med     188
+all      188
+ån       187
+nge      185
+mo       184
+os       183
+ld       182
+ade_     181
+_S       181
+ed_      180
+rä       176
+De       175
+_-       175
+kan      174
+ta_      173
+ng_      172
+vä       171
+för_     170
+ill_     170
+han      170
+_De      170
+pp       169
+lt       169
+sam      168
+nte      167
+ans      167
+ton      166
+ur       165
+mi       165
+ess      165
+kl       164
+ig_      164
+ks       164
+as_      163
+und      163
+men      162
+med_     161
+_med_    161
+ak       161
+Di       160
+ot       159
+rna      159
+ul       159
+_var     159
+te_      158
+gen_     158
+het      157
+kto      157
+str      156
+_Di      155
+tad      155
+lan      154
+ga_      154
+iska     154
+fa       154
+fi       154
+så       154
+Dikt     153
+Dik      153
+pe       153
+ska_     152
+ja       152
+H        151
+res      151
+ku       151
+iu       150
+ande_    150
+till_    150
+t.       150
+ern      150
+rm       149
+_Dikt    149
+_Dik     149
+ie       149
+bl       148
+-_       147
+od       147
+_H       147
+n.       147
+ist      147
+_di      146
+ius      146
+_"       145
+la_      145
+sl       145
+man      145
+ren      145
+_för_    145
+toni     144
+kton     144
+n._      144
+ktoni    144
+ikton    144
+I        144
+ikto     144
+nius     143
+ten_     143
+onius    143
+oniu     143
+toniu    143
+ing_     143
+Dikto    143
+niu      143
+_ko      143
+ic       142
+_sa      142
+_han     142
+ett_     142
+sm       141
+ba       141
+M        141
+gr       140
+lä       140
+ex       138
+t._      138
+sp       137
+lla      137
+_et      137
+_M       137
+dr       137
+rö       136
+rad      136
+ek       136
+_be      135
+tar      135
+_-_      135
+_om      134
+rl       134
+E        134
+mä       133

xapian-applications/omega/omindex.cc

diff --git a/xapian-applications/omega/omindex.cc b/xapian-applications/omega/omindex.cc
index 19867a0..116d581 100644

-              a
  * Copyright 2001,2005 James Aylett
  * Copyright 2001,2002 Ananova Ltd
  * Copyright 2002,2003,2004,2005,2006,2007,2008,2009,2010,2011,2012,2013,2014,2015 Olly Betts
+ * Copyright 2006,2007,2008 AVL List GesmbH
  * Copyright 2009 Frank J Bruzzaniti
  * Copyright 2012 Mihai Bivol
+ *
 …
 #include "gnu_getopt.h"
+#ifdef HAVE_LIBTEXTCAT
+# include <textcat.h>
+# ifndef LANGCLASS_CONF
+#  define LANGCLASS_CONF "/var/lib/omega/langclass/langclass.conf"
+# endif
+#endif
 using namespace std;
 #define TITLE_SIZE 128
-…
+               static bool use_ctime = false;
 static string root;
 static string site_term, host_term;
 static Xapian::WritableDatabase db;
+static Xapian::Stem stemmer("english");
+static string curr_lang = "english";
+static Xapian::Stem stemmer(curr_lang);
 static Xapian::TermGenerator indexer;
 static Xapian::doccount old_docs_not_seen;
 static Xapian::docid old_lastdocid;
 static vector<bool> updated;
+#ifdef HAVE_LIBTEXTCAT
+static void *textcat;
+#endif
 // The longest string after a '.' to treat as an extension.  If there's a
 // longer entry in the mime_map, we set this to that length instead.
 static size_t max_ext_len = 7;
-…
+               index_mimetype(const string & file, const string & url, const string & ext,
     if (verbose) cout << flush;
     string author, title, sample, keywords, topic, dump;
+    string language;
     string md5;
     time_t created = time_t(-1);
-…
+               index_mimetype(const string & file, const string & url, const string & ext,
+        }
         record += "\nsize=";
         record += str(d.get_size());
+#ifdef HAVE_LIBTEXTCAT
+        if (language.empty()) {
+            const char * lang =
+                textcat_Classify(textcat, sample.data(), sample.size());
+            if (lang[0] == '[') {
+                // There may be multiple codes, each in square brackets -
+                // we just use the first.
+                const char * end = strchr(++lang, ']');
+                if (end) language.assign(lang, end - lang);
+            }
+        }
+#endif
+        if (!language.empty()) {
+            record += "\nlanguage=";
+            record += language;
+        }
+        if (language != curr_lang)  {
+            stemmer = Xapian::Stem(language);
+            curr_lang = language;
+        }
         newdocument.set_data(record);
         // Index the title, document text, keywords and topic.
-…
+               main(int argc, char **argv)
         return 1;
+    }
+#ifdef HAVE_LIBTEXTCAT
+    textcat = textcat_Init(LANGCLASS_CONF);
+#endif
     root = argv[optind];
     if (!endswith(root, '/')) {
         root += '/';
-…
+               main(int argc, char **argv)
     // If we created a temporary directory then delete it.
     remove_tmpdir();
+#ifdef HAVE_LIBTEXTCAT
+    textcat_Done(textcat);
+#endif
     return exitcode;
+}

xapian-applications/omega/scriptindex.cc

diff --git a/xapian-applications/omega/scriptindex.cc b/xapian-applications/omega/scriptindex.cc
index e6b5b61..3192baf 100644

-              a
  * Copyright 2001 Sam Liddicott
  * Copyright 2001,2002 Ananova Ltd
  * Copyright 2002,2003,2004,2005,2006,2007,2008,2009,2010,2011,2014,2015 Olly Betts
+ * Copyright 2006,2007 AVL List GesmbH
+ *
  * This program is free software; you can redistribute it and/or
  * modify it under the terms of the GNU General Public License as
 …
 #include "gnu_getopt.h"
+#ifdef HAVE_LIBTEXTCAT
+# include <textcat.h>
+# ifndef LANGCLASS_CONF
+#  define LANGCLASS_CONF "/var/lib/omega/langclass/langclass.conf"
+# endif
+#endif
 using namespace std;
 #define PROG_NAME "scriptindex"
-…
+               static bool verbose;
 static int addcount;
 static int repcount;
 static int delcount;
+static string curr_lang = "english";
+#ifdef HAVE_LIBTEXTCAT
+static void *textcat;
+#endif
 inline static bool
 p_space(unsigned int c)
-…
+               static bool
 index_file(const char *fname, istream &stream,
            Xapian::WritableDatabase &database, Xapian::TermGenerator &indexer)
+{
+    string language;
     string line;
     size_t line_no = 0;
     while (!stream.eof() && getline(stream, line)) {
-…
+               index_file(const char *fname, istream &stream,
             // Default to not indexing spellings.
             indexer.set_flags(Xapian::TermGenerator::flags(0));
+#ifdef HAVE_LIBTEXTCAT
+            language.resize(0);
+            const char * lang =
+                textcat_Classify(textcat, value.data(), value.size());
+            if (lang[0] == '[') {
+                // There may be multiple codes, each in square brackets -
+                // we just use the first.
+                const char * end = strchr(++lang, ']');
+                if (end) language.assign(lang, end - lang);
+            }
+#endif
             const vector<Action> &v = index_spec[field];
             string old_value = value;
             vector<Action>::const_iterator i;
-…
+               again:
             string data;
             map<string, list<string> >::const_iterator i;
             for (i = fields.begin(); i != fields.end(); ++i) {
+                // If there's an explicitly set language, discard any
+                // detected one.  FIXME: Don't waste effort detecting
+                // in this case.
+                if (i->first == "language") language.resize(0);
                 list<string>::const_iterator j;
                 for (j = i->second.begin(); j != i->second.end(); j++) {
                     data += i->first;
-…
+               again:
                     data += '\n';
+                }
+            }
+#ifdef HAVE_LIBTEXTCAT
+            if (!language.empty()) {
+                // Auto-detected language.
+                data += "language=";
+                data += language;
+                data += '\n';
+            }
+#endif
             // Put the data in the document
             doc.set_data(data);
-…
+               try {
     // If the database already exists, default to updating not overwriting.
     int database_mode = Xapian::DB_CREATE_OR_OPEN;
     verbose = false;
     Xapian::Stem stemmer("english");
+    Xapian::Stem stemmer(curr_lang);
     static const struct option longopts[] = {
         { "help",       no_argument,    NULL, 'h' },
-…
+               try {
         exit(show_help ? 0 : 1);
+    }
+#ifdef HAVE_LIBTEXTCAT
+    textcat = textcat_Init(LANGCLASS_CONF);
+#endif
     parse_index_script(argv[1]);
     // Open the database.

Context Navigation

Ticket #514: xapian-omega-language-detection-with-textcat-updated.patch

xapian-applications/omega/ChangeLog

xapian-applications/omega/Makefile.am

xapian-applications/omega/configure.ac

new file xapian-applications/omega/langclass.conf

new file xapian-applications/omega/langclass/danish.lm

new file xapian-applications/omega/langclass/dutch.lm

new file xapian-applications/omega/langclass/english.lm

new file xapian-applications/omega/langclass/finnish.lm

new file xapian-applications/omega/langclass/french.lm

new file xapian-applications/omega/langclass/german.lm

new file xapian-applications/omega/langclass/italian.lm

new file xapian-applications/omega/langclass/norwegian.lm

new file xapian-applications/omega/langclass/portuguese.lm

new file xapian-applications/omega/langclass/russian-iso8859_5.lm

new file xapian-applications/omega/langclass/russian-koi8_r.lm

new file xapian-applications/omega/langclass/russian-windows1251.lm

new file xapian-applications/omega/langclass/spanish.lm

new file xapian-applications/omega/langclass/swedish.lm

xapian-applications/omega/omindex.cc

xapian-applications/omega/scriptindex.cc

Download in other formats: