鶴亀用POPFileでメールの再分類に似たことをさせるマクロ

※「鶴亀」は旧称。「秀丸メール」が新しい名称ですが、新しいバージョンでの確認が終了していない為、旧称で掲載させていただきます。
Add_Message_to_POPFile_10b.zip (4KB) 04/12/28更新
鶴亀,POPFile(XML-RPC機能をインストールしているもの),ActivePerl,田楽DLLは、それぞれ更新時の最新版で動作確認。
POPFileの教育をマクロから行えるようにしただけです。
マクロ実行時に選択されている受信メールを、表示されるダイアログから選んだバケツに追加します。その際苦し紛れに以前の分類もとのバケツからメッセージを削除もします。
ただし、このマクロについてはあまり細かいサポートはありません…なにしろ作った本人がそういっているのです(笑)…あまり期待せずにお使い下さい。

kbsFilterVer.1.00

ベイジアン系の学習型迷惑メールフィルタです。
※バグ/要望/動作報告/体感速度レポート……などなど細かい事、アバウトな事、なんでも結構ですのでぜひ作者までご一報下さい。

ご利用に当たっての注意事項
• 配布物の著作権等が複雑です。こちらを参照してください。
• 日本語と英語にのみ対応しています。(それ以外の言語では認識率が落ちてしまいます。)
• 同梱されているヘルプファイルを読んでもわからない場合はこちらの掲示板などで聞いてください

このフィルタの特徴
• 学習型
• Windowsネイティブ
• 日本語の分かち書きにmecabを利用
• ベイジアン方式(Paul Graham方式,Gary Robinson 方式)に対応
• 標準のフィルタと連携可能
• リッチな環境(メモリ大、CPU高速)で最大のパフォーマンスを発揮

こんな方におすすめ
• 標準のフィルタを使っているがいまいち満足できない
• POPFileなどのクライアント側のフィルタリングソフトに以下のような不満がある
• 常駐したがる → 秀丸メールのフィルタプラグインですので、必要なときだけロードされます
• インストールが面倒 → ファイルをコピーして秀丸メール側からフィルタを選択するだけ
• なにやら無駄に高機能 → 最小限の機能のみのシンプルなフィルタです
• サーバがタイムアウトしたりする → 秀丸メールから直接呼び出されるので安定受信
• バージョンアップのときにファイアーウォールが遮断したりする → 通信部分は秀丸メールが担当するので余計なコストは発生しません
• PC環境がそれほど貧弱ではない(一般的なフィルタリングソフトを併用するよりは軽いはずです)

ファイル(※8/30 08:25 ファイルを差し替えました。バージョン表記+インストーラの最初のライセンスの表記に誤りがありました。失礼いたしました。)
• Ver.1.00 インストーラ kbsFilter_Install_100.exe(10.2MByte)
  ※自己解凍型のインストーラです。ファイルが巨大ですのでご注意下さい。



• kbsFilter_100.zip (966KByte)
  ※本体などです。手動でインストールする場合はこちらと、↓の辞書を使って下さい。
• ipadic_for_100.zip (11.4MByte)
  ※IPA 辞書です。↑のヘルプファイルにある手順に従って利用して下さい。



• ICOT.txt
• ICOT_E.txt
• BSD.txt
• NAIST_IPADIC_COPYING.txt
• kbsFilter_License.txt

※著作権/ライセンス等に関して

各種ファイルの著作権の分類について(概要)
• _kbsFilter\libmecab.dll : BSDライセンス
• _kbsFilter\dic\mecabrc : BSDライセンス
• _kbsFilter\dic\に入るその他のファイル群(ipadic.zipに含まれる物) : NAISTの独自ライセンス+ICOTフリーソフトウェア(IFS)ライセンス
• 上記以外のファイル : kbsFilterライセンス

※概要としては上記の通りですが、正確には同梱されているヘルプファイルを参照して下さい。

注意書き
• mecab(ipadic)の設定を間違えるといきなりアクセス違反を出す場合があります。最初の設定時はご注意下さい
• 作者連絡先など
  • c-spencer＜（アットマーク）＞jcom.home.ne.jp   ←全角文字を@に置き換えてください
  • 作者 web site 「カモノハシの巣」
  • サポート用掲示板サポート所(BBS)

変更点など
• →1.00正式版
  • ヘルプファイルの更新
  • ライセンス周りの整備、確定
  • [お知らせ]
  • 正式版です。
• →1.00β12
  • 辞書のメンテナンス機能その2「TSV形式を読み込み」を暫定的に搭載
  • [お知らせ]
  • 辞書のメンテナンス機能は experimental support として、1.00正式版を出そうと思っています。
• →1.00β11
  • 辞書のメンテナンス機能その1「TSV形式で出力」を暫定的に搭載
  • 文字コードがGB2312など一部のエンコードのメールをフィルタに通したときに不要なダイアログが出てしまうバグを修正
  • 秀丸メールV5.01β5 のメールフィルタで追加された機能「添付ファイルのbase64デコードに失敗した外国語メールを迷惑メール扱いするオプション」に対応した
  • Shift_JISなメールの処理を少しだけ高速化
  • [影響]
  • 「TSV形式で出力」に関しての注意事項
    出力したファイルを秀丸などで開くと、異常項目(s-jisエラーなど)が存在する場合があります。これは、以前のkbsFilterのバグによるものでだけでなく、学習させたメールに異常項目を含むものがあると、必然的に存在します。
• →1.00β10
  • 設定ダイアログでの閾値の指定方法を、リストから選択する方式に変更
  • GR方式での計算時に生じる誤差をほんの少しだけ小さくした
  • 秀丸メールの「URLチェッカー」を阻害しないようにした(併用は現在不可)
  • 複数のメールを選択して、辞書の学習をする場合において、学習時の[ヘッダ書換] or [振り分け] が有効なときの、処理速度が大幅に低下してしまうバグを修正
  • Shift_JIS/UTF-8 以外の文字コードのメールを正しく扱えていなかったバグを修正
  • 過去のバージョンで学習された、スコアに関係のない項目を辞書から完全に除去しきれていなかった(b5の時の)バグを修正
    ※真の意味で有効な項目のみを残すことはできない(単語の分割がmecab依存のため、機械的な判断が難しい)
  • [影響]
  • スコアが若干変動します
  • 「DB.dat」ファイルが少し小さくなることがあります
• →1.00β9
  • GR方式でのフィルタリング時に、スコアが異常になることがあるバグを修正
  • 設定ダイアログで閾値の指定が2桁でないと数値がおかしくなるバグを修正
  • 秀丸メール上「メール一覧」でのコンテキストメニューに表示される項目のカスタマイズができるようになった。
  • メモリ消費量を少し抑えた
  • [影響]
  • スコアが若干変動します
• →1.00β8
  • 「学習時にメールの再振り分けを行う」が有効の時に「X-TuruKame-Filter:」が空になってしまうバグを修正
  • 「X-TuruKame-Filter:」ヘッダを「safe (by kbs) : learned」「spam (by kbs) : learned」の形に統一
• →1.00β7
  • 設定に「学習時にメールの再振り分けを行う」を追加
• →1.00β6
  • フィルタリングの処理速度を改善
  • メール学習時の処理速度を改善
  • フィルタリング時に一部の連続したひらがなで構成されるトークンを無視していた処理を削除
  • 設定ダイアログで指定した閾値が再起動時に変化してしまうことがあるバグを修正
  • その他、設定ダイアログ関係のバグを修正
  • 設定ダイアログのコンボボックスに「CBS_AUTOHSCROLL」を付け忘れていたバグを修正
  • 設定ダイアログの[表示]ボタンを他のフィルタを使うチェックボックスと連動させた
  • [表示]ボタンの動作をなるべくその時の設定に近づけるように修正
  • 学習時に「X-TuruKame-Filter:」ヘッダを「safe (by kbs : learned)」の様にできるようにした。(秀丸メールv4.81b13以降で対応)
  • [影響]
  • スコアが若干変動します
  • なお、mecab関連は入れ替える必要はありません
• →1.00β5
  • 使用するmecabのバージョンを0.96にしました。(mecabの機能として、ユーザー辞書が使えます)
  • フィルタリングの処理を改善し処理速度が向上しました。
  • 「X-TuruKame-Filter:」にスコアを表示できるようにした。
  • Gary Robinson 方式に対応？(非常に遅い上に実装ミスなのかどうも判定がいまいち……)
  • 英単語の切り分け時に\rを英数字として扱ってしまうバグを修正
  • 不要なデバッグ出力が残っていたバグを修正
  • 「他のフィルタを併用する」時に存在しないファイル名を指定すると、勝手に「TkFilter.tkf」を読みに行っていたバグを修正
  • ヘルプファイル更新
  • [影響]
  • mecabをver.0.96に、mecab-ipadicを2.7.0-20070801版(当方で用意したものはipadic_for_100b5.zipです)に差し替えて下さい。
  • フィルタの読み込み時間が延びた(主にmecabの巨大化)
  • 一時的に判定の精度が落ちる(バグ修正+mecabのバージョンアップで解析結果が異なるため)
  • 現在の辞書を正式バージョン以降も使うなら、一度これ以後のバージョンで辞書を読み込んで、書きだして下さい。
    バグによる辞書形式のミスを読み込み時に解消しています。
• →1.00β4
  • テスト目的のコードが生きていたバグを修正
  • その他表記ミスなど細かなバグを修正
• →1.00β3
  • 辞書形式を変更して、高速化をはかりました。※データコンバータです。
    秀丸メールを全終了し、「SafeDB.dat」などがある「_kbsFilter」フォルダ内で実行してください。「DB.dat」が生成されます。
  • ベイズ判定時のバグによりメール本文のデータの一部が無視されていたバグを修正
• →1.00β2
  • HTML HELP形式(.chm)のヘルプファイルに移行準備として[ kbsFilter.chm ]を作成
  • 細かい変更など