2016-03-16

15 その２ #elasticsearchjp

PROGRAMMING

今日はこれに来てます

第15回elasticsearch勉強会 #elasticsearch #elasticsearchjp - elasticsearch勉強会 | Doorkeeper

その１はこちら

omiend.hatenablog.jp

一応メモっては見たものの、やっぱり適当

Elastic, Jun Ohtani

タイトル：Elastic{on} 2016 参加レポート

Elastic社のロゴが変わりました色、フォント参加者１８００＋人写真で見るElastic{ON} プレゼントされるTシャツは自分でデザインを選択してプリントされる！すごい！

Product Logo Elasticsearchのロゴが無くなったのでー Kibanaはスワヒリ語で建物という意味新しいロゴができました

おさらい 2.0から入った機能について ProfileAPI どのクエリーが遅いの？ GEO系るし～んレベルで手が入り、それがE/Sで取り込まれた Aggregations 集計結果から予測値を → 波形で kibana 4 ColorPicker 200が赤で500が緑だったりしたので。。。 Kibanaの黒色 HeatMap Logstash Configのリロード Kafka Beats Go言語で書かれたデータの収集エージェントなんかいろいろ取れて、Kibanaで見れるよ

  パケットBeats
    MySQLなどのPortのパケットを取得したり
      それをkibanaで観たり
    サポートはメジャーなDBであればほとんど
    サポートしてほしいプロトコロはPullRequestで
  ファイルBeat
  Windows Beat
  メトリックBeat

Elasticsearchについて

E/SやKibanaなどの組み合わせにおいて、バージョン間違えると動かない。。。 Pluginコマンドであるていどフォローされてたが。。。一応それぞれのバージョンごとに同じ日にリリースしていたが。。。

なので、統一するべくElasticsearch５が出るよ！
  はじめはアルファー版

インテンド機能ファイル→ファイルBeat→E/S→kafka ESにJsonを投げる最、前処理を行うことができるようになった

  メモしきれん。。。

Kibana ビデオがあったけど忘れた

Extentions　あくまでもB向け ElasticStack ロゴ統一 Pluginがいろいろある個別にダウンロード＄インスコ Scurityで遺品 Watcher？ Security in Kibana Elastic Cloud 旧 Found AWS上にE/Sを組んでくれる会社を買収し、Cloudというものとして簡単にできるそうな新しいE/Sのversionが来た場合、自動でアップデートしてくれるただし許可している場合のみ AWS以外についても対応していきたいとのこと Elastic Cloud Enterprise

他のキー FireEye ４００ノードくらい使っていて、セキュリティー系の話だった？

StreamSets オープンソース面白いかもとのこと

Elasticon{ON}検索すると日本語でのブログがあるよ

BBL Brown Bag Lunch ランチミーティングやりましょう E/Sに興味ある方

2016-03-16

Elasticsearch 2016/03/15 その１ #elasticsearchjp

PROGRAMMING

今日はこれに来てます

第15回elasticsearch勉強会 #elasticsearch #elasticsearchjp - elasticsearch勉強会 | Doorkeeper

その２はこちら

omiend.hatenablog.jp

一応メモっては見たものの、結構適当

Preferred Networks America, Inc. CTO 久保田展行(Kubota Nobuyuki) さん

タイトル：Elasticsearchと機械学習を実際に連携させる

実際に検索アプリケーションを作成機械学習とはデータによって賢くなるアルゴリズムの研究データから知識や人間が定義するようなルールを自動的に

前回

機械学習を利用したちょっとリッチな検索 from nobu_k

t.co

今日は「文書分類」新聞やブログ記事のカテゴリ推定したり年齢・性別・地域キーワードについてポジネガを判定するなどツイートに含まれる製品名を取得コールセンター向けのデモどの製品話？どんな障害？コールセンターの人が入力する情報のお助け

どうやって検索エンジンとつなげるのか SensorBee 会社がリリースしたネットワークデバイス上で発生した非構造化データ向けのETLを低レイテンシで適用することを目的としたツール情報を抽出する処理＝ETL 情報を変換：トランスフォーム ← ここにフォーカスロードして転送大部分をFluentDでやってる

Oracle.CQLを元にしたBQLというSQLに似たものでデータを取得する
機会学習でストリーム処理をする際、状態を持ちたかった

センサービーのその他の特徴
  Go言語で書かれている
  StaticLinkだけど、設定ファイル＋Buildコマンドでカバー
Python連携あり（B版）
  Chainer連携用 社内稼働実績豊富
  たまたまベストなインターフェイスがないのでB版
FluentD連携
Windowsサポート

ほとんど画像解析
自動で動く車が、ぶつからずに動いてくれるように（これすごい！！！
車の位置情報→強化学習に入れて・・・ループさせる
この部分にSensorBeeを利用

TwitterからPublicなツイートを取得　SencorBeeがやる
  年齢や性別を分類する（文書分類）　SencorBeeがやる
    →FluentDに入れる　SencorBeeがやる
      →E/Sに入れる
        →Kibanaで可視化

分類するラベルを決める
SampleAPI（TwitterのAPI）
教師データを作成
  人間が手動でがんばる
    年齢５０００
    性別１２０００
学習のステップ　少し難しい
  前処理
    全部小文字にして正規化
    記号を取り除く
    　メカブ使えば日本語もOK
    トップワードを取得
  特徴抽出　→　特徴ベクトルを作成
    単語の出現頻度を重みとして利用
      TF 検索エンジンを作っている人には馴染み深い？
    文字列の配列を入れると、単語がいくつ出てきたかマップされる
  学習
    特徴ベクトルを使って学習させる
      AROW　チュートリアルの中で使っているアルゴリズム
      　オンライン線形分類アルゴリズム
  適用する
    出来上がったモデルを利用して分類する
      データ一つ一つをオンラインで分類していくことも可能


  ↑　全てSencorBeeのチュートリアルに書いてる

まとめ前回の機械学習から続いて SencorBeeを利用してElasticsearchまで入れる BQLを使っている JSONに対してクエリーを投げるのが流行ってるカウチベースというDBも N1QL

パイソンとユバタスの組み合わせと違うところは？ユバタスに問い合わせるレイテンシーに相当する箇所がないなのでIOTにも有効

このセッションのスライドはこちら

Elasticsearchと機械学習を実際に連携させる from nobu_k

www.slideshare.net