Metricbeatで収集したメトリクスデータをKibanaで可視化する

Kibanaダッシュボード

今回は、metricbeatで収集したメトリクスデータをKibanaで可視化する。一応、metricbeatに付属のKibana用ダッシュボード(前々回登録済み)を使うがmetricbeat 8系とKibana8系の組み合わせではサクッとはいかない様子。自身でビジュアライズ作成を頑張ることになりそう。

Metricbeatで取得したメトリック情報をKibanaダッシュボードで表示 1
前回作成したKibana用のユーザー(非スーパーユーザー)でログインする。このユーザーはKibanaの一部のメニューが表示されなかったりElasticsearchに対する一部の高度な操作ができないが通常はこのユーザーで困ることはない。(今回はこのKibana用ユーザーだけでいける)
どうしてもスーパーユーザー権限が必要な操作を行う場合はelasticユーザーでログインし直す。

Metricbeatで取得したメトリック情報をKibanaダッシュボードで表示 2
画面左上の (ハンバーガーメニューアイコン)をクリック①し、
メニュー左列の「Discover」をクリック②する。

Metricbeatで取得したメトリック情報をKibanaダッシュボードで表示 3
おそらく初めてKibanaでDiscoverを見る場合は取得したデータは何も表示されない筈。過去にデータを見ていた場合は直近に閲覧したデータの最新状態等が表示される。
左上の水色のドロップダウンメニューをクリック①する。
「データビュー」の (検索)欄に「metricbeat-*」と入力してみる。過去にMetricbeatから収集したデータを見たことがない(metricbeatのデータビューを作成していない)のであれば、おそらく「metricbeat-* doesn't match any options」と表示されてデータは表示されない筈。
データビューを作成」をクリックする。(次の次へ)
または、左列のメニューから「スタック管理」に進み、「データビュー」。(次へ)

Metricbeatで取得したメトリック情報をKibanaダッシュボードで表示 4
「スタック管理」の「データビュー」画面で、右列のデータビューリストに「metricbeat-*」のような項目が無いことを確認し、右上の「データビューを作成」ボタンをクリックする。

Metricbeatで取得したメトリック情報をKibanaダッシュボードで表示 5
右列に「metricbeat-〜」のデータストリームかインデックスがあることを確認し、中央列の「名前」と「インデックスパターン」に「metricbeat-*」と入力する。(名前の方は任意の文字列でも可)
入力したら次。

Metricbeatで取得したメトリック情報をKibanaダッシュボードで表示 6
metricbeatで取得したデータから「タイムスタンプフィールド」が見つけられて「@timestamp」という文字列が自動で入る。これでOK。
画面下部の「データビューをKibanaに保存」ボタンをクリック。
Discover画面で「データビューを作成」をクリックした場合は次の次の次へ。
「スタック管理」の「データビュー」でデータビューを作成した場合は次へ。

Metricbeatで取得したメトリック情報をKibanaダッシュボードで表示 7
metricbeat-*のデータに含まれるフィールドが表示される。
左列の「データビュー」をクリック。

Metricbeatで取得したメトリック情報をKibanaダッシュボードで表示 8
データビューのリストに「metricbeat-*」の項目が追加されたことを確認する。

Metricbeatで取得したメトリック情報をKibanaダッシュボードで表示 9
Discoverに戻る。
左上の水色のドロップダウンメニューをクリックする。
ドロップダウンリストの「metricbeat-*」をクリックする。
左列にmetricbeatのフィールド名のリスト、右列にmetricbeatが取得したデータが表示される。また、右上には取得したデータ数が時系列のグラフで表示される。
表示されないなら何か問題がある筈。

Metricbeatで取得したメトリック情報をKibanaダッシュボードで表示 10
左列のメニューから「Dashboard」をクリックする。

Metricbeatで取得したメトリック情報をKibanaダッシュボードで表示 11
ダッシュボードのリストの (検索)欄に「Metricbeat System」と入力してみる。
ダッシュボードリストが絞り込まれるので、「[Metricbeat System] Host overview ECS」をクリックする。リストの表示順は変動するので一番下をクリックしたら良いというものではありません。
なお、MetricbeatのKibana用ダッシュボードの取り込み(前々回)が出来ていなければMetricbeat用のダッシュボードは表示されない。

Metricbeatで取得したメトリック情報をKibanaダッシュボードで表示 12
ダッシュボードが表示されるが、そこに表示されるはずのビジュアライズは正常に表示されず「結果が見つかりませんでした」が表示される。
右上の「編集」ボタンをクリックする。

Metricbeatで取得したメトリック情報をKibanaダッシュボードで表示 13
「結果が見つかりませんでした」のビジュアライズ右上隅の (オプション)をクリックし、表示されるメニューの「ビジュアライゼーションを編集」をクリックする。

Metricbeatで取得したメトリック情報をKibanaダッシュボードで表示 14
「パネルオプション」タブをクリックする。

Metricbeatで取得したメトリック情報をKibanaダッシュボードで表示 15
「データビュー」には「metricbeat-*」が入っている筈です。そうでなければ「metricbeat-*」を選択してください。こればデータビューを作成し直した場合などに変更の必要が発生すると思われます。
また、「データビュー」の右端の をクリックする。
データビューモードに表示される「Kibanaデータビューを使用」スイッチをオンにする。(次へ)

Metricbeatで取得したメトリック情報をKibanaダッシュボードで表示 16
上部にビジュアライズが表示されたら右上隅の「保存して戻る」(上書き保存)をクリックする。
雛形を使いまわして新しいビジュアライズとして保存するならその左横の「名前を付けて保存」をクリックする。

Metricbeatで取得したメトリック情報をKibanaダッシュボードで表示 17
ダッシュボードに戻ると修正したビジュアライズが表示されるようになった。
これはビジュアライズが変更されたということであってダッシュボード自体には変更が加えられたわけではありません。(勘違いしやすいので注意) ダッシュボードに変更を加えなければ右上の「 保存」はクリックできないので左隣の「表示モードに切り替える」をクリックする。

Metricbeatで取得したメトリック情報をKibanaダッシュボードで表示 18
同様にビジュアライズの「パネルオプション」からデータビューの「Kibanaデータビューを使用」スイッチを変更することで幾つかのビジュアライズを表示することができるようになった。ビジュアライズによってはこの方法では変更できないものもある。

今回は、FreeBSDにインストールしたMetricbeatからメトリクスを収集したのでLinuxとは異なりそもそも正常に取得できないメトリクスが多数。データが取得できないのだから可視化するのは無理。結果、ダッシュボードは上の画面のようになった。これでは殆ど役に立たない。
LinuxはMetricbeat,FreeBSDは別のメトリックシッパーを使うという方法もあるかもしれないが、どうせならある程度統一したいのでMetricbeat以外の軽量なメトリックシッパーを導入したい。それは次回以降。なお、暫く使っていたNode Exporterは取得した値が反対になる問題(0%が100%になったり100%が0%になったり)で信用できない部分があるので候補から外します。

関連記事:

もしも、261円の怪しい中華Wi-Fiカメラを買ってみたら

中華の怪しいWi-Fi IPカメラを買ってみた

中華の怪しいWi-Fi IPカメラを買ってみた 0
AliExpressでは時々、一部の商品が普段よりも大幅に安くなるセールがあります。そして、それらは時限セールのため、特価商品を見つけたらすぐに購入するのが良いでしょう。今回、直径4cm程度の円筒形Wi-Fi監視カメラが相場の半額程度(261円,送料無料)で出ていたので購入してみました。通常500円〜程度で売られているものです。

このカメラの性能は良くないです。商品説明には1080pとありますが、実際にはVGA解像度程度です。また、暗視カメラとして使えると書かれていますが、赤外線ライトモジュールがないバリアントもありますので、暗視カメラとして使うことはできないかもしれません。カメラセンサーの感度が低いため、暗い場所には映りません。暗所モードはあるものの、カラーから白黒に変わるだけで、実際には明るく映らないでしょう。このカメラは安物の中華ネットワークカメラのため、専用アプリによってのみ閲覧/操作できます。一般的なストリーミング対応動画アプリは使用できず、NVRにも接続できません。

つまり、このWi-Fiカメラは非常に安価なので、性能が良くないの当然です。また、暗視カメラには向いていないし、汎用性も低いので、使用には注意が必要です。

ただし、このA9カメラは解析が進んでおり、ファームウェアを改造したり、ストリーミングを変換することで、汎用のストリーミングアプリで映像をモニタリングすることや、NVRに接続することができる可能性があります。

AliExpressでA9カメラの販売が特に多いストアの1つです。この記事で出ている261円のカメラの販売店とは異なります。カメラの仕様も異なる可能性があります。

中華の怪しいWi-Fi IPカメラを買ってみた 1
到着まで2週間程度。最近の送料無料便で多いツバル経由。(実際に荷物がツバルに運ばれているかは不明です。)
封筒サイズはCDケース程度。

中華の怪しいWi-Fi IPカメラを買ってみた 2
封筒自体がプチプチではあったが緩衝材は無しで直接写真のビニール袋が入っていた。かさばらせると無料で運べなくなるかもしれないとはいえ、ちょっと怖い。

中華の怪しいWi-Fi IPカメラを買ってみた 3
中身は4点、紙ペラを折った取説、カメラ本体(中央)、USB-AとmicroUSBのケーブル(右)、マグネットスタンド(左)

中華の怪しいWi-Fi IPカメラを買ってみた 4
スタンドの片側とカメラ本体の背面はマグネットでひっつくようになっている。USBケーブルを接続し、ダイソーで購入したACアダプタを接続した。基本的にこれで使用できる。カメラのレンズ保護シートは後で剥がす予定。

中華の怪しいWi-Fi IPカメラを買ってみた 5
ところで、このカメラは情報が無いので、このままでは電源を投入して電波を出すことができない。
カメラ本体の背面にはネジ穴が2つある。かなり小さなプラスネジなので精密ドライバが必要。

中華の怪しいWi-Fi IPカメラを買ってみた 6
背面カバーは接着されていないし爪などもないので簡単に外すことができる。裏蓋の中央内側にはマグネットが付いている。このマグネットがスタンドとひっつく。
カメラ本体側はバッテリーや基板が見えている。基板はネジ留めされておらず爪などもないのでひっくり返せば中身が抜ける。

中華の怪しいWi-Fi IPカメラを買ってみた 7
中身を抜いた状態。今回購入したバリアントはカメラ基板とバッテリーだけ。赤外線ライトモジュールは無い。ケース内側には赤外線ライトが嵌る穴が6つほど空いている。

中華の怪しいWi-Fi IPカメラを買ってみた 8
基板のカメラがある側。カメラから伸びるフィルムケーブルにはLT1748と書いてあるように見えるがカメラの型番なのかは不明。(ググっても出なかった)

中華の怪しいWi-Fi IPカメラを買ってみた 9
基板ウラ面のチップやmicroSDカードスロットがある側。画像に細い赤枠を付けたところにシリアル通信用のRXとTXがある。このカメラはTelnetやSSHでは通信できないが、シリアル通信はできるよう。115200bps/8ビット/1ストップビット/パリティ無し/フロー制御無し。 Thread Operating Systemとかを操作することになるらしい。(未確認)

中華の怪しいWi-Fi IPカメラを買ってみた 10
斜めから光を当てるとチップのマーキングを確認できる。Beken BK7252というチップ。
ついでに基板の型番?は、HB6_V1.1D220607だった。A9と呼ばれるこのカメラは、見た目は同じでも内蔵している基板が複数種類あるよう。

中華の怪しいWi-Fi IPカメラを買ってみた 11
カメラの電源をオンにする前に技適未取得機器を用いた実験等の特例制度で無線機器の情報を登録します。申請前にどうしても電源を入れる必要がある場合はビルの地下の機械室などで(鉄扉を閉めて)密閉した状態で行ってください。

中華の怪しいWi-Fi IPカメラを買ってみた 11
この手の安価な中国製のカメラは、一般的には専用アプリで操作することになっています。今回は、取説に書かれていた「365Cam」というアプリをインストールして起動しました。内蔵基板によっては異なるアプリを使うことになっているものもあるようです。プロトコルは一応PPPPらしいので、それで対応する中華アプリが複数のかもしれません。
カメラを初めて使うときやWi-Fiアクセスポイントと接続できない状態の場合、カメラはアドホックモードになります。スマートフォンでWi-Fi設定を開き、接続先のネットワークを探します。今回購入したカメラの基板では、「DG」から始まるSSIDに接続しますが、基板によっては異なります。パスワードは必要ありません。アドホックモードで接続したら、「365Cam」アプリを起動します。
Bluetoothのオンを求められるようなので一応従います。(何に使うのかは不明です)
まずは、アドホックモードでカメラを登録します。365Camアプリメイン画面の右上の「+」をタップし、Add Camera画面で一番上の「AP Connection」をタップ。

中華の怪しいWi-Fi IPカメラを買ってみた 15
アドホックモードのカメラはWi-Fiの親側です。スマホ等でカメラのSSIDを探して接続します。

カメラを登録したら、メイン画面に登録したカメラのスナップショットが掲載されている筈なのでタップすればカメラのリアルタイム映像を見たりカメラの操作が可能です。このカメラの映像の左下に「Setting」があるのでタップ。

中華の怪しいWi-Fi IPカメラを買ってみた 12
Camera Setting画面(2次元バーコードがある画面)で「Wi-Fi」をタップ。

中華の怪しいWi-Fi IPカメラを買ってみた 13
Wi-FiのAPリストが表示されるので自身の家のLANなど接続したいネットワークのWi-Fi APのSSIDを選択し、そのAPのパスワードを入力します。(家の無線ルーターのSSIDとパスワードなど)

中華の怪しいWi-Fi IPカメラを買ってみた 14
家のWi-Fi(LAN)にA9カメラを接続することに成功すると、カメラには自動的にSSIDとパスワードが記憶されます。次回からはカメラを起動すると、自動的に家のWi-Fiに参加します。スマホで家のWi-Fiに接続し、365Camアプリを起動してカメラの映像を確認しましょう。
家のLANがインターネットにつながった状態であれば、スマホのWi-Fi接続をオフにして、モバイル通信でも365Camアプリを起動してカメラの映像を見ることができます。 ただし、これは危険な状態です。

中華の怪しいWi-Fi IPカメラを買ってみた 16
インフラストラクチャーモードで接続した場合、端末(この場合はカメラとスマホ)はアクセスポイント(AP)に接続します。そして、カメラとスマホはお互いのデバイスを認識するために、管理サーバに管理情報を送信します。
また、カメラが取得した映像などの他の情報も送信されることがあります。 中国共産党は中華人民共和国国家情報法により望んだときにいつでも全ての情報を得るでしょう。

中華の怪しいWi-Fi IPカメラを買ってみた 17
スマートフォン側はWi-Fiではなくモバイルネットワークに居ても利用できます。モバイルネットワークでカメラの動画を転送するとパケット通信量を多く消費します。

$ nmap 192.168.11.16
Starting Nmap 7.80 ( https://nmap.org ) at 2023-01-21 16:06 JST
Nmap scan report for 192.168.11.16
Host is up (0.013s latency).
Not shown: 999 closed ports
PORT      STATE SERVICE
10002/tcp open  documentum

Nmap done: 1 IP address (1 host up) scanned in 9.93 seconds

カメラがインフラストラクチャモードのときは、空いているポートは10002/tcpだけらしい。このポートが何の通信を待ち受けているのかは不明です。

カメラの通信相手

カメラがインフラストラクチャモードの場合は下の5つのIPアドレス+スマホ側グローバルアドレスまたはスマホ側LAN IPアドレスと通信しようとする。

  • 121.37.9.157   Huawei Cloud 名前解決なしにいきなり通信しようとする相手
  • 120.25.115.20   ntp1.aliyun.com
  • 43.130.0.121   nms3.hdwificampro.com Tencent ?
  • 43.134.68.25   nms2.hdwificampro.com Tencent ?
  • 10.143.188.48   何故かプライベートアドレス

スマホの通信相手

カメラ側,スマホ側共にLANに居るときのスマホの通信相手は下のとおり、これの他にメインの通信相手であるスマホのIPアドレスがある。
  • 3.10.99.101   Amazon AWS
  • 3.227.45.161   Amazon AWS
  • 8.219.247.14   Alibaba.com Singapore
  • 43.130.0.121   nms3.hdwificampro.com Tencent ?
  • 43.134.68.25   nms2.hdwificampro.com Tencent ?
  • 47.241.234.26   AliCloud
  • 96.7.35.122   a96-7-35-122.deploy.static.akamaitechnologies.com.
  • 121.37.9.157   Huawei Cloud
  • 139.9.86.167   Huawei Cloud
Google系 これはスマホ側アプリ365Camが使っているとは限りません
  • 34.104.35.123   123.35.104.34.bc.googleusercontent.com.
  • 64.233.188.188   tk-in-f188.1e100.net.
  • 142.250.196.99   nrt12s35-in-f3.1e100.net.
  • 142.250.207.13   nrt13s54-in-f13.1e100.net.
  • 142.251.42.142   nrt12s45-in-f14.1e100.net.
  • 142.251.42.202   nrt12s47-in-f10.1e100.net.
  • 172.217.31.138   nrt20s08-in-f10.1e100.net.
  • 172.217.31.170   nrt12s22-in-f10.1e100.net.
  • 216.58.220.106   nrt12s30-in-f10.1e100.net.
  • 216.58.220.138   nrt20s17-in-f10.1e100.net.
スマホ側がモバイルネットワークのときに追加で使用された通信相手
  • 10.3.139.66   何故かプライベートアドレス
  • 39.108.118.190   ALISOFT
  • 121.37.9.157   Huawei Cloud
  • 140.246.176.85 China Telecom

AWSとの通信が多いと聞いたのですが、試した限りではAWSとの通信は見られませんでした。

通信は全てUDP。
今回の確認した範囲では、カメラの映像はカメラとスマホ間でP2P通信し、その他の情報は中国のクラウドサーバーと通信しているようです。中華カメラのP2P通信は安全ではない可能性があり、脆弱なプロトコルが使用されている可能性があるため、インターネットに接続するネットワークには設置したくないと考えます。また、Shenzhen Yunni iLnkP2PやCS2 Network P2Pなどのプロトコルは、6000万台以上のデバイスで使用されており、インターネットから乗っ取られる可能性があるため、注意が必要です。
中華スマホアプリも信頼できないため、インターネットに接続していないLAN限定で使用し、スマホのモバイルネットワークはオフにすることをお勧めします。

このカメラは解析が進んでいます。
Popular A9 mini Wi-Fi camera & the HA challenge
ファームウエアを改造すればRTSPストリーミングができるようになり、非常にお買い得なカメラになる可能性があるため、将来的に楽しめそうだと思って購入しました。なお、ハードウエアの性能はおもちゃ並みなので価値としては通常の販売価格の約500円が適当だと思われます。

2023年1月27日追記:
この記事は通常通り「がとらぼ」の中の人が書いたものを本文の殆どをChatGPTで書き直して貰いました。読みやすい部分が増えましたが変な部分もあります。

Up