がとらぼ
INTAA.NET

Grafana AlertingやAlert Managerと連携して警告灯を点灯

これまでいくつか警告灯に関する記事を書いてきましたが、今回はGrafana Alerting（またはPrometheusのAlert Manager）からwebhookで通知を受け取り、警告灯が点灯する仕組みを作りました。

前回の記事ではwebhookで受け取った内容をそのままログファイルに書き出すだけにしていましたが、今回はwebhookの内容を一切見ません。webhookを受け取ったことをきっかけ（トリガー）として、Grafana Alerting（およびAlert Manager）から現在のアラートのステータスを直接取得し、その内容に基づいて警告灯を光らせるようにしました。webhookの内容だけを見ても、その時点での他のアラートの状態がわからないため、どのように灯りを制御すればよいかが非常に難しくなります。専用のデータベースを用意して状態を管理するのも面倒なので、この方法にしました。

超簡略版のコード例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
<?php

// 自身のGrafanaのAlertステータス取得URL
$url = "http://grafana_user:grafana_password@grafana_server:3000/api/alerts/";
$logFile = __DIR__ . '/warn.log';

if ($_SERVER["REQUEST_METHOD"] == "POST") {
    //$body = file_get_contents('php://input');
    //$json = json_decode($body);

    $json = json_decode(get_curl($url), true);
    //file_put_contents($logFile, print_r($json), FILE_APPEND);

    $warn = false;
    $alert = false;

    foreach($json as $ealert) {
        $log =  date("Y-m-d H:i:s "). $ealert['name'] . " " . $ealert['state'] . "\n";

        //Systel Load alertがalertingならアラートではなく警告とする
        if ($ealert['name'] =='System Load alert'){
            if ($ealert['state'] =='alerting'){
                $warn = true;
            }
        }

        file_put_contents($logFile, $log, FILE_APPEND);
    }

    //ライト点灯
    if ($alert) {
        light(3);
    } elseif ($warn) {
        light(2);
    } else {
        light(1);
    }
}

function get_curl($url) {
    $c = curl_init();
    curl_setopt($c, CURLOPT_URL, $url);
    curl_setopt($c, CURLOPT_RETURNTRANSFER, true);
    $res =  curl_exec($c);
    //$res = var_dump($res);
    curl_close($c);

    return $res;
}

function light($c) {
    switch ($c) {
        case 0:
            //警告灯 消灯
            $code = "0f";
            break;
        case 1:
            //警告灯 緑
            $code = "0b";
            break;
        case 2:
            //警告灯 黄
            $code = "0d";
            break;
        case 3:
            //警告灯 赤
            $code = "0e";
            break;
    }

    $cmd = 'echo "' .  $code . '" | xxd -r -p > /dev/cuaU0';
    exec($cmd , $error);
    //echo $error;
}
?>

上の例は大幅に簡略化したもので、System Load alertという1つの警告パターンしか扱っていません（21〜25行目あたり）。

処理の概要

  • Grafana Alertingのステータスで、**1つでも「alerting」（深刻な異常）**があれば赤色で点灯
  • アラートはなく、警告相当のものが1つでもあれば黄色で点灯
  • どちらもない場合は緑色で点灯（正常）

アラート発生後の持続表示について

警告状態から正常に戻った場合は、素直に緑色に戻しても問題ありません。しかし、アラート（深刻な異常）が発生した後に警告や正常に戻った場合でも、すぐに黄・緑に変わってしまうと「問題が解決したように見えてしまう」のが良くない、という考え方もあります。

実際の運用では、アラートが発生したときに「アラート名＋発生インスタンス名」の空ファイルを作成しています。そのファイルが存在する限り、Grafana側でアラートが解消されていても赤色を保持するようにしています。本当に問題が解決・確認できたときに、管理者が手動でそのファイルを削除する運用です。

その他の機能

警告灯とは別に、各インスタンスのステータスをPrometheusからcurlで取得してAmazon Pollyで音声読み上げさせる処理も作っています。
今回は警告・アラートも読み上げるように拡張しました（コードは割愛）。

いい歳をしたおっさんが中2病のようなの作ってて少し恥ずかしい、うん。

関連記事:

クルマのバックライトと前ポジションのLEDを差し替えた

正月休みにクルマのバックランプをT10の明るいLEDに変更した。それで光り方は明るくはなったが、期待したほどは後ろが照らされるものではなかった。T16ソケットにT10が挿さるとはいえ、T10ではバルブが細いので光らせるLEDチップを沢山は積めない。そこで改めてT16(実際はT15)のLEDを購入した。

AliExpress商品画像 681円 232円
(2024年06月20日 の参考価格)

SMD(表面実装)な4014チップが45個というT15のLEDバルブ。T16ではないが、ほぼ同じ。AliExpressの商品ページには900lmと書かれている。それは1つで900lmなのか2個セットでなのかは不明。片面18個のLEDが付いた2枚の基板の間にヒートシンクが入っていて、一応は放熱も考えられてはいるみたい。
2個セットで200円ちょっと。

T16 LED 1
全長40mmなので写真の印象ほどは大きくはない。基板はそんなに綺麗ではない感じ。1個100円程度というのは納得。

T16 LED 2
スマホで撮ったら色が飛んだ。ｽﾐﾏｾﾝ
ソケットに挿さる側。厚すぎず薄すぎずでソケットに負担をかけずにグラグラしないでしっかり挿さりそう。

T16 LED 3
ソケットの端子を起こしてしっかり挿した。基板がソケットに当たった部分の縁が少しひび割れた。劣化してるのかな。

バックランプ 電球時
バックライトを純正の電球に戻して撮影した。その純正球の光り方はかなり黄色い。
ここから3枚はカメラの設定は同じ。夕方の日没前に撮影しているので周囲が真っ暗ではない。

バックランプ T10 LED時
この前挿したT10のLED。目で見ると純正球より明るいが、この写真では何故か明るくなった様には見えなくて色が白になっただけの感じ。

バックランプ T16 LED時
今回購入したT15のLED。光り方が明らかに強烈になっている。夜にこのバックランプを見ると爆光に近い眩しさではないだろうか。ただし、眩しくはなっても周囲、特に地面側を照らしてくれるのかは不安。バックランプユニットの形状が地面側を照らす用になってないように思えるのよね。

2020年2月25日追記
先週末に夜間にクルマを動かしたので感想。思ったより周囲を照らしていた。目視でもそれなりに近くの範囲は見えるが、純正ナビのバックカメラとドラレコ兼デジタルインナーミラーのバックカメラではどちらも非常に明るく見える。ヘッドライトの様に数十メートル先まで照らしてくれるわけではないが、暗夜でもノロノロでなら目視で後退が十分できる程度になっていた。めでたし。

さて、これで正月休みにバックランプ用に挿したT10の明るいLEDが余った状態になってしまった。フロントのポジション球は正月に挿した3030チップ1つのLED T10バルブで満足してたが、そういえばバックランプにしていた明るいT10バルブはポジション球としては一度も挿していなかった。そこで試しに交換することにした。


2026年07月10日 現在、AliExpressで 2Pcs Car T10 LED W5W Canbus Clearance Lights For Mercedes Benz C Class W205 の取り扱いまたはプロモーションはありません。

明るいT10 LEDバルブはこれ。白は6000Kで12V/5Wで550lmということになっている。(本当かどうかは不明) ちょっとお高くて2個で300円超えで、この記事最初のT15のLEDの1.5倍もする。使わないのはもったいない。

ポジションLED交換 1
手前がフロントのポジションランプ用に挿していた3030チップ1つのT10 LED。奥側が明るいT10 LEDバルブ(とソケット)。
ちょっと長い上に全体がアルミで重いのでヘッドライトユニット内で抜け落ちると困るが、これもソケットの端子起こしをしたらしっかり挿さった。なので今回は抜け落ち防止のアルミテープは使わないことにした。

ポジションLED交換 2
ヘッドライトユニット内で光らせるとこんな感じ。純正球と比べるとだいぶぴょこっと飛び出ている。ちなみにこの写真はシャッター速度を速めて暗く写している。

ポジションLED交換 3
目で見るとこんな感じに見える。もはやポジション球ではなくヘッドライト。バックライトとしてはそんなに明るいとは思わなかったけどヘッドライトユニット内では爆光。商品説明ページに書かれた550lmが本当ならヘタな小型バイクのハロゲンのヘッドライトより光量が多いということになる。そして、ヘッドライトから80cm離れた壁にヘッドライトのロービームを点灯するとポジション交換前はカットラインがはっきり見えていたのが消えた(笑)　つまり、カットラインの影が消えるほど光っている。ポジションの光が水平より上方向にだいぶ飛んでいるということなので対向車のドライバーに眩しがられるかも。離れるとそうでもないのかな？
2021年8月7日修正: 初稿から「対向車」が「対抗車」になってたｽﾐﾏｾﾝ

予想はしてたけど、ポジションとして「点灯を認識できる」レベルを通り越して眩しすぎるので普通に使うのはどうかしら。正月に挿した3030が1つのLEDの方がポジションには良さそう。ヘッドライトロービーム時にポジションが消灯してくれたら問題ないんだけどなぁ。

関連記事:
Up