freifunk-franken
/
firmware
9
7
Fork 13
Code Issues 48 Pull Requests 7 Releases 17 Wiki Activity

This patch adds json to the mqtt monitoring package. #216

Open
McUles wants to merge 6 commits from McUles/firmware:master into master
pull from: McUles/firmware:master
merge into: freifunk-franken:master
Conversation 7 Commits 6 Files Changed 11 +71 -14
10 changed files with 71 additions and 14 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files
Showing only changes of commit b52801fe14 - Show all commits

6
src/packages/fff/fff-babeld/files/usr/lib/nodewatcher.d/81-babeld.sh → src/packages/fff/fff-babeld/files/usr/lib/nodewatcher-json.d/81-babeld.sh
View File

@ -1,7 +1,9 @@
#!/bin/sh
SCRIPT_DATA_FILE=$(uci get nodewatcher.@script[0].data_file).json
. /usr/share/libubox/jshn.sh
json_load_file /tmp/nodewatcher.json
json_load_file $SCRIPT_DATA_FILE
json_select babel
@ -30,6 +32,6 @@ fi
json_close_object #neighbours
json_dump > /tmp/nodewatcher.json
json_dump > $SCRIPT_DATA_FILE
#exit 0

3
src/packages/fff/fff-mqtt-monitoring/files/usr/sbin/json-mqtt-proxy
View File

@ -1,6 +1,7 @@
#!/bin/sh
MACADDR=$(cat /sys/class/net/br-client/address | /bin/sed 's/://g')
SCRIPT_DATA_FILE=$(uci get nodewatcher.@script[0].data_file).json
if [ -n "$(uci -q get fff.mqtt.server)" ] ; then
mosquitto_pub -h "$(uci get fff.mqtt.server)" -p 1883 -t /monitoring/v2/$MACADDR -m "$(cat /tmp/nodewatcher.json)"
mosquitto_pub -h "$(uci get fff.mqtt.server)" -p 1883 -t /monitoring/v2/$MACADDR -m "$SCRIPT_DATA_FILE"
jkimmel commented 2022-03-07 11:27:34 +01:00
Outdated
Review
Copy Link

Das -m "$(cat $SCRIPT_DATA_FILE)" ist vermutlich nicht so geschickt. Irgendwann ist nämlich auch mal der Puffer für Kommandozeile voll :)

Meine lokale man page sagt:

       -f, --file
           Send the contents of a file as the message.

Kann das das openwrt mosquitto_pub vielleicht auch?
Alternativ gibt es auch noch:

       -s, --stdin-file
           Send a message read from stdin, sending the entire content as a
           single message.

Damit könnte man sich das zwischenspeichern in einer Datei eventuell komplett sparen.

Das `-m "$(cat $SCRIPT_DATA_FILE)"` ist vermutlich nicht so geschickt. Irgendwann ist nämlich auch mal der Puffer für Kommandozeile voll :) Meine lokale man page sagt: ``` -f, --file Send the contents of a file as the message. ``` Kann das das openwrt `mosquitto_pub` vielleicht auch? Alternativ gibt es auch noch: ``` -s, --stdin-file Send a message read from stdin, sending the entire content as a single message. ``` Damit könnte man sich das zwischenspeichern in einer Datei eventuell komplett sparen.
McUles commented 2022-03-07 11:34:40 +01:00
Outdated
Review
Copy Link

Die Datei direkt übergeben mit -f funktioniert.
Einsparen der Datei wird nicht so einfach funktionieren weil die einzelnen Scripts die Datei öffnen und ergänzen.
Hier werden auch in vorherige Nodes Daten eingefügt.
Wenn es hier noch eine schlauere Idee gibt, gerne.

Die Datei direkt übergeben mit -f funktioniert. Einsparen der Datei wird nicht so einfach funktionieren weil die einzelnen Scripts die Datei öffnen und ergänzen. Hier werden auch in vorherige Nodes Daten eingefügt. Wenn es hier noch eine schlauere Idee gibt, gerne.
ChristianD commented 2022-03-07 14:59:56 +01:00
Outdated
Review
Copy Link

Ich würde die Datei gerne behalten. Es kann ja sein das jemand (also irgendein Script o.ä.) anders auch an die json ran will und was damit tun will und nicht nur der mqtt. Wir sollten Nodewatcher-json und mqtt mMn getrennt halten.

Eventuell sollte man daraus sogar 2 Patches machen:

  1. das ganze json-nodewatcher Zeug => was am Ende die Datei nach /tmp/irgendwas legt
  2. nodewatcherjson-to-mqtt-proxy => was die Datei /tmp/irgendwas holt und ins mqtt stopft.

(Name frei erfunden, gerne anpassen ;))
Im Moment sind die Patches ja eh ein ziemliches durcheinander und sollten noch sortiert werden.

Mittelfristig müsste man dann überlegen ob man dem Monitoring wieder ein API verpasst wo man die json hinwirft oder ob das Monitoring auch einfach auf den mqtt zugreift und sich dort die Daten holt, mir wäre letztes deutlich lieber weil man dann weniger in der Firmware pflegen muss.

Ich würde die Datei gerne behalten. Es kann ja sein das jemand (also irgendein Script o.ä.) anders auch an die json ran will und was damit tun will und nicht nur der mqtt. Wir sollten Nodewatcher-json und mqtt mMn getrennt halten. Eventuell sollte man daraus sogar 2 Patches machen: 1) das ganze json-nodewatcher Zeug => was am Ende die Datei nach /tmp/irgendwas legt 2) nodewatcherjson-to-mqtt-proxy => was die Datei /tmp/irgendwas holt und ins mqtt stopft. (Name frei erfunden, gerne anpassen ;)) Im Moment sind die Patches ja eh ein ziemliches durcheinander und sollten noch sortiert werden. Mittelfristig müsste man dann überlegen ob man dem Monitoring wieder ein API verpasst wo man die json hinwirft oder ob das Monitoring auch einfach auf den mqtt zugreift und sich dort die Daten holt, mir wäre letztes deutlich lieber weil man dann weniger in der Firmware pflegen muss.
fi

6
src/packages/fff/fff-network/files/usr/lib/nodewatcher.d/21-interfaces.sh → src/packages/fff/fff-network/files/usr/lib/nodewatcher-json.d/21-interfaces.sh
View File

@ -17,8 +17,10 @@ inArray() {
debug "Collecting information from network interfaces"
SCRIPT_DATA_FILE=$(uci get nodewatcher.@script[0].data_file).json
. /usr/share/libubox/jshn.sh
json_load_file /tmp/nodewatcher.json
json_load_file $SCRIPT_DATA_FILE
json_add_array "interfaces"
@ -94,5 +96,5 @@ for filename in $(grep 'up\|unknown' /sys/class/net/*/operstate); do
json_close_object #iface object
done
json_dump > /tmp/nodewatcher.json
json_dump > $SCRIPT_DATA_FILE
#exit 0

5
src/packages/fff/fff-network/files/usr/lib/nodewatcher.d/51-clients.sh → src/packages/fff/fff-network/files/usr/lib/nodewatcher-json.d/51-clients.sh
View File

@ -1,6 +1,7 @@
#!/bin/sh
MESH_INTERFACE=$(uci get nodewatcher.@network[0].mesh_interface)
SCRIPT_DATA_FILE=$(uci get nodewatcher.@script[0].data_file).json
debug() {
(>&2 echo "nodewatcher: $1")
@ -9,7 +10,7 @@ debug() {
debug "Collecting information about connected clients"
. /usr/share/libubox/jshn.sh
json_load_file /tmp/nodewatcher.json
json_load_file $SCRIPT_DATA_FILE
json_add_object "clients"
@ -30,6 +31,6 @@ json_close_object #interfaces array
json_add_string "count" "$client_count"
json_close_object #clients
json_dump > /tmp/nodewatcher.json
json_dump > $SCRIPT_DATA_FILE
#exit 0

1
src/packages/fff/fff-nodewatcher/files/usr/lib/micron.d/fff-nodewatcher-json Normal file
View File

@ -0,0 +1 @@
*/5 * * * * sleep $(/usr/bin/random 0 29); /usr/sbin/nodewatcher-json

3
src/packages/fff/fff-nodewatcher/files/usr/lib/nodewatcher.d/11-systemdata.sh → src/packages/fff/fff-nodewatcher/files/usr/lib/nodewatcher-json.d/11-systemdata.sh
View File

@ -5,6 +5,7 @@ json_init
SCRIPT_STATUS_FILE=$(uci get nodewatcher.@script[0].status_text_file)
SCRIPT_VERSION=$(cat /etc/nodewatcher_version)
SCRIPT_DATA_FILE=$(uci get nodewatcher.@script[0].data_file).json
debug() {
(>&2 echo "nodewatcher: $1")
@ -140,5 +141,5 @@ vpn_active=0
pidof fastd >/dev/null && vpn_active=1
json_add_string "vpn_active" "$vpn_active"
json_dump > /tmp/nodewatcher.json
json_dump > $SCRIPT_DATA_FILE
#exit 0

45
src/packages/fff/fff-nodewatcher/files/usr/sbin/nodewatcher-json Normal file
View File

@ -0,0 +1,45 @@
#!/bin/sh
test -f /tmp/started || exit
# Allow only one instance
lockfile="/var/lock/${0##*/}.json.lock"
if ! lock -n "$lockfile"; then
echo "Only one instance of $0 allowed."
exit 1
fi
trap "lock -u \"$lockfile\"" INT TERM EXIT
[ -s /etc/config/nodewatcher ] || exit 1
[ "$(uci get nodewatcher.@script[0].disabled)" = "1" ] && exit 0
SCRIPT_DATA_FILE=$(uci get nodewatcher.@script[0].data_file).json
debug() {
(>&2 echo "nodewatcher: $1")
}
#This method generates the crawl data JSON file that is being fetched by netmon
#and provided by a small local httpd
crawl() {
debug "Putting all information into a JSON-File and save it at $SCRIPT_DATA_FILE"
for f in /usr/lib/nodewatcher-json.d/*.sh; do
tmp="$($f)"
if [ $? -ne 0 ]; then
debug "Error when executing subscript $f, exiting!"
exit 1
fi
done
SCRIPT_DATA_DIR=$(dirname "$SCRIPT_DATA_FILE")
test -d "$SCRIPT_DATA_DIR" || mkdir -p "$SCRIPT_DATA_DIR"
}
LANG=C
#Erzeugt die statusdaten
debug "Generate actual status data"
crawl
exit 0
McUles marked this conversation as resolved Outdated
ChristianD commented 2022-03-07 15:10:42 +01:00
Outdated
Review
Copy Link

Das gefällt mir hier nicht.

Wie schon in einem anderen Kommentar gesagt, würde ich mqtt und nodewatcher-json gerne trennen. Ich würde da sogar soweit gehen und 2 Cronjobs anlegen:

root@knoblauchsland-ths:/usr/lib/micron.d# cat fff-nodewatcher
*/5 * * * * sleep $(/usr/bin/random 0 29); /usr/sbin/nodewatcher
root@knoblauchsland-ths:/usr/lib/micron.d# cat fff-alfred-monitoring-proxy
*/5 * * * * sleep $(/usr/bin/random 70 85); /usr/sbin/alfred-monitoring-proxy
root@knoblauchsland-ths:/usr/lib/micron.d# cat fff-alfred-mqtt-proxy
*/5 * * * * sleep $(/usr/bin/random 70 85); /usr/sbin/alfred-mqtt-proxy

im moment haben wir es so, ich würde daher vorschlagen die /usr/sbin/nodewatcher-json läuft wie der /usr/sbin/nodewatcher mit sleep 0 29 und ein weiterer Cronjob nennen wir ihn nodewatcherjson-mqtt-proxy läuft dann wie der /usr/sbin/alfred-mqtt-proxy mit 70 85. Diesen 2. Cronjob würde ich dann ins fff-mqtt-monitoring Paket packen.

Als kleinen Bonus sind wir Alfred hier auf jeden Fall auch los geworden :)

Das gefällt mir hier nicht. Wie schon in einem anderen Kommentar gesagt, würde ich mqtt und nodewatcher-json gerne trennen. Ich würde da sogar soweit gehen und 2 Cronjobs anlegen: root@knoblauchsland-ths:/usr/lib/micron.d# cat fff-nodewatcher */5 * * * * sleep $(/usr/bin/random 0 29); /usr/sbin/nodewatcher root@knoblauchsland-ths:/usr/lib/micron.d# cat fff-alfred-monitoring-proxy */5 * * * * sleep $(/usr/bin/random 70 85); /usr/sbin/alfred-monitoring-proxy root@knoblauchsland-ths:/usr/lib/micron.d# cat fff-alfred-mqtt-proxy */5 * * * * sleep $(/usr/bin/random 70 85); /usr/sbin/alfred-mqtt-proxy im moment haben wir es so, ich würde daher vorschlagen die /usr/sbin/nodewatcher-json läuft wie der /usr/sbin/nodewatcher mit sleep 0 29 und ein weiterer Cronjob nennen wir ihn nodewatcherjson-mqtt-proxy läuft dann wie der /usr/sbin/alfred-mqtt-proxy mit 70 85. Diesen 2. Cronjob würde ich dann ins fff-mqtt-monitoring Paket packen. Als kleinen Bonus sind wir Alfred hier auf jeden Fall auch los geworden :)

5
src/packages/fff/fff-s2nproxy/usr/lib/nodewatcher.d/91-s2nproxy.sh → src/packages/fff/fff-s2nproxy/usr/lib/nodewatcher-json.d/91-s2nproxy.sh
View File

@ -1,8 +1,9 @@
#!/bin/sh
. /lib/functions.sh
SCRIPT_DATA_FILE=$(uci get nodewatcher.@script[0].data_file).json
. /usr/share/libubox/jshn.sh
json_load_file /tmp/nodewatcher.json
json_load_file $SCRIPT_DATA_FILE
json_add_array "s2nproxy"
@ -139,4 +140,4 @@ config_foreach s2np s2nproxy
json_close_object #s2nproxy
json_dump > /tmp/nodewatcher.json
json_dump > $SCRIPT_DATA_FILE

5
src/packages/fff/fff-simple-tc/files/usr/lib/nodewatcher.d/71-simple-tc.sh → src/packages/fff/fff-simple-tc/files/usr/lib/nodewatcher-json.d/71-simple-tc.sh
View File

@ -1,9 +1,10 @@
#!/bin/sh
. /lib/functions.sh
SCRIPT_DATA_FILE=$(uci get nodewatcher.@script[0].data_file).json
. /usr/share/libubox/jshn.sh
json_load_file /tmp/nodewatcher.json
json_load_file $SCRIPT_DATA_FILE
config_load simple-tc
tc_enabled="0"
@ -31,6 +32,6 @@ json_add_string "out" "$tc_out"
json_close_object #wan
json_close_object #traffic_control
json_dump > /tmp/nodewatcher.json
json_dump > $SCRIPT_DATA_FILE
#exit 0

6
src/packages/fff/fff-wireless/files/usr/lib/nodewatcher.d/61-airtime.sh → src/packages/fff/fff-wireless/files/usr/lib/nodewatcher-json.d/61-airtime.sh
View File

@ -1,7 +1,9 @@
#!/bin/sh
SCRIPT_DATA_FILE=$(uci get nodewatcher.@script[0].data_file).json
. /usr/share/libubox/jshn.sh
json_load_file /tmp/nodewatcher.json
json_load_file $SCRIPT_DATA_FILE
json_add_object "airtime"
@ -26,6 +28,6 @@ if [ -n "$w5dump" ] ; then
fi
json_close_object #airtime
json_dump > /tmp/nodewatcher.json
json_dump > $SCRIPT_DATA_FILE
#exit 0