Electrokit Buggfix Plus
Aktuellt datum och tid: 05.26 2019-11-21

Alla tidsangivelser är UTC + 1 timme




Svara på tråd  [ 14 inlägg ] 
Författare Meddelande
InläggPostat: 15.11 2019-08-06 

Blev medlem: 10.11 2007-03-19
Inlägg: 5019
Ort: Ronneby
Mitt hemsnickrade energi- och miljöloggsystem producerar datafiler enligt nedan:
Kod: [Expandera/Minimera] [Hämta] (Untitled.txt)
2019-07-01 00:01:00   60   1.39   1.12   1.05   0.00    370.20    597.37     8942.3                                                              21.8  63.6
2019-07-01 00:02:00   60   1.39   1.12   1.05   0.00    369.50    594.82     8942.3  20.9  57.6                                                           
2019-07-01 00:03:00   60   1.51   1.12   1.05   0.09    451.98    614.04     8942.3                                                                       
2019-07-01 00:04:00   57   1.42   1.12   1.05   0.00    448.82    592.09     8942.3                          28.5  32.8                                   
2019-07-01 00:05:00   60   1.43   1.12   1.05   0.00    451.13    593.77     8942.3                                      30.9  35.8                       
2019-07-01 00:06:00   60   1.57   1.25   1.05   0.19    602.58    710.51     8942.3                                                  19.5  78.4           
2019-07-01 00:07:00   60   1.50   1.40   1.05   0.00    721.82    796.84     8942.3                                                              21.8  63.6
2019-07-01 00:08:00   60   1.43   1.39   1.05   0.00    704.54    780.91     8942.3  20.7  58.4                                                           
2019-07-01 00:09:00   60   1.44   1.40   1.05   0.00    705.66    782.39     8942.3              26.8  35.7                                               
2019-07-01 00:10:00   60   1.43   1.40   1.05   0.00    706.89    783.30     8942.4                          28.3  32.9                                   
2019-07-01 00:11:00   60   1.43   1.41   1.04   0.00    707.44    784.55     8942.4                                      30.9  35.9                       
2019-07-01 00:12:00   60   1.43   1.41   1.05   0.00    706.99    784.08     8942.4                                                  19.5  78.4           
2019-07-01 00:13:00   56   1.44   1.26   1.04   0.00    577.92    690.77     8942.4                                                              21.8  63.5
2019-07-01 00:14:00   60   1.43   1.12   1.05   0.00    449.83    596.41     8942.4  20.6  59.1                                                           
2019-07-01 00:15:00   60   1.42   1.12   1.05   0.00    448.38    595.56     8942.4              26.6  36.1                                               
2019-07-01 00:16:00   60   1.42   1.12   1.04   0.00    447.50    594.34     8942.4                          28.1  33.1                                   
2019-07-01 00:17:00   60   1.42   1.12   1.05   0.00    446.65    593.79     8942.4                                      30.9  35.9                       
2019-07-01 00:18:00   60   1.42   1.12   1.05   0.00    446.54    593.70     8942.4                                                  19.5  78.2           
2019-07-01 00:19:00   56   1.41   1.12   1.04   0.00    445.78    591.89     8942.4                                                              21.8  63.4


ca 43000 rader per månad eller drygt ~500k rader per år.

Jag letar efter nått verktyg som kan läsa in och plotta datan. Excel/Libre Office Calc i all ära men jag önskar något lite mer "dynamiskt", där man kan "tända/släcka" data man inte vill inte se, zooma in/ut (framförallt över tidsaxeln), panorera över tid osv. Helst då något där man kan spara en "template" över hur datan är formaterad, vilka kolumner som är vad osv, så man inte behöver sätta upp det varje gång man skall importera datan.

Jag hittade DatPlot (http://www.datplot.com/) men dels så vill det inte riktigt lira med formatet på min data, i synnerhet det faktum att det i kolumn 11-22 bara finns data för respektive kolumn på var sjätte rad och dels verkar det vara mer för att "skapa" diagram för presentationer etc än för att grafiskt "titta på" datan.

OS i fråga är företrädesvis Windows, gratis är gott men en femhundring kan jag lägga ut för rätt verktyg.

Tacksam för tips!


Upp
 Profil  
 
InläggPostat: 15.22 2019-08-06 
Användarvisningsbild

Blev medlem: 18.17 2004-02-11
Inlägg: 9338
Ort: Knivsta
Jag har valt att lägga all min data i en MySQL server och sen med en härlig blandning av PHP och javascript plotta det jag vill..
Fördelen är ju att det blir oändligt flexibelt, nackdelen är att man behöver behärska SQL och något programmeringsspråk (eller bra på att googla)

Nu stoppas min mätdata via mobildata abb rakt in i SQL databas som ligger på ett webhotell, så jag kan se värdena var jag än är i världen..
Men det beror mest på att ingen av systemen finns i mitt hem..


Upp
 Profil  
 
InläggPostat: 17.45 2019-08-06 
Användarvisningsbild

Blev medlem: 18.09 2011-07-01
Inlägg: 9327
Ort: Helsingborg
Excel eller motsvarande kan göra mycket med Pivottabellerer Men jag skulle dunka data rakt in i en SQL databas.
Ett par standardfrågor med filter i TS (TimeStamp) ÅÅMMDDMMSS skulle vara rätt.


Upp
 Profil  
 
InläggPostat: 18.19 2019-08-06 

Blev medlem: 08.04 2012-06-19
Inlägg: 468
Ort: Lund
Behåll filerna i csv-format och använd gnuplot.


Upp
 Profil  
 
InläggPostat: 19.06 2019-08-06 
EF Sponsor

Blev medlem: 11.54 2014-05-26
Inlägg: 652
Ort: Karlskoga
+1 för gnuplot.

För oss som inte (längre) är kommandoradsdyrkare kan det vara lite jobbigt igång men hjälpen är ok och det finns exempel att finna på nätet.


Upp
 Profil  
 
InläggPostat: 19.46 2019-08-06 

Blev medlem: 17.59 2009-12-21
Inlägg: 3557
Kika på InfluxDB för datalagringen (jag tolkar det som att du använder tid som bas) och Grafana för att visa datat.

Det är lätt att vrida och vända på datat och man kan få grafer att uppdatera i realtid etc. etc.

Så här ser lita av Telemetrin på mitt hus ut

Bilaga:
Namnlös.png


Logga in för att visa de filer som bifogats till detta inlägg.


Upp
 Profil  
 
InläggPostat: 15.09 2019-08-07 

Blev medlem: 10.11 2007-03-19
Inlägg: 5019
Ort: Ronneby
Tack för svar och idéer!
Innan jag började koda systemet tittade jag på lite olika "färdiga" hemautomation/energilogglösningar och konstaterade att alla var på tok för komplicerade för det jag ville göra. Jag tittade på InfluxDB och Grafana, för de tillsammans verkar göra exakt det jag vill, och FÖRSÖKTE följa någon guide men lyckades inte ens ta mig igenom installationen. Det förutsätts alltid att man är nån Linux command line ninja. Jag hade antagligen fortfarande hållt på med det om jag inte istället valt att helt enkelt skriva data till textfiler. Tänkte i min enfald att finns bara datan som (typ) .csv så måste det finnas mängder med verktyg för att "titta på den".

Angånde GNU-plot, är det inte för att plotta EN statisk "bild" av datan? Vill jag "zooma in" eller "panorera" så måste jag på generera en ny plot? Det jag önskar är något "musdrivet", tänk mjukvaran för Saleae LOGIC för er som har eller känner till det.

Jag har inget större behov av att komma åt datan från massa olika ställen osv, det enda jag vill är att kunna "analysera" den grafiskt, se hur den relativa fuktigheten på vinden håller sig kontra utemiljön över året osv. Kanske får ta ännu en titt på InfluxDB och Grafana, har en RaspberryPi till liggandes...

EDIT: Just det, det är korrekt, X-axeln är alltid datum och tid.

EDIT2: ToPNoTCH, verkligen snyggt, imponerande!


Upp
 Profil  
 
InläggPostat: 15.32 2019-08-07 
EF Sponsor
Användarvisningsbild

Blev medlem: 22.54 2006-09-23
Inlägg: 32496
Ort: Borås
Många använder http://belok.se/verktyg-hjalp/driftanalys/ för att visualisera stora mängder data.
Tydligen kostnadsfritt.


Upp
 Profil  
 
InläggPostat: 17.39 2019-08-07 

Blev medlem: 21.28 2004-10-09
Inlägg: 908
Ort: Västerås
Har kört highcharts (lib för javascript) på jobbet ett tag nu för att visualisera data, väldigt trevligt.


Upp
 Profil  
 
InläggPostat: 17.50 2019-08-07 
EF Sponsor
Användarvisningsbild

Blev medlem: 22.54 2006-09-23
Inlägg: 32496
Ort: Borås
Beloks verktyg är framtagna för just energihantering i fastigheter.


Upp
 Profil  
 
InläggPostat: 19.31 2019-08-07 

Blev medlem: 22.31 2008-03-27
Inlägg: 1676
Ort: stockholm
MySQL och Grafana kör jag
Sedan jag installerade det för första gången för något år sedan är det bara en sak jag ångrat,
att jag inte gjorde det tidigare :)

Satt tidigare och plottade i kalkylark på tok för länge.
kan du inte få din mjukvara att logga direkt till SQL?

Jag är övertygad om att vi kan hjälpa dig här på forumet att få igång det på en raspberrypi utan allt för mycket lidande .

MySQL Grafana Och MySQLWorkbench använder jag, samtliga gratis.


Upp
 Profil  
 
InläggPostat: 21.32 2019-08-07 

Blev medlem: 17.59 2009-12-21
Inlägg: 3557
Med dagens moderna Containerbaserade installationer är det ju väldigt enkelt att få upp enskilda installationer

Exempel för att installera och köra InfluxD:
sudo docker run -p 8086:8086 -v $PWD:/var/lib/influxdb influxd

Exempel för att installera och köra Grafana:
sudo docker run -d -p 3000:3000 --name=grafana -e "GF_SERVER_ROOT_URL=http://grafana.server.name" -e "GF_SECURITY_ADMIN_PASSWORD=secret" grafana/grafana

Det blir tyvärr lite krångligare när dessa två skall nå varandra.

Men det är klart du får hjälp om du vill testa.

p.s
För er som håller på eller tänker prova Containerbaserade installationer så
vill jag slå ett slag för Portainer. Det ger ett väldigt trevligt grafiskt gränssnitt
för administration av containers. Givetvis går den själv i en Container och är smidig att starta.
d.s


Upp
 Profil  
 
InläggPostat: 09.48 2019-08-08 

Blev medlem: 13.15 2010-11-14
Inlägg: 168
Ort: Sandviken
Börjar med att slänga in en "udda" fågel som flugit många förbi. KST-plot som kan vara trevligt som ren desktop-mjukvara för att utforska och göra saker.
Annars är mitt gift python + pandas + något plot/graf-paket (+ dash/plotly) för att göra saker kvickt...


Upp
 Profil  
 
InläggPostat: 10.26 2019-08-08 

Blev medlem: 10.11 2007-03-19
Inlägg: 5019
Ort: Ronneby
Tack igen för all input!
KST-plot hade mycket riktigt flugit mig förbi, ser ut att vara i linje med vad jag söker. Det skall utforskas!
Det kan ju till och med plotta data "live", efterhand som den skrivs till filen. Tack för det tipset!


Upp
 Profil  
 
Visa inlägg nyare än:  Sortera efter  
Svara på tråd  [ 14 inlägg ] 

Alla tidsangivelser är UTC + 1 timme


Vilka är online

Användare som besöker denna kategori: Inga registrerade användare och 6 gäster


Du kan inte skapa nya trådar i denna kategori
Du kan inte svara på trådar i denna kategori
Du kan inte redigera dina inlägg i denna kategori
Du kan inte ta bort dina inlägg i denna kategori
Du kan inte bifoga filer i denna kategori

Sök efter:
Hoppa till:  
   
Drivs av phpBB® Forum Software © phpBB Group
Swedish translation by Peetra & phpBB Sweden © 2006-2010