Felsökning ReadyNAS NV+

[sodjan]

Så där ja, då har jag en SSH tjänst installerad på båda mina ReadyNAS NV+.
Kittet hittade jag här: http://kb.netgear.com/app/answers/detai ... 6/session/

Burken som strular: burk1.
Burken som fungerar OK: burk2.

Det är också så att burk1 har historiskt används mer än burk2, så vissa skillnader
beror så klart på det (vilket också syns nedan).

Jag har access via root på båda burkarna, men har inte en susning om vad jag ska skriva.
Jag såg i något forum att man kan kolla att partitionerna inte är fulla med "df".

Jag ser på burk2 (OK):

Kod: Markera allt

nas-01-72-6A:~# df
Filesystem           1k-blocks      Used Available Use% Mounted on
/dev/hdc1              2031872    466224   1565648  23% /
tmpfs                       16         0        16   0% /USB
/dev/c/c             2911067152    558208 2910508944   1% /c
nas-01-72-6A:~#

och på burk 1 (strular):

Kod: Markera allt

nas-01-EE-01:~# df
Filesystem           1k-blocks      Used Available Use% Mounted on
/dev/hdc1              2015824    550164   1465660  28% /
tmpfs                       16         0        16   0% /USB
/dev/c/c             2905844912 532900416 2372944496  19% /c
/c/scan              2905844912 532900416 2372944496  19% /home/ftp/scan
nas-01-EE-01:~#

Inget som "sticker ut" så vitt jag kan tolka det.

"Full OS partition" som det skrivs om här verkar det inte vara (?).
https://community.netgear.com/t5/Using- ... d-p/896364
Å andra sidan behöver inte jag "rycka kabeln", on/off knappen på fronten fungerar alltid.

Så, vad kan man kolla som skulle kunna ha något med att göra att burken
plötsligt blir väldigt slö (ping går från 2-3 ms till upp mot 1 min)? Finns det
något som skriver kontinuerligt så att man kan fånga det intressanta?
Processer? I/O?

[swesysmgr]

Fungerar top eller något annat kommando som visar belastningen kontinuerligt? Fungerar uname -a och vad säger det?

[xxargs]

med 'top' så får du lite 'driftdata' och har en chans att se om någon process hugger all kraft

prova också och skriv dmesg ("dmess | more" om det skriver ut massor av sidor ) och se om kärnan klagar något i loggen - normalt brukar det skrivas en del i loggar men ready-nas har ofta dessvärre stängt av många av dem

[sodjan]

Japp, "top" fungerade OK. Screen copy nedan från båda.
"72-6A": OK.
"EE-01": Strul.

Just nu har har varken kört webb gränsnittet "Frontend" eller gjort några filoperationer
och strul burken har varit uppe 30 min.

"uname -a" visar detta:

Kod: Markera allt

nas-01-72-6A:~# uname -a
Linux nas-01-72-6A 2.6.17.14ReadyNAS #1 Wed Jun 20 20:08:20 PDT 2012 padre unknown
nas-01-72-6A:~#
...
nas-01-EE-01:~# uname -a
Linux nas-01-EE-01 2.6.17.14ReadyNAS #1 Wed Jun 20 20:08:20 PDT 2012 padre unknown
nas-01-EE-01:~#

Kod: Markera allt

nas-01-72-6A:~# top
top - 14:27:50 up 41 min,  1 user,  load average: 0.19, 0.15, 0.11
Tasks:  58 total,   1 running,  57 sleeping,   0 stopped,   0 zombie
Cpu(s):  1.0% us,  1.3% sy,  0.0% ni, 97.7% id,  0.0% wa,  0.0% hi,  0.0% si
Mem:    226352k total,   120128k used,   106224k free,    28320k buffers
Swap:   767904k total,        0k used,   767904k free,    65008k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 2651 root      16   0  2992 1664 1328 R  1.6  0.7   0:00.43 top
 1395 root      15   0 71760 4000 3136 S  0.3  1.8   0:01.11 leafp2p
 1736 root      15   0  8368 3280 2608 S  0.3  1.4   0:02.44 sshd
    1 root      15   0  2000  880  768 S  0.0  0.4   0:04.96 init
    2 root      34  19     0    0    0 S  0.0  0.0   0:00.00 ksoftirqd/0
    3 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 events/0
    4 root      10  -5     0    0    0 S  0.0  0.0   0:00.01 khelper
    5 root      10  -5     0    0    0 S  0.0  0.0   0:00.01 kthread
   10 root      10  -5     0    0    0 S  0.0  0.0   0:00.05 kblockd/0
   13 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 khubd
   41 root      20   0     0    0    0 S  0.0  0.0   0:00.00 pdflush
   42 root      15   0     0    0    0 S  0.0  0.0   0:00.03 pdflush
   43 root      25   0     0    0    0 S  0.0  0.0   0:00.00 kswapd0
   44 root      20  -5     0    0    0 S  0.0  0.0   0:00.00 aio/0
   45 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 cifsoplockd
   46 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 cifsdnotifyd
   92 root      20  -5     0    0    0 S  0.0  0.0   0:00.00 kvblade

Kod: Markera allt

nas-01-EE-01:~# top
top - 14:28:11 up 27 min,  1 user,  load average: 0.00, 0.03, 0.07
Tasks:  41 total,   1 running,  40 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.5% us,  0.5% sy,  0.0% ni, 99.0% id,  0.0% wa,  0.0% hi,  0.0% si
Mem:    226352k total,    91136k used,   135216k free,    16512k buffers
Swap:   767904k total,        0k used,   767904k free,    61440k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 1717 root      16   0  2992 1648 1328 R  0.7  0.7   0:00.53 top
 1186 root      15   0  8368 3280 2608 S  0.2  1.4   0:02.15 sshd
 1529 root      16   0  2400 1184  848 S  0.2  0.5   0:00.75 monitor_enclosu
    1 root      15   0  2000  880  768 S  0.0  0.4   0:05.02 init
    2 root      34  19     0    0    0 S  0.0  0.0   0:00.00 ksoftirqd/0
    3 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 events/0
    4 root      10  -5     0    0    0 S  0.0  0.0   0:00.03 khelper
    5 root      10  -5     0    0    0 S  0.0  0.0   0:00.01 kthread
   10 root      10  -5     0    0    0 S  0.0  0.0   0:00.04 kblockd/0
   13 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 khubd
   41 root      20   0     0    0    0 S  0.0  0.0   0:00.00 pdflush
   42 root      15   0     0    0    0 S  0.0  0.0   0:00.03 pdflush
   43 root      25   0     0    0    0 S  0.0  0.0   0:00.00 kswapd0
   44 root      20  -5     0    0    0 S  0.0  0.0   0:00.00 aio/0
   45 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 cifsoplockd
   46 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 cifsdnotifyd
   92 root      20  -5     0    0    0 S  0.0  0.0   0:00.00 kvblade

Det som jag ser är att antalet processer skilljer en del, jag har gått
igenom menyerna och tror att jag har samma inställningar. Tagit bort
fil protokoll som inte används (Mac) o.s.v. En hel processlista vore intressant.

[sodjan]

"dmesg" ger att par sidor (PuTTY sidor) med info. En snabb koll ger att det
ser väldigt lika ut på båda burkarna just nu. Är det värdefullt att posta?

Kanske köra top och ansluta till en filkatalog och göra lite?

[xxargs]

egentligen skall du köra dmesg (helst till fil eller loggning i till ssh-terminal) kanske upprepande gånger precis när det börja bli problem - samt ha ett öga på top samtidigt och se om det är en process som börja hugga resurser väldigt våldsamt.

vad du egentligen vill ha är logg-snutten precis innan det fastnar, kommer inte ihåg om dmesg kommer ihåg förra körningen eller om den starta från scratch vid varje uppstart.

har inte någon burk tillgänglig men titta efter loggfiler under /var/* (tror jag) och se om det har skrivit ned något innan det har hängt sig.



Ett yxigt alternativ om man inte orkar att fixa och felsöka - är att flytta undan alla filer till annan nas/backup (eller båda, det var ju inte så mycket) och sedan prova med en fabriksåterställning.

[sodjan]

OK. Tack för alla tips...
Loggarna är lite större i alla fall på strul maskinen.
Är det någon speciell logg fil som kan vara intressant?
"syslog" kanske?

Kod: Markera allt

nas-01-72-6A:~# ls -l /var/log
total 29984
-rw-r--r--    1 root     root      1020476 Aug  7 15:08 auth.log
-rw-r--r--    1 root     root      1004435 Aug  7 15:08 cron.log
drwxr-xr-x    2 root     root        16384 Aug  7 13:47 cups
-rw-r--r--    1 root     root       873511 Aug  7 14:19 daemon.log
drwxr-xr-x    2 admin    admin       16384 Dec 21  2007 ddns
-rw-r--r--    1 root     root        10355 Aug  7 13:47 debug
-rw-r--r--    1 root     root         9097 Aug  7 13:47 dmesg
drwxr-s---    2 mail     adm         16384 Aug  7 13:47 exim
drwx------    3 admin    admin       16384 Aug  7 15:09 frontview
-rw-r--r--    1 root     root       979105 Aug  7 13:49 kern.log
drwxr-xr-x    2 root     root        16384 Jul 15  2002 ksymoops
-rw-r--r--    1 root     root            0 Aug  7 15:00 LeafP2P.log
-rw-r--r--    1 root     root        12084 May 22  2015 LeafP2P.log.old
-rw-r--r--    1 root     root            0 Feb 22  2012 lpr.log
-rw-r--r--    1 root     root            0 Feb 22  2012 mail.log
-rw-r--r--    1 root     root       987898 Aug  7 13:49 messages
-rw-r--r--    1 root     root        47395 Aug  7 14:18 netatalk.log
drwxr-xr-x    2 root     root        16384 Aug  7  2002 ntpstats
-rw-r-----    1 root     root        31997 Aug  7 14:18 proftpd.log
-rw-r--r--    1 root     root           42 Oct  2  2014 raidiator_version
-rw-r--r--    1 root     root     24084480 Mar 23  2014 ReadyNAS_Remote.log
-rw-r--r--    1 root     root       197490 Mar  5  2014 ReadyNAS_Remote.log.old
drwxrwxrwx    3 root     admin       16384 Aug  7 13:47 samba
lrwxrwxrwx    1 root     root           33 Feb 22  2012 slimserver.log -> /var/log/squeezecenter/server.log
drwxr-xr-x    2 35005    35000       16384 Jan 20  2009 squeezecenter
-rw-r--r--    1 root     root      1004130 Aug  7 14:19 syslog
-rw-r--r--    1 root     root        65396 Aug  7 13:49 user.log
nas-01-72-6A:~#

Kod: Markera allt

nas-01-EE-01:~# ls -l /var/log
total 190376
-rw-r--r--    1 root     root     31434695 Aug  7 15:08 auth.log
-rw-r--r--    1 root     root       981792 Aug  7 15:08 cron.log
drwxr-xr-x    2 root     root         4096 Aug  7 14:00 cups
-rw-r--r--    1 root     root      1075967 Aug  7 14:02 daemon.log
drwxr-xr-x    2 admin    admin        4096 Dec 21  2007 ddns
-rw-r--r--    1 root     root       766527 Aug  7 14:01 debug
-rw-r--r--    1 root     root         9270 Aug  7 14:01 dmesg
drwxr-s---    2 mail     adm          4096 Aug  7 14:00 exim
drwx------    3 admin    admin        4096 Aug  7 15:10 frontview
-rw-r--r--    1 root     root       803704 Aug  7 14:02 kern.log
drwxr-xr-x    2 root     root         4096 Jul 15  2002 ksymoops
-rw-r--r--    1 root     root     102776867 Feb  1  2013 LeafP2P.log
-rw-r--r--    1 root     root       202498 Nov 20  2012 LeafP2P.log.old
-rw-r--r--    1 root     root            0 Nov 19  2012 lpr.log
-rw-r--r--    1 root     root            0 Nov 19  2012 mail.log
-rw-r--r--    1 root     root     24794136 Aug  7 14:02 messages
-rw-r--r--    1 root     root       494771 Jul 18 15:16 netatalk.log
-rw-r--r--    1 root     root       998824 Apr 28  2015 netatalk.log.old
drwxr-xr-x    2 root     root         4096 Aug  7  2002 ntpstats
-rw-r-----    1 root     root       727567 Jul 18 15:01 proftpd.log
-rw-r--r--    1 root     root           42 Oct  2  2014 raidiator_version
drwxrwxrwx    3 root     admin        4096 Aug  7 14:01 samba
lrwxrwxrwx    1 root     root           33 Sep 19  2008 slimserver.log -> /var/log/squeezecenter/server.log
drwxr-xr-x    2 root     root         4096 Aug 26  2008 squeezecenter
-rw-r--r--    1 root     root     29715180 Aug  7 14:02 syslog
-rw-r--r--    1 root     root       143657 Jul 18 15:01 upnp-av.log
-rw-r--r--    1 root     root       304625 Aug  7 14:02 user.log
nas-01-EE-01:~#

[sodjan]

Update...

Efter att ha varit uppe i ca 2.5 timme så anslut jag till en "utdelning"
och började öppna några filer (JPG bilder). Ganska direkt dök det.

Kod: Markera allt

...
...
Reply from 192.168.1.15: bytes=32 time=1ms TTL=64
Reply from 192.168.1.15: bytes=32 time=1ms TTL=64
Reply from 192.168.1.15: bytes=32 time=5ms TTL=64
Reply from 192.168.1.15: bytes=32 time=8ms TTL=64
Request timed out.
Reply from 192.168.1.15: bytes=32 time=162ms TTL=64
Reply from 192.168.1.15: bytes=32 time=326ms TTL=64
Reply from 192.168.1.15: bytes=32 time=448ms TTL=64
Reply from 192.168.1.15: bytes=32 time=320ms TTL=64
Reply from 192.168.1.15: bytes=32 time=404ms TTL=64
Reply from 192.168.1.15: bytes=32 time=386ms TTL=64
Reply from 192.168.1.15: bytes=32 time=371ms TTL=64
Reply from 192.168.1.15: bytes=32 time=357ms TTL=64
Reply from 192.168.1.15: bytes=32 time=339ms TTL=64
Reply from 192.168.1.15: bytes=32 time=321ms TTL=64
Reply from 192.168.1.15: bytes=32 time=308ms TTL=64
Reply from 192.168.1.15: bytes=32 time=294ms TTL=64
Request timed out.
Request timed out.
Request timed out.
Request timed out.
Request timed out.
Reply from 192.168.1.91: Destination host unreachable.
Request timed out.

"top" frös med bilden nedan. Verkar inte ge så mycket...

Kod: Markera allt

top - 16:34:09 up  2:33,  1 user,  load average: 0.13, 0.18, 0.10
Tasks:  43 total,   2 running,  41 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.7% us,  0.7% sy,  0.0% ni, 98.7% id,  0.0% wa,  0.0% hi,  0.0% si
Mem:    226352k total,   175888k used,    50464k free,    26304k buffers
Swap:   767904k total,        0k used,   767904k free,   122928k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 1937 root      16   0  2992 1648 1328 R  1.3  0.7   0:07.12 top
    1 root      15   0  2000  880  768 S  0.0  0.4   0:05.02 init
    2 root      34  19     0    0    0 S  0.0  0.0   0:00.00 ksoftirqd/0
    3 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 events/0
    4 root      10  -5     0    0    0 S  0.0  0.0   0:00.03 khelper
    5 root      10  -5     0    0    0 S  0.0  0.0   0:00.01 kthread
   10 root      10  -5     0    0    0 S  0.0  0.0   0:00.04 kblockd/0
   13 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 khubd
   41 root      20   0     0    0    0 S  0.0  0.0   0:00.00 pdflush
   42 root      15   0     0    0    0 S  0.0  0.0   0:00.03 pdflush
   43 root      25   0     0    0    0 S  0.0  0.0   0:00.00 kswapd0
   44 root      20  -5     0    0    0 S  0.0  0.0   0:00.00 aio/0
   45 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 cifsoplockd
   46 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 cifsdnotifyd
   92 root      20  -5     0    0    0 S  0.0  0.0   0:00.00 kvblade
   93 root      15   0     0    0    0 S  0.0  0.0   0:00.02 mtdblockd
  106 root      25   0     0    0    0 S  0.0  0.0   0:00.00 hotplug-sata
  131 root      15   0     0    0    0 S  0.0  0.0   0:00.02 djsyncd

SSH sessionen gick ner efter ett tag efter någon timout i PuTTY sannolikt,
den var helt "unresponsive" i alla fall.

Synd att inte ping sätter timestamp på varje rad också... (Går det?)

[janno]

Du kan använda option -D för timestamp ("man ping" för dokumentation, finns även på nätet om den inte finns på NASen).

Kod: Markera allt

$ ping 192.168.0.1 -D 

PING 192.168.0.1 (192.168.0.1) 56(84) bytes of data.
[1470588724.239608] 64 bytes from 192.168.0.1: icmp_seq=1 ttl=64 time=0.383 ms
[1470588725.238337] 64 bytes from 192.168.0.1: icmp_seq=2 ttl=64 time=0.223 ms
[1470588726.237330] 64 bytes from 192.168.0.1: icmp_seq=3 ttl=64 time=0.205 ms
[1470588727.236313] 64 bytes from 192.168.0.1: icmp_seq=4 ttl=64 time=0.204 ms
[1470588728.235310] 64 bytes from 192.168.0.1: icmp_seq=5 ttl=64 time=0.198 ms

timestamp är unix time + microsekunder

[sodjan]

Fungerar inte i Win10. jag pingar ju *till* NAS'en...

Kod: Markera allt

C:\>ping 192.168.1.15 -D
Bad option -D.

Usage: ping [-t] [-a] [-n count] [-l size] [-f] [-i TTL] [-v TOS]
            [-r count] [-s count] [[-j host-list] | [-k host-list]]
            [-w timeout] [-R] [-S srcaddr] [-c compartment] [-p]
            [-4] [-6] target_name

Options:
    -t             Ping the specified host until stopped.
                   To see statistics and continue - type Control-Break;
                   To stop - type Control-C.
    -a             Resolve addresses to hostnames.
    -n count       Number of echo requests to send.
    -l size        Send buffer size.
    -f             Set Don't Fragment flag in packet (IPv4-only).
    -i TTL         Time To Live.
    -v TOS         Type Of Service (IPv4-only. This setting has been deprecated
                   and has no effect on the type of service field in the IP
                   Header).
    -r count       Record route for count hops (IPv4-only).
    -s count       Timestamp for count hops (IPv4-only).
    -j host-list   Loose source route along host-list (IPv4-only).
    -k host-list   Strict source route along host-list (IPv4-only).
    -w timeout     Timeout in milliseconds to wait for each reply.
    -R             Use routing header to test reverse route also (IPv6-only).
                   Per RFC 5095 the use of this routing header has been
                   deprecated. Some systems may drop echo requests if
                   this header is used.
    -S srcaddr     Source address to use.
    -c compartment Routing compartment identifier.
    -p             Ping a Hyper-V Network Virtualization provider address.
    -4             Force using IPv4.
    -6             Force using IPv6.

C:\ 

[janno]

Du kan väl pröva att pinga från den NASen som fungerar till den som strular?

[sodjan]

Bra tanke, men det hjälpte inte...

Kod: Markera allt

nas-01-72-6A:~# ping 192.168.1.15 -D
ping: invalid option -- D
Usage: ping [-LRUbdfnqrvVaA] [-c count] [-i interval] [-w deadline]
            [-p pattern] [-s packetsize] [-t ttl] [-I interface or address]
            [-M mtu discovery hint] [-S sndbuf]
            [ -T timestamp option ] [ -Q tos ] [hop1 ...] destination
nas-01-72-6A:~#

Hittade några exempel och t.ex detta fungerar OK (1.91 är min laptop):

Kod: Markera allt

nas-01-72-6A:~# ping 192.168.1.91  | while read pong; do echo "$(date +%Y-%m-%d_%H%M%S): $pong"; done
2016-08-07_192500: PING 192.168.1.91 (192.168.1.91) 56(84) bytes of data.
2016-08-07_192500: 64 bytes from 192.168.1.91: icmp_seq=1 ttl=128 time=3.64 ms
2016-08-07_192501: 64 bytes from 192.168.1.91: icmp_seq=2 ttl=128 time=3.04 ms
2016-08-07_192502: 64 bytes from 192.168.1.91: icmp_seq=3 ttl=128 time=3.18 ms
2016-08-07_192503: 64 bytes from 192.168.1.91: icmp_seq=4 ttl=128 time=5.13 ms
2016-08-07_192504: 64 bytes from 192.168.1.91: icmp_seq=5 ttl=128 time=3.20 ms

nas-01-72-6A:~#

En tanke...
Finns det någon enkel variant för att logga på NAS'en utan att
vara beroende av SSH sessionen? Jag tänker ifall det är något
nätverksrelaterat som spökar. Batch-köer eller liknande?
Om man kör med & på slutet så är det (väl?) fortfarande
beroende av att terminal sessionen/processen finns kvar?

[janno]

Jag brukar använda "screen" (http://ss64.com/bash/screen.html), har använt det så länge jag kan minnas, kanske finns nått bättre nu, men det skapar "virtuella" terminalsessioner som går att återansluta till efter att man tappat modemkopplingen eller om man behövde fler än en terminalsession när man körde modem. Men det verkar inte finnas installerat (https://community.netgear.com/t5/New-to ... d-p/878929) men är ett enkelt verktyg.

[nifelheim]

Testa med ett annat nätagg.

Efter instabilitet som jag först trodde var diskrelaterat dog den helt, det blir ju lite lättare att felsöka då.

Ett "vanligt" dator agg passade nästan perfekt,
om jag minns rätt ska det inte ha dom där sista 4 pinnarna på kontakten som kom för ca 10 år sedan,
jag hade tänkt reparera original nätdelen men som vanligt kom det något roligare emellan.

ReadyNas.png

Sedan bytet har den gått stabilt:

Kod: Markera allt

nas-01-7B-57:~# uname -a
Linux nas-01-7B-57 2.6.17.14ReadyNAS #1 Wed Jun 20 20:08:20 PDT 2012 padre unknown

nas-01-7B-57:~# uptime
 20:03:54 up 623 days,  2:00,  1 user,  load average: 0.18, 0.26, 0.16

[sodjan]

> Testa med ett annat nätagg.

Som nämndes i en annan tråd så flyttas fenomenet om jag flyttar
alla diskar till en annan likadan ReadyNAS. Och den som tidigare
strulade fungerar då felfritt med den andras diskar. Så det verkar
ha något med programvaran att göra.

Hm, den gick felfritt under 2.5 timme och när jag öppnade en
katalog från laptopen och började öppna filer så tog det ca 10 sek
innan den hängde sig. Kanske något med samba/smbd processerna?

Jag ska testa att kopiera ut filerna med FTP från /c/... (där ligger
de "utdelningar" som man skapar) så får vi se...