Archives for BCP DRP

Återstartsplaner för IT – Disaster Recovery på svenska

konsult inom backup It säkerhet molntjänster återsartsplaner för IT

Efter 20 år som IT konsult inom många olika områden är min erfarenhet att backuper och återstartsplaner för IT fortfarande är en eftersatt fråga. I sak har det inte förändrats mycket , trots molntjänster och förenklade metoder och hur många gånger det än diskuteras på möten blir det ändå eftersatt och uppskjutet.

Ända till den dagen något verkligen händer och de där backuperna behövs.

Backuper är för de flesta ett tråkigt ämne och sällan något som prioriteras, varken av IT avdelningen eller av ledningen men, tyvärr är ändå den krassa verkligheten att backuperna är något av det viktigaste ett företag eller organisation har.

En av de mest grundläggande frågorna varje IT chef och VD måste sälla sig är “Hur länge kan vi klara oss utan vår IT? Timmar ? Dagar ? Månader ?
Utan den tankegången kommer teknikerna och IT avdelning aldrig att ha ett mål att jobba mot för att skapa en användbar återstartsplan som följer den riktlinjen. Backuper och riktlinjer för återstartsplaner är alltid ledningens ansvar.

Förarbetet under den normala driften är väldigt viktig att tänka på .
Att inte kontinuerligt övervaka backuperna, testa att de innehåller vad de ska och ha ett öga på eventuella fel kan få väldiga konsekvenser.

Att inte ha planerat igenom hur en stor återställning av hela IT systemet ska gå till i förväg kan leda till en onödigt lång återstartsprocess i sökande efter dokumentation, backuper, hårdvara och kompetenta tekniker.

Att återställa enskilda filer på en server är inte en test av backuperna , det är i bästa fall bara ett test av läsbarheten på backuperna. Ett riktigt återstartstest (Disaster Recovery Test )  ska utgå från scenariot att hela servern eller hela servermiljön helt enkelt inte längre finns att tillgå.

Tekniker som skall återställa ska ha tillgång till backuperna, dokumentationen och hårdvara att återställa till. Det är allt. Ingen att ringa. Ingen att fråga. Syftet skall vara att ha en tillräckligt bra teknisk återstartsplan och kunna följa den så att företaget eller organisationen har tillgång till sina IT system inom den tid som krävs enligt IT policyn och företagets BCP (Business Continuity Plan ) och DRP (Disaster Recovery Plan) .

Här kommer många frågor in per automatik att tänka på.
Alla de här frågorna förutsätter att det redan är konstaterat att det är just backuperna som måste tas till .
För att komma fram till det beslutet krävs också en del planering innan och beslut att fatta baserat på vad som hänt (virusattack, brand, stöld, översvämning, terrorhot o.s.v. ) 

  1. Var finns backuperna? Är de på tape? -Var finns banden? Är de krypterade och vem har lösnorden?
    På disk?  I princip är frågeställningarna de samma som på tape.
    Är det onlinebackuper? – Är de krypterade ? Hur mycket data är det totalt och hur mycket bandbredd har vi att tillgå ? Kommer själva återläsningen av data att ta för lång tid för allt data över den här bandbredden t.ex. 10 Mbits eller 100 Mbits ?
  2. Hur har backuperna tagits ?  Vilken backup programvara ha använts och hur får vi tag på den ? Hur återställer man backupservern i t.ex. Legato Networker eller Tivoli TSM för att ens kunna börja återläsa något från backuperna? Hur lång tid tar den initiala återställningen och har vi räknat in den tiden i vår DRP ? För t.ex. Legato kan en sån återställning handla om många, många timmar för man kanske måste scanna igenom varje tape och få in dem i databasen och i TSM är databasen kritisk för att kunna få tillbaka något alls från backuperna.
  3. Hur ser systemdokumentationen ut ?
    Hur var servrarna uppsatta med volymstorlekar, programvaror, operativsystem med service packs o.s.v. ? Många företag missar den här delen i sin återstartplan och det kan leda till ett alldeles onödigt tidsspill under återställningen . Dokumentationen är gammal eller direkt felaktig . Här behövs enkla och automatiserade system som uppdaterar systeminformationen dagligen. Administrativa lösenord behöver också finnas tillgängliga, i Wndows server världen även de lokala administrativa lösenorden och en uppdaterad IP plan kommer behövas.
  4. Till vad ska vi återläsa backuperna?De flesta företag organisationer har inte en dubblerad serverpark som bara står och väntar en katastrof och att veta till vilken hårdvara det faktiskt ska återläsas till är en viktigt fråga att tänka på alltså, hur får vi tag på reserv hårdvara eller ska vi återläsa allt till en virtuell miljö? Hur får vi tag  på en server som kan husera t.ex. 25 servrar med 4 GB RAM vardera minst och 50 GB disk utrymme?
  5. Vart ska vi göra den faktiska återläsningen? Om företaget eller organisationen drabbats av en större olycka kommer det troligen inte att gå att återställa miljön på samma ställe. Det måste finnas en plan för vart både personal och IT personal ska ta vägen för att ens kunna påbörja en återläsning och återuppbyggnad av IT miljön. Oavsett hur så måste förmodligen verksamheten återuppstå förr eller senare.
  6. Vem ska göra vad? Och i vilken ordning?Det här är också hemskt viktiga frågor. Vem eller vilka ska göra det rent praktiska med återläsningen ? Vem ska t.ex. meddela på hemsidan / twitter / press att ni råkat ut för ett haveri och meddela när ni beräknas vara i full drift igen ? På vilka siffror baseras den informationen dvs från tidigare krascher eller tidigare återstartstester eller bara en “allmän känsla” dvs mer eller mindre baserat på gissningar ?Finns det redan utsett i vilken ordning olika system och funktioner ska upp och vilka som är mest kritiska och viktigast att få upp först ? Vad IT avdelningen tycker är viktigt kanske inte alls är det viktigaste för företaget sett ur affärssynpunkt. Att förstå samspelet mellan olika system är kritiskt.Om ingen med kunskap om hur miljön var uppbyggd finns tillgänglig, kommer dokumentationen att vara en hjälp eller ett hinder för den externe konsulten som skall hjälpa till ? Att återläsa t.ex. en kraschad Microsoft Exchange Server med tillhörande Active Directory eller en komplicerad Oracle installation är inte alldeles självförklarande för den som aldrig gjort det innan. Allt går såklart att göra om backupen är korrekt taen men det kan ta många gånger längre tid än nödvändigt att vara igång igen. Jag har sett exempel där det handlat om veckoer innan systemn är uppe igen.
  7. Återställningen i sig – är den permanent eller tillfällig? Om återställningen gått bra så måste man ändå ha klart för sig om det är en tillfällig lösning man återställt sin miljö till och så fort man är i normal drift igen måste man börja planera för återgång till den riktiga miljön igen .

Det här är egentligen bara några av saker som jag vet man måste tänka på för sin verksamhet och framförallt, man måste ta sig tiden att göra det här jobbet , antingen internt eller att anlita en extern konsult som hjälper till med att strukturera upp arbetet och planeringen med nya ögon.

Kommentera gärna eller kom med synpunkter eller kontakta mig för vidare funderingar kring de här frågorna.

Ett möte kostar bara lite tid men kan ge så mycket mer

Juha Jurvanen – Senior IT konsult inom backup, IT säkerhet, servedrift och molntjänster .

Tjänster jag kan hjälpa er med t.ex. IT säkerhet, backup restore, IT drift, projektledning, molntjänster och Syspeace

backup disaster recovey koninuitetsplaner IT säkerhet molntjänster syspeace

Jag tar även uppdrag som underkonsult till företag som vill inleda ett samarbete.

Den här sidan innehåller ett antal rubriker kring några av de saker jag kan hjälpa ert företag eller förening med.
Det är ett många saker och det är reultatet av 20 års erfarenhet som IT konsult.
Jag törs påstå att en stor del av min kompetens är just min breda erfarenhet och förståeälse för helheter i IT system och driftskritiska applikationer men även för affärprocesser och leda personal.

Backup restore, Disaster Recovery, kontinuitetsplaner och återstartstester

Backup restore är ett oerhört viktigt område som alla företag och föreningar måste tänka på . Hur länge kan ni vara utan ert datat och hur gammalt datat kan ni gåt tillbaka till ?

Efter att ha jobbat dagligen i 8 år som Disaster Recovery-tekniker och backup expert på SunGard Availabiliy Services kan jag vara mycket behjälplig med de flesta backuplösningar som finns på Windows, NetWare, Solaris samt Linux . Jag har unik kompetens på hur man återställer servrar, funktioner och nät.

Bland backuplösningar jag jobbat med både för återstarsttester och i dalig drift kan nämnas BackupExec, Symantec Netackup, VytalVault, Tivoli TSM BrighStor. Jag har troligen sett de flesta lösningar som finns på marknanden, både på små och stora företag.

Rutiner, dokumentation och incidenthantering

Utan en lättbegriplig men ändå detaljerad dokumentation och inventering kan det blir svårt att hantera IT miljön.
Jag kan hjälpa till med att skapa rutiner och dokumentation för att säkerställa en fungerande drift och ett fungerande tillvägagångsätt vid ett haveri. Här inåg även att ha en god inventering av hur miljön såg, övervakning och närliggande frågor.

Ingen kan planera för alla tänkbara avbrott men en god grundplan är en förutsättning för att snabbast möjligt kunna återkomma i produktion efter ett eventuellt haveri.
Frågan är enkel – Hur länge kan ni vara utan er IT och hur gammalt får data vara när det återläses?

Molntjänster

De senaste åren har jag varit mycket aktiv med molntjänster på Red Cloud IT där jag som molnarkitekt byggt, driftat och designat rCloud Office-lösning samt varit teknik-och konsultchef.
Jag är också delägare i Red Cloud IT men jag hjälper er att utvärdera även andra molntjänster och hjälper er att välja det som passar just er verksamhet.
Det finns många molntjänster och det gäller att välja precis rätt för just er verksamhet.
Jag kan även hjälpa er bygga en egen molnlösning, utvärdera andras eller hjälpa er migrera era applikationer från äldre servrar som t.ex. Windows Server 2003.

Verifiering, analyser och förbättringar av befinltiga lösningar och system

Jag kan hjälpa till med att verifiera befintliga lösningar , antingen genom gå igenom de lösningar ni har och föreslå förändringar eller göra fullständiga återläsningar av Era system för att säkerställa funktionalitet.
Jag är inte knuten till något företag eller produkt vilket gör mina analyser helt oberoende av andra leverantörer.
Jag hjälper er att planera era återstartstester och skriva återstartsplaner (s.k. DRP Disaster Recovery Planning) så de finns på plats när de behövs och ni kan minimera ert stillestånd. Jag kan också hjälpa er med praktiska återstartstester och backupövervakning.

Jag kan hjälpa till med planering och projektledning för installation och konfiguration av mailsystem, SQL, nätverk, brandväggar, VPN lösningar, övervakningar, DNSBlacklisting, antivirusskydd, affärssystem som Epicor Scala, Visma, Pyramid, CRM system .
All installation innehåller givetvis en god dokumentation och skulle behovet finnas kan jag hjälpa er att drifta systemen som second line.

IT drift, second och third line servertekniker

Då jag tidigare arbetat som konsult inom outsourcing är jag även kunnig inom drift, installation och support av företag och föreningar.
Jag har också varit del i driften av t,ex, SunGards online-backuptjänster där jag varit med om design, installation och drift.
Jag kan hjälpa till med er support och helpdesk på serversidan eller fungera som IT ansvarig /IT Chef / IT driftschef eller projektledare.

Hyr en IT chef , projektledare

Ibland behöver företag och organisationer någon som agerar IT Chef , projektledare eller IT ansvarig men behovet av att anställa någon är kanske inte så stort. Den ordinarie kan vara på semester, barnledig eller företaget är helt enkelt för litet för att anställa någon.
Lösningen är att hyra någon för ett antal timmar i veckan istället. Många saker kan göras på distans med moderna lösningar så var ni sitter geografiskt är kanske inte det viktigaste.

Skydda företagets identitet på Internet och SEO?

Jag hjälper er gärna med att se över hur ni syns på Internet och kommer med tips och råd om hur ni kan skydda ert varumärke och hur ni t.ex. kan använda Google Analytics för relevanta rapporter om besökare på er hemsida och får bättre leadsgenerering.
Jag hjälper er att sätta upp enkla verkyg för att få larm på om något förändras oväntat på er hemsida som kanske till följd av en hackerattack.
Jag hjälper er gärna också att övervaka detta och kommer med tips och förslag på hur ni kan synas bättre på t.ex. Google och t.ex. migrera er hemsida i HTML / PHP till en modernare, responsiv hemsida för mobila enheter.

IT säkerhet , analyser och intrångshantering

Grundläggande kontroller av nätverkssäkerheten, patchhantering, lösenordspolicies, intrångsförsök, backuprutiner o.s.v.

Hålla kurser och workshops

Jag har hållit kurser och workshops för externa företag om Disaster Recovery och backuper och kan även hålla kurser i t.ex. SEO (sökmotorpoptimering) och webövervakning.

Juha Jurvanen – Konsultprofil

En långt ifrån komplett CV / konsultprofil då en sån skulle bli orimligt lång efter 20 år som IT konsult men den ger ett hum om vad jag jobbat med innan.

Kontakta mig för ett möte

Using locally attached USB drives to #restore #Windows Server 2008 R2 as #DisasterRecovery or shifting servers?

I’m pretty sure this goes for any Windows Server version from Windows Server 2008 and upwards really.

If you’re not up for reading the entire article , the short answer is. Don’t . Please read this previous article I wrote on using Windows Server backup and network shares instead.

Here’s the scenario I had last night.

The plan was to simply shift some servers from older ones to newer ones.
In this case from some older HP Proliant Servers to some newer DELL Servers.
Using backup / restore is a nice method if yo’ve done it earlier (you’ll always run into unexpected stuff if you haven’t done it). Basically the idea is that you donät have to reiinstall all software and settings but simply do a complete Disaster Recovery of the server and fix any hardware issue afterwards. It’s much quicker than installing a new Windows Server from scratch, applying all patches, installing all the software on it, restoring the data for them it and remembering server shares, any special configurations and so on.

The scenario was on the servers to be shifted, there were locally attached USB drives that took a backup every hour of the server. The backups were really quick (since they’re block based, delta and used the VSS ) and everything seemed fine.

The plan was to boot up on a Windows Server Server 2008 R2 Server install DVD / USB drive and simply choose “Repair my computer”, attach the USB drive and simply choose the lates backup image and restore.
A good plan. A great plan even. The result.. well.. not so much.

After booting up on the DVD we hade some read-issues of the DVD first of all. We tried it on several servers and it simply stalled on the “Setup is starting…” . We created new DVDs , same issue. Just one of those weird things that happen sometimes.
Well, not a an issue really. Let’s go for USB stick/drives instead. We created a bootable Windows Server 2008 R2 USB drive and things were looking upward.

Booted on the USB-stick/drive, chose “Repair my computer” and attached the USB disk where the backups are.
Nothing really happened. It just seemmed to be searching the drive for backups and eventually timed out with an error message abu the “Backup wizard being open for too long” and blablabal. No backups to choose, thus , nothing to restore.

On the USB drives, there were a few hundred generations backups, automatically done by the built in Windows Server Backup.
So, for trouble shooting, we attached the drive to a running server and there’s nothing wrong with the disk. We could browse the filesystem and see the WindowsServerImagebackup and everything. Things just got stranger.

As a troubleshooting thing, we decided to see what happens if we try to choose to do a restore from a server that we weren’t go to shift but that was using the same backup method, that is, a locally attached USB disk, dedicated for backups and the backups were automatically run every hour to it.

Interestingly enough, everything seemed fin (all backups had ran succesfully and so on, absolutely nothing pointed to any errors) but when choosing the “Recover once” option we had exactly the same symptoms. It just stalled searching for backups and eventually timed out.

Now we realized that this is not a good way to do backups, although everyting seems ok according and to the backuplogs.

So, the workaround then . Here’s what we did.

1. We created a new, complete backup to a network share (excluding any USB drives of course)

2. We booted up the server with a USB stick, “Chose repair my computer”, and Advanced to attach to the network s image to share where the backups are.

3. Restored the server 🙂 . Oh, the joy.

4. Disconnected it from the network, rebooted, Set up the same IP address as the original had (since there’s new networks cards this has to be done manually), shut down the old server, attached the new and estored server to the network and we were good to go. Everyhing was ok. All servicesa could be started, the Intrusion Prevention worked immediately (Syspeace) and all communications woith other servers was ok.

Here’s a quick how to and what you’ll have to keep in mind when restoring from a network share

A few things to keep in mind when restoring from a network share and booting up in a USB sick though.
* Make sure you have DHCP server on the same network

* After selecting the backupimage to restore, REMOVE the USB Stick you booted from . Even if you choose to exclude drives from the restore process (in the advanced section I think it was) you’ll get an error message stating “Incorrect prameter” if the USB stick is still attached. A bug. feature ? Don’t know what to call it really. Weird. I’ve seen it everytine I’ve done this so now I’m used to it.

* When rebooting the server,you may end up a server that want’s to be repaired so you’ll need to have the LOCAL administrator password for it or söme kind of software to help you fix any hardware diferences. I’ve got a favourite with Evault’s BMR that’s a great and easy to use tool to get the job done quickly but not everyone has access to it.

* When the server is up & running and you’ve set the correct IP address and stuff, be sure to remove any devices no longer present in the new server by starting a command prompt and entering:
c:> set devmgr_show_nonpresnet_devices=1 [ENTER]
c:> devmgmt.msc [ENTER]

Choose to “SHow hidden devices” and remove any device that’s “greyed out”

Now, you should be good to go. It worked flawlessly for us last night, apart from that we spent hours and hours trying to understand why we couldn’t use the locally attached USB drives that contained the backups.
In this case, it was a good thing that it wasn’t a Disaster Recover scenario so it wasn’t the end of the world really but if it had been, I wouldn’t be laughing really.

By Juha Jurvanen @ JufCorp

JufCorp website

JufCorp

Serverhallen tar inte julledigt – En checklista för serverhallen

eller “julpyssel för servertekniker” ?

Julafton är på en måndag i år (jippii) och det kan ju betyda ganska lång ledighet från jobbet för de flesta inklusive systemadministratörer och driftstekniker men servrarna kommer ju fortsätta snurra. Hallen är igång, passersystemen är igång, mailservrar snurrar, backuperna går o.s.v.

Jag klurade lite på checklista som kan vara värd att kika på , även inför annan längre frånvaro som t.ex. semester, lottovinst, oväntade arv o.s.v.
Den kan även fungera som en lista för kontinuleriga kontroller t.ex. månadsvis.
En del av sakerna måste dock kontrolleras oftare.

Ordningen i listan är inte genomtänkt eftersom jag i princip skrivit ner respektive punkt allteftersom jag kommit att tänka på dem.

Säkerhetspatchar

Se till att servrarna och även inbyggda system (t.ex. firmware för switchar, WiFi och så vidare) har alla nödvändiga säkerhetskorrigeringar installerade.

Antivirus status

Se till att ditt antivirusprogram är igång och uppdateras.

Licenser

Tänk igenom så att du inte missar nån viktig licensförnyelse så viktiga systenm slutar fungera när du är borta.

Brandväggar och WiFi åtkomstpunkter o.s.v

Ta en titt på accesspunkterna till dina nätverk, dvs ta en titt på brandväggsregler och WiFi åtkomstpunkter. Scanna nätet efter nya som någon klurig användare kanske satt upp på eget bevåg.
Avstängning allt som inte behöver vara igång. Varje enskild accesspunkt kan vara ett sätt för obehöriga att ta sg in,
Tänk på att de kan ha flera veckor på sig att försöka ta sig in i nätet utan att någin ens lägger märke till det nu under ledigheterna.

Passersystem

Kontrollera att inga obehöriga passerbrickor finns kvar som aktiva i systemet. Ett utmärkt tillfälle att ta sig in i en serverhall med en obehörig bricka är såklart när det inte finns någon där.

Testservrar och testsystem

Kolla runt och se till att du inte har några onödiga testsystem körs, om inte annat så för att spara pengar på ström.
Om testservrar körs i en virtuell miljö, stäng av dem eftersom de kan utgöra en säkerhetsrisk. Testsystem är alltid testsystem och ofta lägger man inte ner samma tid på säkerhetstänket kring dem med administrativa lösenord o.s.v..

Extern åtkomst via t.ex VPN

Se till att du inte har några VPN-certifikat på vift eller aktiva användare som inte ska vara aktiva, t.ex. folk som slutat.
Överväg också att ändra de administrativa lösenord om det har varit ett tag sen. Tänk då på att gå igenom alla tjänster som anväder sig av dem. Överväg att ha särskilda servicekonton för tjänster och döp dem till något “vanligt” anvädarnamn istället för t.ex. backup eller “vårat supersuperservicekonto”. Undvik att använda “administrator” och “root” och “admin”

UPS och ström

Ta en titt på batterinivåer och laddningsnivåer för UPS.
Skulle ett strömavbrott inträffar och de inte fungerar, kan du bli tvungen att fixa en kraschad disk på julafton istället för Kalle Anka och ingen vill det.

Brand och släck

Kontrollera att släckutrustingen är påfylld och fungerar som den ska.

Kontrollerra hårdvarustatus

Kontrollera eventuella maskinvarufel i övervakningen (t.ex. HP Insight) för att se till att du inte har hårddiskar som förutspås att falera eller någon annan hårvara som har lagt / håller på att lägga av. Inget är så irriterande och onödigt som att inse man kunde åtgärdat ett hårdvarufel i förtid om man bara kollar loggarna.

Säkerhetskopior, backuperna

Ta en ordentlig titt på backuperna, loggar och dubbelkolla de körs på rätt sätt och att data dupliceras automatiskt. Om du använder en onlinebackup, gäller såklart samma sak där.
Kolla speciellt de backuper som rensar olika logfiler som Exchange backup, SQL Server o.s.v. . Du vill inte att fylla upp systemdiskar eftersom du inte är i närheten för att ta hand om det på. I värsta fall kan du inte komma åt den via fjärrkopplingar eftersom servern inte har något systemmutrymme att jobba på.

Beredskapsplan

Se till att det finns en uppdaterad plan på plats med rätt telefonnummer och kontaktinformation till rätt personal och leverantörer i händelse av en nödsituation. En sån lista ska såklart också innehåla vem som gör vad. Ta en titt på schemat för att se vem som har beredskap och se till att planen är nåbar, även om datacentret inte är det. Ha alltså er beredskapplan på något annats tälle. Antingen via någon gratistjnst (OBS då MÅSTE ni tänka på krypering av filerna!!) eller kolla upp t.ex. Crisis Commander från Svensk Krisledning. I sak spelar det inte så stor roll , bara den är uppdaterad och nåbar om hela hallen brunnit ner.

Återstartsplanen

Kontrollera att den är aktuell, att inventering och dokumentation är aktuell och uppdaterad. Om den gjordes för 3 år och inte uppdaterats sen dess lär den knappast vara användbar idag. Samma sak gäller här. Se till den är nåbar och att det finns reservhårdvara att återläsa till. All sån beskrivning ska finnas i den planen dvs var får vi tag på nya servrar? Var ska vi jobba ifrån och hur meddelar vi våra kunder ?

Nätverksövervakning och inventering

Installera mjukvara för övervakning och skanning av ditt nätverk och få den att avisera via e-post för konstigt händelser som en ny enhet i nätverket, en nyskapad användare någonstans, ändringar i nätverkskonfigurationer och så vidare. Ta t.ex. en titt på Spiceworks som är gratis och får jobbet gjort om du inte har nåt sånt på plats redan.

Brute force och dictionary atacker

Installera Syspeace för automatiskt blockera, spåra och rapportera eventuella brute force attacker mot Windows, Citrix, Exchange OWA, Sharepoint, Terminal servrar och så vidare. På Linux finns motsvarande fail2ban.

Jag är säker på att det finns ännu fler saker som kan vara värt att göra, men det är en början i alla fall och du får säkert ytterligare en dag att gå innan det är dags att kila ´hem på julledighet.

Kommer jag inte på någoit mer att skriva i den här bloggen före jul så önskar jag dig och de dina en riktigt God Jul och jag hoppas du får massvis med roliga, tekniska leksaker som julklappar.
En Cray t.ex.

Juha Jurvanen – Senior IT konsult inom backup, IT säkerhet, serverdrift och molntjänster