Having said that, I find it fascinating how problems in programming constantly make you hit your head against the wall of reality - the wall located where pretty, simple and linear abstractions meet the real world. You know, the real world which refuses to be dumbed down into simple rules, and even when you think you’ve trapped it with you’re rules, always breaks free with new twists and turns that you hadn’t thought of. This is sort of the essence - problems that I’ve been working with more or less since I started programming, problems which also appear very benign from a casual viewpoint, that keep coming back, and simply refuse to be solved in a way such that you can put them behind you.

Time is the first and most obvious case. That something as fundamental and trivial (you learn to read the watch when you’re what? Five? Six?) can be so complicated and easy to get wrong is truly fascinating. And then I haven’t even mentioned dates yet. Just starting to think about dates will get any programmer into trouble. Before you know it, you’re knee deep in Gregorian calendars and leap years - and even then, you won’t get it right. In fact, I’d go so far as saying that any non-trivial date/time calculation in software will contain at least one bug, or one special case that you hadn’t really thought of.

Once again, then I haven’t even mentioned time zones yet. Time zones, combined with daylight savings time, is the real killer, if you by pure miracle got the first date calculations right. At the company were I worked before, we had a standing joke two times a year - was this going to be the first day lights savings switch in the company’s history where we didn’t encounter a bug related to it? From what I can recall, we never had a bug free switch (in five years!).

Maps, or perhaps rather geographic locations, is the second thing that springs to mind as a seemingly straightforward thing, that just never ever gets right.

From the day we learned how to use a two dimensional map, I actually think we’re doomed into living in the wrong paradigm. In grade school we learn that north is up on the map, and using a ruler to measure distances on it is the way to go. Sure, both work. Sometimes. But equally often, it just almost works, it’s almost true, kind of. “Almost true”, deeply ingrained in your mind, happens to be a perfect and never ending source of interesting and subtle software bugs.

Add to that the fact that the earth isn’t really a sphere, but almost, and while we have attempted to meaure its non-spheriness, we came up with several conflicting measurements, all giving slightly different results when you try to express where you are on this not-really-a-sphere thing. Sometimes, different measurements are mixed, and you will have to use completely non-trivial transformations to convert from one to the other, but those transformations only work for very special circumstances.

Even if you get it right, someone will probably want to calculate the distance from where you think you are to some other point, which isn’t at all trivial on a sphere. But it wasn’t a sphere, right? Yep, right - not a sphere, and that makes it just even worse. Luckily, I (and probably not you) don’t need the last kind of precision very often, but that doesn’t help, because we will still try to use a ruler (or its digital equivalent) to measure the distance on a map - which won’t work, even if the teacher in fourth grade said it would.

Character encoding is my last example. Yes, getting characters to show up on your screen, more or less. Again, something very mundane and something a non-developer would take for granted. And yet, this is something that has been a problem in just about any application I’ve written, or seen being written, or used, for I don’t know how long. I guess being a swede, using the funny å, ä, ö characters a lot (or “Ã¥, ä and ö”, as I’ve learnt to know them from years of UTF-8/ISO-8859 mangling), doesn’t help, since you’re so much more exposed to the problem.

Closing up, I want to attempt finding something that these three problems have in common, something that make seemingly simple things so very complicated. My first guess would be that its the perceived simplicity that is the core in all three - all are stuff that we in our daily lives take for granted, talk about while at the same time not paying much attention to the details: we look at our watches, make appointments and write them in our calendars, decide to meet at certain locations and talk about how far it is to places. We never ever think about the underlying details and complexities while doing this, it’s all very intuitive to us. On the other hand, I think it’s this very intuition that trips us when developing software; the fact that we think we know this very well gets in the way details (that most of us actually don’t know).

Also, all three share that they in some way involve problems regarding frame of reference: time zone and daylight savings time problems are hard since you very easily get confused about what is fixed and what is relative. The map problems are very much the same - what is absolute in one frame of reference (”up”, “north”, “distance”, etc.), does not necessarily translate to some absolute in another, and what you’re doing is switching frame of reference, if it’s going from a projected map to WGS84, or if it’s transforming between two geodetic references. Character encoding, and translation from one encoding to another, is also only meaningful if you keep track of your frame or reference (”current encoding”) through every step of the process - something which is very obviously much easier said than done.

At first, I also thought about adding the theory of relativity to the problems above. I decided against it, since it’s really not something you deal with every day, and it’s also far beyond my field of expertise. Interestingly enough though, it also talks about things we perceive as intuitive (time, length and weight being more or less constant) and turns it on its head, although more profoundly than the examples above. Also, the solution very much lies in keeping track of your frame of reference.

This is also the conclusion: a perceived intuitivity about a problem, combined with transitions between different frames of reference, makes for a problem that you will come back to again and again.

A colleague of mine has used a D-Link DNS-323 as his RAID/backup solution at home. Apparently it’s been working great for ages, until he recently updated its firmware, which also caused all files and directories containing non-ASCII characters (mostly å, ä and ö for us swedes) to be completely inaccessible; the windows sharing (Samba/SMB) wouldn’t show the directories at all, and although they showed up in FTP, you couldn’t really access them. Downgrading the firmware did not help.

The fun thing about the DNS-323, and the reason the colleague asked me for help, is that it runs Linux internally. Although it looks like a USB disk with a web interface, it actually has a full-featured operating system underneath. Well, close to full featured.

Googling for solutions, I found another swede, Martin Bergek, who had at least similar problems (by chance, I also happen to know who Martin is). It seems that older firmwares used CP850 for filename encoding, while newer versions use UTF-8. Probably some upgrade didn’t go as planned, leaving the filenames in CP850, while interpreting them as UTF-8. Decoding swedish CP850 characters as UTF-8 results in invalid multibyte characters, causing the programs to refuse to handle files and directories containing them.

Now for the fun part. There seems to be quite a community developing hacks for the DNS-323. Using the so called fun_plug, you can very easily enable an SSH server, and get access to lots of useful commands. In my case, SSH access in combination with the rsync command turned out to be the key.

My solution was to get a backup disk large enough to copy all the material from the DNS-323 (actually, my colleague had already thought of this and provided me with a disk for this purpose). Once all the files where copied from the DNS-323, it could be wiped and the files copied back, but this time with the correct filename encoding.

As mentioned above, most of the problem results from applications interpreting the characters as invalid UTF-8 codes, refusing to work with them altogether. Even basic stuff, like doing recursive file lists with rsync, fails if a directory contains the invalid characters, probably since the runtime’s string library can’t work with the resulting strings. Shell commands like cd handle the directories, though, even if the characters are displayed as garbage.

Fortunately, rsync includes a command line parameter called --iconv, which lets you override which encoding is used when interpreting the filenames. This way, you can interpret the names correctly, and they can be converted into proper UTF-8. The trick is that you have to do this on the DNS-323 side, otherwise the conversion will be done on the backup unit’s side, still causing errors attempting to do recursive file lists. (In case you connect the USB disk directly to the DNS-323, you won’t have to think about this - in my case, the backup disk was connected to my Ubuntu desktop.)

So, to sum things up, this was the killer command line that made it possible to copy all the files out of the DNS-323:

rsync -azv --iconv=cp850,utf8 /mnt/HD_a2/ per@asta:/media/usbdrive/dns323

(Obviously, you’ll have to replace the paths to whatever directories you’re using on the DNS-323 as well as for the backup disk.)

De senaste månaderna har jag fastnat i textäventyr - den uråldriga eller kanske urmodiga typ av datorspel där man spelar genom att läsa text och sedan skriva kommandon för att berätta för datorn vad man vill göra; interactive fiction (IF) är den engelska termen, som jag gillar bättre, då det inte nödvändigtvis rör sig om äventyr av drakar och demoner-karaktär.

I detta äventyrande började mina problem. Annars förträffliga Ubuntu har inte några program för att spela IF på något bekvämt sätt; några program finns (frotz, tads och qtads), men de täcker inte alla olika spelformat som finns, och även om jag gillar terminalfönster så är det inte optimalt för IF. Min favorit blev istället snart Gargoyle, som stöder alla format jag är intresserad av, samt ser synnerligen elegant ut.

Vad Gargoyle saknar är dock ett bibliotek, eller smidigt sätt att hålla reda på de olika spel man samlar på sig. Det är här mitt program kommer in. Ett slags katalogiseringsprogram för IF-spel med utseende som ett budget-iTunes. Arbetsnamnet är Grotesque (eftersom en gargoyle är en form av groteskornamentik - ja, jag fick slå upp det sistnämnda ordet).

Jag ämnar nog göra något lite mer seriöst av detta längre fram, men tills vidare lägger jag upp en screenshot, källkoden samt slutligen Ubuntu-paketet för Grotesque-0.1 (Uppdaterat 2008-07-03: se Grotesques hemsida för senaste versionen av dessa filer). Eftersom jag bara byggt på min egen maskin och det är första gången jag paketerar för Ubuntu så har jag säkert gjort något fel, men pröva gärna.

Min plan härnäst är att paketera även Gargoyle som Ubuntu-paket, eftersom det är lite väl stökigt att bygga för hand nu, lägga på lite puts och glans på Grotesque, samt kanske hitta på ett ordentligt namn. Vi får se. Under tiden borde du pröva att spela lite IF - några bra förslag på spel att pröva hittar du t.ex. här.

I Windows kan man förflytta markören snabbt genom en URL till nästa “logiska stopp” (punkt, snedstreck, &-tecken, etc.) genom att hålla inne Ctrl samtidigt som en av piltangenterna. I Ubuntu leder (med default-inställningarna) tyvärr detta till att man hoppar direkt till slutet respektive början av hela URL:en, till föga nytta.

Efter att äntligen orkat upparbeta en tillräcklig irritation över detta, Googlade jag och fann lösningen: ändra inställningen layout.word_select.stop_at_punctuation till true i Firefox (genom att gå till about:config). Underbart lätt. Varför detta inte är grundinställningen är ett mysterium.

Som tur är har det hänt en hel del på hårdvarufronten sen dess, och även löjligt högupplösta och färggranna versioner av Mandelbrot-mängden går att åstadkomma på nästan ingen tid alls.

Tack vare den uppsjö av hjälpprogram som finns lättillgängliga i en modern Linux-distribution (i det här fallet NetPBM och FFmpeg), gick det snabbt att göra en film (1.8 MB) med en kort inzoomning.

Källkoden som användes för att rita bilderna finns här: mandelbrot.c

Hittills är jag mycket nöjd. Linux och framförallt Ubuntu har kommit långt i fråga om användarvänlighet, och jag vågar påstå att det inte är svårare att varken installera eller använda Ubuntu 7.10 än Windows. Samtidigt får man fördelarna att systemet är gratis, betydligt lättare att installera och uppdatera programvara på (som också är gratis), samt fungerar bra även på en inte allt för kraftfull dator (framförallt jämfört med pinsamt minneshungriga Windows Vista, men står sig bra även mot XP).

Inte övertygad av Ubuntus storhet ännu? Läs en jämförelse mellan Vista och Ubuntu 7.10. Favoritcitat angående Vistas prestanda:

But mostly: it’s slow, it’s intrusive, and it’s arbitrarily different. It takes minutes to wake up from various sleep states or from a restart; minutes in which parts of the system seem to get going only to lapse into an unresponsive state where you’re not at all sure whether your mouse clicks are registering. When you’re going through a lot of restarts (as in, say, when you’re trying to diagnose a wireless network problem), that adds up to a lot of pain.

Elsewhere, it behaves like XP behaves on a 256MB computer, only it’s running in 2GB. Everything is just… slow.

Som jag sagt tidigare önskar jag att jag kunde vara lite mindre förutsägbar och säga något positivt om Vista, men det går bara inte (fast den nya startmenyn är bra, det skall sägas). Pröva Ubuntu istället, som sagt.

Trots alla denna data som har formen av grafer, har jag inte hittat så värst många verktyg för att visualisera dem. Alltså fick jag gräva fram lite kunskaper från min studietid, och har skrivit ett enkelt bibliotek för att skapa någorlunda förståndiga bilder av diverse grafer. Metoden bygger på vad jag förstår är den enklaste algoritmen för grafritning, en metod där man modellerar grafen som ett fysikaliskt system, där noder är elektriskt laddade partiklar (som stöter dem från varandra), och bågarna som fjädrar (som håller dem samman).

När man väl började var det svårt att sluta. Nu har jag grafer över:

• Artister och hur de hänger ihop, t.ex.: Artister relaterade till Nationalteatern
• Grannar på Last.fm, namnet inom parentes är respektive användares mest spelade artist
• Hur folk hänger ihop Ralf-o-Rolf
• Mina vänner på Facebook
• Hur olika webbplatser hänger ihop med varandra. Tenderar dock att bli oerhört rörigt, så jag väntar med något bra exempel på hur det kan se ut.

I händelse av att någon skulle vilja ha programkoden för egna experiment, så finns den här: SpringsGraph.tar.gz; kräver Python 2.5, pygame samt Beautiful soup.

Fler förslag på vad jag kan visualisera som en graf? Hör av dig.

Efter att ha använt Vista närmast dagligen i arbetet under fyra månaders tid, kan jag konstatera att min från början försiktigt positiva inställning till slut fått så många törnar att den liknar en tillplattad ölburk, kvarglömd efter en riktigt vild midsommarfest. Jag har svårt att hitta något som jag egentligen gillar med Vista, eller iallafall något som jag gillar bättre i Vista än i XP. De genomskinliga fönsterramarna är fina. IE7 (som ju egentligen är fristående från Vista) klarar numera ganska mycket av det Firefox alltid klarat.

Under några veckors tid har jag upplevt att det går långsamt att surfa till vissa platser. Känslan är vag, eftersom det ofta är svårt att säga om det är uppkopplingen som är långsam, servern är belastad eller min dator som tillfälligt är upptagen med annat (Vistas favoritsysselsättning är att swappa disk utan närmare förklaring, gärna minuter i stöten och utan förvarning, men jag har å andra sidan bara 2GB RAM i min dator…suck…).

Mina misstankar pendlade mellan kvarlämnade rester av McAfees skämt till brandvägg som Dell förinstallerat på maskinen, och som jag prompt avinstallerade som första åtgärd när jag fick maskinen, och att det helt enkelt var något mer allmänt fel med min nätverkskonfiguration. Ett tag var jag inne på att det i själva verket var Java som var problemet, eftersom Java-applikationer med HTTP-användning, som är något av kärnverksamheten på företaget där jag jobbar, verkade mer exponerade än andra.

Den slutliga ledtråden kom idag, då jag fick information om att åtminstone en annan Vista-användare upplevde precis samma problem som jag. Genom att jämföra tiderna det tog att hämta några statiska sidor med hjälp av Java, wget och en vanlig browser från en och samma webserver från min Vista-maskin, en XP-maskin och en Linux-maskin, stod det klart: Vista hade problem med samtliga program, de andra hade det inte. Det stod även klart att bara enstaka webservrar drabbades av problemet, medan de flesta gav liknande tider i Vista som i XP och Linux.

Rustad med denna information var det inte svårt att googla upp problemet och dess lösning. Hemligheten heter TCP Receive Window Auto-Tuning, en ny funktion i Vistas nätverkslager. Microsoft beskriver problemet lugnt och sakligt så här: Network connectivity may fail when you try to use Windows Vista behind a firewall device. Tyvärr har artikeln helt fel när den påstår:

This issue may occur if the following conditions are true:
• You try to make a non-HTTP network connection.
• The firewall device has a problem with its implementation of the TCP Window Scale Option that is defined in Internet Engineering Task Force (IETF) Request For Comments (RFC) 1323.

By default, the Receive Window Auto-Tuning feature in Windows Vista uses a Window Scaling factor of 8 for non-HTTP connections. This issue does not occur when you try to make an HTTP connection.

Tvärtemot vad ovanstående påstår, så uppstår problemet i allra högsta grad för HTTP-anslutningar. Lösningen är helt enkelt att stänga av auto-tuning:

netsh interface tcp set global autotuninglevel=restricted

Efter att ha kört detta kommando beter sig Vista-maskinen på samma vis som XP och Linux, d.v.s. anslutningarna till de berörda servrarna går åtminstone en faktor tio snabbare. Detaljerna beskrivs i bloggen för Windows Core Networking.

Mitt största problem med hur Vista fungerar här är den totala avsaknaden av transparens: det finns inget som helst som antyder att något egentligen är felaktigt konfigurerat eller trasigt; den enda indikationen är att jag av erfarenhet vet att det skall gå fortare än det faktiskt gör. Jag inser att källan till problemet egentligen ligger hos tillverkare av nätverksutrustning, som inte följer en RFC från 1992, men Microsoft har i min mening här gjort två misstag:

• Problemet går inte att diagnostisera. Det finns ingen indikation på att något är fel, så att jag som användare manuellt kan avhjälpa det. Andra maskiner i nätverket fungerar felfritt, vilket leder till (den felaktiga) slutsatsen att det är Vista-maskinen det är fel på.
• De har frångått Postels lag: “be conservative in what you do, be liberal in what you accept from others”. Nätverksutrustningen följer inte reglerna (RFC 1323 i det här fallet), men i och med ovanstående, d.v.s. att användaren inte meddelas om var felet ligger, så måste Windows själv kunna åtgärda felet. Att istället misslyckas i tysthet (”fail silently”) placerar användaren i en omöjlig situation.

Tyvärr känns detta inte som en engångsföreteelse, utan snarare som något symptomatiskt för hela Vista.

Uppdatering 2007-08-23: Hittade en bättre Microsoft-artikel som beskriver samma problem: A Web site sends data very slowly or drops the data completely when you use Windows Vista Enterprise (artikeln listar samtliga Vista-versioner under “Applies to”, även om bara Vista Enterprise nämns i rubriken).