Rainer,<br><br>Thanks for Looking into this.   I've had similar issues as well.  Look forward to reading more about this.<br><br>Champ Clark III - Quadrant information security<br><br>----- Reply message -----<br>From: "James Lay" <jlay@slave-tothe-box.net><br>Date: Wed, Jul 4, 2012 12:44<br>Subject: [Lognorm] Special characters revisited<br>To: "lognorm" <lognorm@lists.adiscon.com><br><br>On Jul 4, 2012, at 9:32 AM, Rainer Gerhards wrote:<br>> <br>> <br>>> -----Original Message-----<br>>> From: lognorm-bounces@lists.adiscon.com [mailto:lognorm-<br>>> bounces@lists.adiscon.com] On Behalf Of James Lay<br>>> Sent: Wednesday, July 04, 2012 4:10 PM<br>>> To: lognorm<br>>> Subject: Re: [Lognorm] Special characters revisited<br>>> <br>>> On Jun 13, 2012, at 7:11 AM, James Lay wrote:<br>>>> On May 25, 2012, at 12:44 PM, James Lay wrote:<br>>>>> On Fri, 25 May 2012 12:33:15 -0600, James Lay wrote:<br>>>>>> Hey all!<br>>>>>> <br>>>>>> So...here's where I'm at.  Here's my rulebase:<br>>>>>> <br>>>>>> prefix=<br>>>>>> rule=: %-:word% request discarded from<br>>>>>> %src-ip:ipv4%/%src-port:number% to<br>>>>>> %-:word%:%dst-ip:ipv4%/%dst-port:number%<br>>>>>> <br>>>>>> <br>>>>>> Sample firewall hit (quotes added for clarity):<br>>>>>> <br>>>>>> " TCP request discarded from 96.18.101.250/1077 to Interface:my_ip/443"<br>>>>>> <br>>>>>> and my result:<br>>>>>> <br>>>>>> [cee@115 originalmsg=" TCP request discarded from 96.18.101.250/1077<br>>>>>> to Interface:my_ip/443" unparsed-data=""]<br>>>>>> <br>>>>>> I've tried the below (thinking the : would be included in word)<br>>>>>> rule=: %-:word% request discarded from<br>>>>>> %src-ip:ipv4%/%src-port:number% to<br>>>>>> %-:word%%dst-ip:ipv4%/%dst-port:number%<br>>>>>> <br>>>>>> And I get the same result.<br>>>>>> <br>>>>>> I've also tried:<br>>>>>> rule=: %-:word% request discarded from<br>>>>>> %src-ip:ipv4%/%src-port:number% to<br>>>>>> Interface:%dst-ip:ipv4%/%dst-port:number%<br>>>>>> <br>>>>>> And this works, so I'm pretty sure it's the : that is my issue.  A<br>>>>>> full -vv below.  Any thoughts on how to get this to go?  Thanks all:<br>>>>>> <br>>>>>> James<br>>>>>> <br>>>>>> liblognorm: read sample line: 'prefix='<br>>>>>> liblognorm: read sample line: 'rule=: %-:word% request discarded from<br>>>>>> %src-ip:ipv4%/%src-port:number% to<br>>>>>> %-:word%:%dst-ip:ipv4%/%dst-port:number%'<br>>>>>> liblognorm: sample line to add: ': %-:word% request discarded from<br>>>>>> %src-ip:ipv4%/%src-port:number% to<br>>>>>> %-:word%:%dst-ip:ipv4%/%dst-port:number%'<br>>>>>> <br>>>>>> liblognorm: addSampToTree 0 of 108<br>>>>>> liblognorm: parsed literal: ' '<br>>>>>> liblognorm: buildPTree: begin at 0x9308030, offs 0<br>>>>>> liblognorm: case 3.1<br>>>>>> liblognorm: addPTree: offs 0<br>>>>>> liblognorm: setPrefix lenBuf 1, offs 0<br>>>>>> liblognorm: addSampToTree 1 of 108<br>>>>>> liblognorm: parsed field: '-'<br>>>>>> liblognorm: got new subtree 0x9308810<br>>>>>> liblognorm: prev subtree 0x9308030<br>>>>>> liblognorm: new subtree 0x9308810<br>>>>>> liblognorm: addSampToTree 9 of 108<br>>>>>> liblognorm: parsed literal: ' request discarded from '<br>>>>>> liblognorm: buildPTree: begin at 0x9308810, offs 0<br>>>>>> liblognorm: case 3.1<br>>>>>> liblognorm: addPTree: offs 0<br>>>>>> liblognorm: setPrefix lenBuf 24, offs 0<br>>>>>> liblognorm: addSampToTree 33 of 108<br>>>>>> liblognorm: parsed field: 'src-ip'<br>>>>>> liblognorm: got new subtree 0x9308ca0<br>>>>>> liblognorm: prev subtree 0x9308810<br>>>>>> liblognorm: new subtree 0x9308ca0<br>>>>>> liblognorm: addSampToTree 46 of 108<br>>>>>> liblognorm: parsed literal: '/'<br>>>>>> liblognorm: buildPTree: begin at 0x9308ca0, offs 0<br>>>>>> liblognorm: case 3.1<br>>>>>> liblognorm: addPTree: offs 0<br>>>>>> liblognorm: setPrefix lenBuf 1, offs 0<br>>>>>> liblognorm: addSampToTree 47 of 108<br>>>>>> liblognorm: parsed field: 'src-port'<br>>>>>> liblognorm: got new subtree 0x9309110<br>>>>>> liblognorm: prev subtree 0x9308ca0<br>>>>>> liblognorm: new subtree 0x9309110<br>>>>>> liblognorm: addSampToTree 64 of 108<br>>>>>> liblognorm: parsed literal: ' to '<br>>>>>> liblognorm: buildPTree: begin at 0x9309110, offs 0<br>>>>>> liblognorm: case 3.1<br>>>>>> liblognorm: addPTree: offs 0<br>>>>>> liblognorm: setPrefix lenBuf 4, offs 0<br>>>>>> liblognorm: addSampToTree 68 of 108<br>>>>>> liblognorm: parsed field: '-'<br>>>>>> liblognorm: got new subtree 0x9309580<br>>>>>> liblognorm: prev subtree 0x9309110<br>>>>>> liblognorm: new subtree 0x9309580<br>>>>>> liblognorm: addSampToTree 76 of 108<br>>>>>> liblognorm: parsed literal: ':'<br>>>>>> liblognorm: buildPTree: begin at 0x9309580, offs 0<br>>>>>> liblognorm: case 3.1<br>>>>>> liblognorm: addPTree: offs 0<br>>>>>> liblognorm: setPrefix lenBuf 1, offs 0<br>>>>>> liblognorm: addSampToTree 77 of 108<br>>>>>> liblognorm: parsed field: 'dst-ip'<br>>>>>> liblognorm: got new subtree 0x93099f0<br>>>>>> liblognorm: prev subtree 0x9309580<br>>>>>> liblognorm: new subtree 0x93099f0<br>>>>>> liblognorm: addSampToTree 90 of 108<br>>>>>> liblognorm: parsed literal: '/'<br>>>>>> liblognorm: buildPTree: begin at 0x93099f0, offs 0<br>>>>>> liblognorm: case 3.1<br>>>>>> liblognorm: addPTree: offs 0<br>>>>>> liblognorm: setPrefix lenBuf 1, offs 0<br>>>>>> liblognorm: addSampToTree 91 of 108<br>>>>>> liblognorm: parsed field: 'dst-port'<br>>>>>> liblognorm: got new subtree 0x9309e60<br>>>>>> liblognorm: prev subtree 0x93099f0<br>>>>>> liblognorm: new subtree 0x9309e60<br>>>>>> liblognorm: end addSampToTree 108 of 108<br>>>>>> number of tree nodes: 7<br>>>>>> To normalize: ' TCP request discarded from 96.18.101.250/1077 to<br>>>>>> Interface:my_ip/443'<br>>>>>> liblognorm: 0: prefix compare ' ', ' '<br>>>>>> liblognorm: 1: prefix compare succeeded, still valid<br>>>>>> liblognorm: 1:trying parser for field '-': 0xb786c450<br>>>>>> liblognorm: potential hit, trying subtree<br>>>>>> liblognorm: 4: prefix compare ' ', ' '<br>>>>>> liblognorm: 5: prefix compare 'r', 'r'<br>>>>>> liblognorm: 6: prefix compare 'e', 'e'<br>>>>>> liblognorm: 7: prefix compare 'q', 'q'<br>>>>>> liblognorm: 8: prefix compare 'u', 'u'<br>>>>>> liblognorm: 9: prefix compare 'e', 'e'<br>>>>>> liblognorm: 10: prefix compare 's', 's'<br>>>>>> liblognorm: 11: prefix compare 't', 't'<br>>>>>> liblognorm: 12: prefix compare ' ', ' '<br>>>>>> liblognorm: 13: prefix compare 'd', 'd'<br>>>>>> liblognorm: 14: prefix compare 'i', 'i'<br>>>>>> liblognorm: 15: prefix compare 's', 's'<br>>>>>> liblognorm: 16: prefix compare 'c', 'c'<br>>>>>> liblognorm: 17: prefix compare 'a', 'a'<br>>>>>> liblognorm: 18: prefix compare 'r', 'r'<br>>>>>> liblognorm: 19: prefix compare 'd', 'd'<br>>>>>> liblognorm: 20: prefix compare 'e', 'e'<br>>>>>> liblognorm: 21: prefix compare 'd', 'd'<br>>>>>> liblognorm: 22: prefix compare ' ', ' '<br>>>>>> liblognorm: 23: prefix compare 'f', 'f'<br>>>>>> liblognorm: 24: prefix compare 'r', 'r'<br>>>>>> liblognorm: 25: prefix compare 'o', 'o'<br>>>>>> liblognorm: 26: prefix compare 'm', 'm'<br>>>>>> liblognorm: 27: prefix compare ' ', ' '<br>>>>>> liblognorm: 28: prefix compare succeeded, still valid<br>>>>>> liblognorm: 28:trying parser for field 'src-ip': 0xb786bdb0<br>>>>>> liblognorm: potential hit, trying subtree<br>>>>>> liblognorm: 41: prefix compare '/', '/'<br>>>>>> liblognorm: 42: prefix compare succeeded, still valid<br>>>>>> liblognorm: 42:trying parser for field 'src-port': 0xb786c510<br>>>>>> liblognorm: potential hit, trying subtree<br>>>>>> liblognorm: 46: prefix compare ' ', ' '<br>>>>>> liblognorm: 47: prefix compare 't', 't'<br>>>>>> liblognorm: 48: prefix compare 'o', 'o'<br>>>>>> liblognorm: 49: prefix compare ' ', ' '<br>>>>>> liblognorm: 50: prefix compare succeeded, still valid<br>>>>>> liblognorm: 50:trying parser for field '-': 0xb786c450<br>>>>>> liblognorm: potential hit, trying subtree<br>>>>>> liblognorm: 74 returns -1<br>>>>>> liblognorm: 50 nonmatch, backtracking required, left=-1<br>>>>>> liblognorm: 50 no field, trying subtree char 'I': (nil)<br>>>>>> liblognorm: 50 returns -1<br>>>>>> liblognorm: 42 nonmatch, backtracking required, left=-1<br>>>>>> liblognorm: 42 no field, trying subtree char '1': (nil)<br>>>>>> liblognorm: 42 returns -1<br>>>>>> liblognorm: 28 nonmatch, backtracking required, left=-1<br>>>>>> liblognorm: 28 no field, trying subtree char '9': (nil)<br>>>>>> liblognorm: 28 returns -1<br>>>>>> liblognorm: 1 nonmatch, backtracking required, left=-1<br>>>>>> liblognorm: 1 no field, trying subtree char 'T': (nil)<br>>>>>> liblognorm: 1 returns -1<br>>>>>> liblognorm: final result for normalizer: left -1, endNode 0x9309580<br>>>>>> normalized: '[cee@115 originalmsg=" TCP request discarded from<br>>>>>> 96.18.101.250/1077 to Interface:my_ip/443" unparsed-data=""]'<br>>>>>> [cee@115 originalmsg=" TCP request discarded from 96.18.101.250/1077<br>>>>>> to Interface:my_ip/443" unparsed-data=""]<br>>>>>> <br>>>>>> _______________________________________________<br>>>>>> Lognorm mailing list<br>>>>>> Lognorm@lists.adiscon.com<br>>>>>> <a href="http://lists.adiscon.net/mailman/listinfo/lognorm">http://lists.adiscon.net/mailman/listinfo/lognorm</a><br>>>>> <br>>>>> An interesting tidbit...with the below:<br>>>>> <br>>>>> <br>>>>> " TCP request discarded from 96.18.101.250/1077 to 1234:my_ip/443"<br>>>>> <br>>>>> and<br>>>>> <br>>>>> rule=: %-:word% request discarded from %src-ip:ipv4%/%src-port:number%<br>>> to %-:number%:%dst-ip:ipv4%/%dst-port:number%<br>>>>> <br>>>>> This works and correctly processes.  Hope that helps.<br>>>>> <br>>>>> James<br>>>>> <br>>>>> _______________________________________________<br>>>>> Lognorm mailing list<br>>>>> Lognorm@lists.adiscon.com<br>>>>> <a href="http://lists.adiscon.net/mailman/listinfo/lognorm">http://lists.adiscon.net/mailman/listinfo/lognorm</a><br>>>> <br>>>> Any movement on this?  I'm at an impasse until this is addressed...thank you.<br>>>> <br>>>> James<br>>>> _______________________________________________<br>>>> Lognorm mailing list<br>>>> Lognorm@lists.adiscon.com<br>>>> <a href="http://lists.adiscon.net/mailman/listinfo/lognorm">http://lists.adiscon.net/mailman/listinfo/lognorm</a><br>>> <br>>> Would have been nice to at least get some response of some kind on this...<br>> <br>> Oh, damn, sorry - I have totally lost track of this. I need to look at another issue today, but will try to tweak it in between the other stuff ASAP.<br>> <br>> Rainer<br>> _______________________________________________<br>> Lognorm mailing list<br>> Lognorm@lists.adiscon.com<br>> <a href="http://lists.adiscon.net/mailman/listinfo/lognorm">http://lists.adiscon.net/mailman/listinfo/lognorm</a><br><br>Thanks Rainer…I'll give this a shot when I get to work tomorrow.<br><br>James<br>_______________________________________________<br>Lognorm mailing list<br>Lognorm@lists.adiscon.com<br><a href="http://lists.adiscon.net/mailman/listinfo/lognorm">http://lists.adiscon.net/mailman/listinfo/lognorm</a><br><br><br><br>