<div dir="ltr"><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Sep 10, 2013 at 3:04 PM, Castillo, Jose   Contractor <span dir="ltr"><<a href="mailto:Jose.Castillo@ssa.gov" target="_blank">Jose.Castillo@ssa.gov</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div link="blue" vlink="purple" lang="EN-US"><div><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">I moved to version 7.4.4 and now it’s working fine.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u></span></p></div></div></blockquote><div><br></div><div>excellent, thx (and sorry for the delay ;))<br>
<br>Rainer <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div link="blue" vlink="purple" lang="EN-US"><div><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Thanks,<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Jose<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""> <a href="mailto:lognorm-bounces@lists.adiscon.com" target="_blank">lognorm-bounces@lists.adiscon.com</a> [mailto:<a href="mailto:lognorm-bounces@lists.adiscon.com" target="_blank">lognorm-bounces@lists.adiscon.com</a>] <b>On Behalf Of </b>Rainer Gerhards<br>
<b>Sent:</b> Tuesday, September 10, 2013 2:36 AM</span></p><div><div class="h5"><br><b>To:</b> lognorm<br><b>Subject:</b> Re: [Lognorm] log classification with liblognorm<u></u><u></u></div></div><p></p><div><div class="h5">
<p class="MsoNormal"><u></u> <u></u></p><div><div><p class="MsoNormal"><u></u> <u></u></p><div><p class="MsoNormal">On Mon, Jul 15, 2013 at 4:07 PM, Castillo, Jose Contractor <<a href="mailto:Jose.Castillo@ssa.gov" target="_blank">Jose.Castillo@ssa.gov</a>> wrote:<u></u><u></u></p>
<div><div><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Rainer,</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">I was able to get an extra field in the output file using “annotate” in the rule file, but when I use more than one tag in one rule rsyslog process die (Program terminated with signal 11, Segmentation fault).</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">I sent detailed information about this issue to rsyslog list (thread:  “log classification with lognorm issue”)</span><u></u><u></u></p>
</div></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal" style="margin-bottom:12.0pt">sorry this got thrashed due to my vacation and David just reminded me again ;)<u></u><u></u></p></div><div>
<p class="MsoNormal" style="margin-bottom:12.0pt">Are you still interested in solving this? Then we would probably need you to <u></u><u></u></p></div><div><p class="MsoNormal">a) move to 7.4.4 <u></u><u></u></p></div><div>
<p class="MsoNormal" style="margin-bottom:12.0pt">b) provide a debug log<u></u><u></u></p></div><div><p class="MsoNormal">Thanks,<br>Rainer <u></u><u></u></p></div><blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div><div><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Thanks in advance for any help.</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Jose</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"> </span><u></u><u></u></p><p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""> <a href="mailto:lognorm-bounces@lists.adiscon.com" target="_blank">lognorm-bounces@lists.adiscon.com</a> [mailto:<a href="mailto:lognorm-bounces@lists.adiscon.com" target="_blank">lognorm-bounces@lists.adiscon.com</a>] <b>On Behalf Of </b>Rainer Gerhards<br>
<b>Sent:</b> Monday, July 15, 2013 3:33 AM</span><u></u><u></u></p><div><div><p class="MsoNormal"><br><b>To:</b> lognorm<br><b>Subject:</b> Re: [Lognorm] log classification with liblognorm<u></u><u></u></p></div></div><div>
<div><p class="MsoNormal"> <u></u><u></u></p><div><div><p class="MsoNormal">David made me aware of this thread. Sorry for not responding further, I've been very busy and probably overlooked it. More inline...<u></u><u></u></p>
</div><div><p class="MsoNormal"> <u></u><u></u></p><div><p class="MsoNormal">On Wed, Jun 26, 2013 at 10:41 PM, Castillo, Jose Contractor <<a href="mailto:Jose.Castillo@ssa.gov" target="_blank">Jose.Castillo@ssa.gov</a>> wrote:<u></u><u></u></p>
<div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">David,</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif""> </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">I modified the template:</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">template(name="testFormat" type="string" string="%$!all-json%,tag='%$!<b><span style="color:red">mytag</span></b>%'")</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif""> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">I also modified the rule to include mytag as a tag:</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">rule=<b><span style="color:red">mytag</span></b>:%date:word% %host:ipv4% : %%ASA-%number0:number%-%number1:number%: Denied ICMP type=%number2:number%, code=%number3:number% from %origin:ipv4% on interface outside</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif""> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">And now I getting :</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">{ "origin": "77.2.2.2", "number3": "0", "number2": "8", "number1": "313001", "number0": "3", "host": "0.0.0.0", "date": "2013-06-26T10:47:42+01:00" },tag=''</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif""> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">No tags are being written to the output file.</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif""> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">What am I doing wrong? </span><u></u><u></u></p>
</div></div><div><p class="MsoNormal"> <u></u><u></u></p></div><div><p class="MsoNormal">I need to check the code, but I think you are doing everything right. IIRC, tags were meant as classification method for rsyslog's engine (if-stmts). I think outputting them was not at the table when this was written. I am 90% sure, and will try to verify the rest within this week.<u></u><u></u></p>
</div><div><p class="MsoNormal">Rainer <u></u><u></u></p></div><blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0in;margin-bottom:5.0pt">
<div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif""> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">Thanks,</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif";color:#888888"> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif";color:#888888">Jose</span><u></u><u></u></p>
</div><div><div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif""> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">-----Original Message-----<br>
From: <a href="mailto:lognorm-bounces@lists.adiscon.com" target="_blank">lognorm-bounces@lists.adiscon.com</a> [<a href="mailto:lognorm-bounces@lists.adiscon.com" target="_blank">mailto:lognorm-bounces@lists.adiscon.com</a>] On Behalf Of David Lang<br>
Sent: Wednesday, June 26, 2013 3:11 PM<br>To: lognorm<br>Subject: Re: [Lognorm] log classification with liblognorm</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif""> </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">the tags are accessed in rsyslog by $!<tag name></span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif""> </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">so where you would have done %hostname% you could do %$!mytag%</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif""> </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">David Lang</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif""> </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">On Wed, 26 Jun 2013, Castillo, Jose   Contractor wrote:</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif""> </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> Date: Wed, 26 Jun 2013 16:00:06 -0400</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> From: "Castillo, Jose   Contractor" <<a href="mailto:Jose.Castillo@ssa.gov" target="_blank">Jose.Castillo@ssa.gov</a>></span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> Reply-To: lognorm <<a href="mailto:lognorm@lists.adiscon.com" target="_blank">lognorm@lists.adiscon.com</a>></span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> To: "<a href="mailto:lognorm@lists.adiscon.com" target="_blank">lognorm@lists.adiscon.com</a>" <<a href="mailto:lognorm@lists.adiscon.com" target="_blank">lognorm@lists.adiscon.com</a>></span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> Subject: [Lognorm] log classification with liblognorm</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> Hello all,</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> I started to play using rsyslog/liblognorm a week ago, I'm testing them on a CentOS 6.4 virtual machine, and next packages have been installed from Adiscon repository:</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> rsyslog-mysql-7.4.1-1.el6.x86_64</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> rsyslog-mmjsonparse-7.4.1-1.el6.x86_64</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> rsyslog-7.4.1-1.el6.x86_64</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> rsyslog-mmnormalize-7.4.1-1.el6.x86_64</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> rsyslog-udpspoof-7.4.1-1.el6.x86_64</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> rsyslog-elasticsearch-7.4.1-1.el6.x86_64</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> I was reading next link, and now I'm trying to select subsets of messages based on liblognorm tags.</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> <a href="http://blog.gerhards.net/2011/04/log-classification-with-liblognorm.ht" target="_blank">http://blog.gerhards.net/2011/04/log-classification-with-liblognorm.ht</a></span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> ml</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> So far, I was able to parse a message using mmnormalize module, and now I want to create outputs based on the liblognorm tag(s).</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> Is this option supported within rsyslog.conf? Any example how to do it?</span><u></u><u></u></p></div><div><p class="MsoNormal">
<span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> Below my testing files:</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> =================================================================</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> rsyslog.conf file:</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> module (load="imudp")</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> module (load="mmnormalize")</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> module (load="mmjsonparse")</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> input(type="imudp" address="192.168.1.1" port="514" ruleset="test")</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> template(name="testFormat" type="string" string="%$!all-json%\n")</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> ruleset(name="test") {</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">>        action(type="mmnormalize" userawmsg="on" rulebase="/data/syslog/rulebase.rb")</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">>        action(type="omfile" file="/data/syslog/test-syslog.log" </span><u></u><u></u></p></div>
<div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> template="testFormat") }</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> rulebase.rb file:</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> rule=test:%date:word% %host:ipv4% : </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> %%ASA-%number0:number%-%number1:number%: Denied ICMP </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> type=%number2:number%, code=%number3:number% from %origin:ipv4% on </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> interface outside</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> test-syslog.log file:</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> { "origin": "77.2.2.2", "number3": "0", "number2": "8", "number1": </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> "313001", "number0": "3", "host": "0.0.0.0", "date": </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> "2013-06-26T10:47:42+01:00" }</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> Message:</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> "2013-06-26T10:47:42+01:00 0.0.0.0 : %ASA-3-313001: Denied ICMP type=8, code=0 from 77.2.2.2 on interface outside"</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> ======================================================================</span><u></u><u></u></p></div><div><p class="MsoNormal">
<span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> Thanks in advance for any help,</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> Jose Castillo</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif"">> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-family:"Calibri","sans-serif""> </span><u></u><u></u></p>
</div></div></div></div><p class="MsoNormal" style="margin-bottom:12.0pt"><br>_______________________________________________<br>Lognorm mailing list<br><a href="mailto:Lognorm@lists.adiscon.com" target="_blank">Lognorm@lists.adiscon.com</a><br>
<a href="http://lists.adiscon.net/mailman/listinfo/lognorm" target="_blank">http://lists.adiscon.net/mailman/listinfo/lognorm</a><u></u><u></u></p></blockquote></div><p class="MsoNormal"> <u></u><u></u></p></div></div></div>
</div></div></div><p class="MsoNormal" style="margin-bottom:12.0pt"><br>_______________________________________________<br>Lognorm mailing list<br><a href="mailto:Lognorm@lists.adiscon.com" target="_blank">Lognorm@lists.adiscon.com</a><br>
<a href="http://lists.adiscon.net/mailman/listinfo/lognorm" target="_blank">http://lists.adiscon.net/mailman/listinfo/lognorm</a><u></u><u></u></p></blockquote></div><p class="MsoNormal"><u></u> <u></u></p></div></div></div>
</div></div></div><br>_______________________________________________<br>
Lognorm mailing list<br>
<a href="mailto:Lognorm@lists.adiscon.com">Lognorm@lists.adiscon.com</a><br>
<a href="http://lists.adiscon.net/mailman/listinfo/lognorm" target="_blank">http://lists.adiscon.net/mailman/listinfo/lognorm</a><br>
<br></blockquote></div><br></div></div>