<div dir="ltr"><div dir="ltr"><div dir="ltr">mysqld.err file can just be emptied with >/var/log/mysql/mysqld.err - you can copy it somewhere else first... but that error file shouldn't be growing that fast to begin with. fix that first.<div>* old log files can be removed from /var/log/ngcp/old if you don't need them. </div><div>* you can reduce the logging of kamailio-proxy and kamailio-lb if you don't need it for troubleshooting. That should save quite a bit iops and space.</div><div>* /var/backup/cdr should have old cdr and /var/backup/ other directories have backups from upgrades which you may want to copy out and then empty those directories</div><div><br></div><div><br></div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Jul 2, 2019 at 9:38 PM Thomas Georg <<a href="mailto:t.georg@msg-gruppe.de">t.georg@msg-gruppe.de</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">Hi list,<br>
<br>
we had an issue when our spce has been upgraded to 6.5.4.<br>
At this time our harddisk went out of space.<br>
<br>
We are planning to move our production system to a new machine so I made some investigations where the disk space has gone.<br>
<br>
First I found the mysqld.err file in /var log/mysql/ with a size of 17GB!<br>
<br>
I wondered about the following:<br>
########## mysqld.err ########<br>
2019-05-30 23:08:27 140628650698752 [ERROR] mysqld: Can't lock aria control file '/ngcp-data/mysql/aria_log_control' for exclusive use, error: 11. Will retry for 30 secon<br>
ds<br>
2019-05-30 23:08:27 140112560863232 [ERROR] mysqld: Can't lock aria control file '/ngcp-data/mysql/aria_log_control' for exclusive use, error: 11. Will retry for 30 secon<br>
ds<br>
2019-05-30 23:08:27 140253069703168 [Note] InnoDB: innodb_empty_free_list_algorithm has been changed to legacy because of small buffer pool size. In order to use backoff,<br>
 increase buffer pool at least up to 20MB.<br>
<br>
2019-05-30 23:08:27 140253069703168 [Note] InnoDB: Using mutexes to ref count buffer pool pages<br>
2019-05-30 23:08:27 140253069703168 [Note] InnoDB: The InnoDB memory heap is disabled<br>
2019-05-30 23:08:27 140253069703168 [Note] InnoDB: Mutexes and rw_locks use GCC atomic builtins<br>
2019-05-30 23:08:27 140253069703168 [Note] InnoDB: GCC builtin __atomic_thread_fence() is used for memory barrier<br>
2019-05-30 23:08:27 140253069703168 [Note] InnoDB: Compressed tables use zlib 1.2.8<br>
2019-05-30 23:08:27 140253069703168 [Note] InnoDB: Using Linux native AIO<br>
2019-05-30 23:08:27 140253069703168 [Note] InnoDB: Using SSE crc32 instructions<br>
2019-05-30 23:08:27 140253069703168 [Note] InnoDB: Initializing buffer pool, size = 64.0M<br>
2019-05-30 23:08:27 140253069703168 [Note] InnoDB: Completed initialization of buffer pool<br>
2019-05-30 23:08:29 140253069703168 [Note] InnoDB: Setting log file /ngcp-data/mysql/ib_logfile101 size to 128 MB<br>
2019-05-30 23:08:31 140253069703168 [Note] InnoDB: Setting log file /ngcp-data/mysql/ib_logfile1 size to 128 MB<br>
2019-05-30 23:08:35 140253069703168 [Note] InnoDB: Setting log file /ngcp-data/mysql/ib_logfile2 size to 128 MB<br>
2019-05-30 23:08:39 140253069703168 [Note] InnoDB: Setting log file /ngcp-data/mysql/ib_logfile3 size to 128 MB<br>
2019-05-30 23:08:40 140253069703168 [Note] InnoDB: Renaming log file /ngcp-data/mysql/ib_logfile101 to /ngcp-data/mysql/ib_logfile0<br>
2019-05-30 23:08:40 140253069703168 [Warning] InnoDB: New log files created, LSN=74857028238<br>
2019-05-30 23:08:40 140253069703168 [Note] InnoDB: Highest supported file format is Barracuda.<br>
2019-05-30 23:08:40 7f8f3665f800 InnoDB: Error: page 3 log sequence number 75407322724<br>
InnoDB: is in the future! Current system log sequence number 74857028620.<br>
InnoDB: Your database may be corrupt or you may have copied the InnoDB<br>
InnoDB: tablespace but not the InnoDB log files. See<br>
InnoDB: <a href="http://dev.mysql.com/doc/refman/5.6/en/forcing-innodb-recovery.html" rel="noreferrer" target="_blank">http://dev.mysql.com/doc/refman/5.6/en/forcing-innodb-recovery.html</a><br>
InnoDB: for more information.<br>
2019-05-30 23:08:40 7f8f3665f800 InnoDB: Error: page 2 log sequence number 98893166510<br>
InnoDB: is in the future! Current system log sequence number 74857028620.<br>
InnoDB: Your database may be corrupt or you may have copied the InnoDB<br>
InnoDB: tablespace but not the InnoDB log files. See<br>
InnoDB: <a href="http://dev.mysql.com/doc/refman/5.6/en/forcing-innodb-recovery.html" rel="noreferrer" target="_blank">http://dev.mysql.com/doc/refman/5.6/en/forcing-innodb-recovery.html</a><br>
InnoDB: for more information.<br>
.......<br>
#########################<br>
<br>
The log is full of these InnoDB errors.<br>
<br>
Has anyone an explanation for this and how to fix it / do more investigation?<br>
<br>
Our disk is currently at 91%, is it possible to move the file to another place (scp to our central backup storage) and restart the logging without service interruption?<br>
<br>
Regards<br>
Thomas<br>
<br>
<br>
<br>
_______________________________________________<br>
Spce-user mailing list<br>
<a href="mailto:Spce-user@lists.sipwise.com" target="_blank">Spce-user@lists.sipwise.com</a><br>
<a href="https://lists.sipwise.com/listinfo/spce-user" rel="noreferrer" target="_blank">https://lists.sipwise.com/listinfo/spce-user</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><table border="0" cellspacing="0" cellpadding="0" width="346" style="font-family:Helvetica;width:259.8pt"><tbody><tr><td valign="top" style="padding:0cm"><div style="margin:0cm 0cm 0.0001pt;font-size:12pt;font-family:"Times New Roman""><br></div><div style="margin:0cm 0cm 0.0001pt;font-size:12pt;font-family:"Times New Roman"">Warmest Regards,</div><div style="margin:0cm 0cm 0.0001pt;font-size:12pt;font-family:"Times New Roman""><span style="color:purple"><a href="https://myrepublic.com.sg/" style="color:purple" target="_blank"><br><img border="0" width="140" height="92" src="https://myrepublic.com.sg/resources/email-signature.png"></a></span><span></span></div></td><td style="padding:0cm"><div style="margin:0cm 0cm 0.0001pt;font-size:12pt;font-family:"Times New Roman""><b><span style="font-size:10pt;font-family:Arial;color:rgb(127,43,153)">Walter Klomp</span></b><span></span></div><div style="margin:0cm 0cm 0.0001pt;font-size:12pt;font-family:"Times New Roman""><span style="font-size:8.5pt;font-family:Arial;color:rgb(77,77,77)">Head of Voice & Systems</span><span></span></div><div style="margin:0cm 0cm 0.0001pt;font-size:12pt;font-family:"Times New Roman""><span style="font-size:8.5pt;font-family:Arial;color:rgb(77,77,77)">MyRepublic Limited</span><span></span></div><div style="margin:0cm 0cm 0.0001pt;font-size:12pt;font-family:"Times New Roman""><span style="font-size:8.5pt;font-family:Arial;color:rgb(77,77,77)">T: +65 6816 1120</span><span></span></div><div style="margin:0cm 0cm 0.0001pt;font-size:12pt;font-family:"Times New Roman""><span style="font-size:8.5pt;font-family:Arial;color:rgb(77,77,77)">F: +65 6717 2031</span></div></td></tr><tr><td width="333" colspan="2" style="width:249.75pt;padding:0cm"><div style="margin:0cm 0cm 0.0001pt;font-size:12pt;font-family:"Times New Roman""> <span></span></div><div style="margin:0cm 0cm 0.0001pt;font-size:12pt;font-family:"Times New Roman""><span style="font-size:8.5pt;font-family:Arial;color:rgb(77,77,77)">MyRepublic Limited</span><span></span></div><div style="font-family:arial,sans-serif;font-size:16px;margin:0in 0in 0.0001pt"><font color="#4d4d4d" face="Arial, sans-serif"><span style="font-size:11.3333px">11 Lorong 3 Toa Payoh Block B Jackson Square</span></font></div><div style="font-family:arial,sans-serif;font-size:16px;margin:0in 0in 0.0001pt"><font color="#4d4d4d" face="Arial, sans-serif"><span style="font-size:11.3333px">#04-11/15 Singapore 319579</span></font></div><div style="margin:0cm 0cm 0.0001pt;font-size:12pt;font-family:"Times New Roman""><span style="font-size:8.5pt;font-family:Arial;color:rgb(77,77,77)"><br></span><span style="color:rgb(77,77,77)"><a href="https://myrepublic.com.sg/" style="color:purple" target="_blank"><span style="font-size:8.5pt;font-family:Arial;color:rgb(77,77,77)">myrepublic.com.sg</span></a></span><span></span></div><div style="margin:0cm 0cm 0.0001pt;font-size:12pt;font-family:"Times New Roman""><span style="font-size:8.5pt;font-family:Arial;color:rgb(77,77,77)">Follow us on: <a href="https://twitter.com/myrepublic" style="color:purple" target="_blank"><span style="color:rgb(77,77,77)">Twitter</span></a> | <a href="https://facebook.com/myrepublicsg" style="color:purple" target="_blank"><span style="color:rgb(77,77,77)">Facebook</span></a> | <a href="https://www.linkedin.com/company/myrepublic" style="color:purple" target="_blank"><span style="color:rgb(5,99,193)">LinkedIn</span></a></span></div></td></tr></tbody></table><div style="color:rgb(0,0,0);font-family:Helvetica;font-size:14px"><br></div><table border="0" cellspacing="0" cellpadding="0" width="400" style="font-family:Helvetica;width:259.8pt"><tbody><tr><td valign="top" style="padding:0in"><br></td></tr></tbody></table></div></div>

<br>
<span style="color:rgb(34,34,34);font-family:sans-serif;background-color:rgb(255,255,255)"><font size="1"><span style="font-family:Arial;color:rgb(102,102,102);font-style:italic;vertical-align:baseline;white-space:pre-wrap">The contents of this email and any attachments are confidential and may also be privileged. You must not disseminate the contents of this email and any attachments without permission of the sender. If you have received this email by mistake, please delete all copies and inform the sender immediately. You may refer to our company's Privacy Policy </span><span style="color:rgb(102,102,102);font-family:Arial;font-style:italic;vertical-align:baseline;white-space:pre-wrap"><a href="https://myrepublic.net/sg/legal/terms-of-use-policies/privacy-policy/" target="_blank">here</a></span><span style="font-family:Arial;color:rgb(102,102,102);font-style:italic;vertical-align:baseline;white-space:pre-wrap">.</span></font></span>