DB検索プロジェクト

Check Tweet

101 ：出来杉3.0 ★ [ｽﾚﾁな気がするけど、あそこに書くと流れそうw]：2008/08/20(水) 17:31:53.57 ID:???

subject更新スクリプトについて
・更新間隔
　22:00-01:59は5秒、それ以外は10秒
　言われたとおりに弄りましたとさw
・使用板
　index.htmlを書き込み時に静的生産しない板のみです(パー速とかA雑とか)
・デーモン化について
　rc.dのスクリプトはなんだか起動しかできないので、stopやrestartは手動でプロセスIDを確認してkillしてください
・スクリプトの終了時
　キューが残っていても無視して終了しちゃいます、運が悪いと書き込み中に終了しちゃうかも
　先にApacheだけ手動終了させるとか、起動時にsubjectを確認、必要に応じて復帰するなりしてください

それと、Perlの更新時に「-Dusethreads」を有効化しといてくださいおながいします

102 ：出来杉3.0 ★ [sage]：2008/08/20(水) 17:38:54.55 ID:???

あ、DBのコメントアウトも外しときました

103 ：!kab- [sage]：2008/08/21(木) 12:53:48.06 ID:OExur56P

>>101
あっちに書いてくれんと分からんぜよ・・・

まだ調子わるいですけど・・・(汗

104 ：出来杉3.0 ★ [detectiveで503ｷﾀｰorz]：2008/08/21(木) 14:07:42.70 ID:???

>>103
まあ、中の人への連絡用なのでw

一応、↓の時点では直したつもりですが…まだ調子悪いですか？
http://ex14.vip2ch.com/test/read.cgi/operate/1152262275/381

105 ：ミーフォ茜 ★ [sage]：2008/08/28(木) 21:12:02.30 ID:???

現在DBへの接続へ失敗しているわけですが

・ローカルやリモートからのmysqlコマンドでの接続
→too many connections

・コンパネからの各画面
→エラー、error 28

とりあえずerror 28についてはdfで容量を覗いてみたところ
/varが100%食ってて、mysqlのディレクトリが/var/db/mysqlなんでDBのファイルが容量食いつぶした予感。
エラーログにも 誰か空きスペース作ってよ〜 的なことが書いてあるからたぶん原因はそれかなと

どうしましょう？別スペースにまるごとコピーしてシンボリックリンクでも張ります？
(DBはあまり詳しくない)

106 ：荒巻＠中の人 ★ ：2008/08/29(金) 07:51:58.34 ID:???

対処おまかせしますー
ちょっとそっちのほうにさわれる時間がないかもです

107 ：ミーフォ茜 ★ [sage]：2008/08/29(金) 15:51:21.74 ID:???

把握しますた

バイナリログをいくつかお掃除、その後壊れていたaaとpart4vipテーブルを修復しますた
多分これで動くはず

108 ：荒巻＠中の人 ★ ：2008/08/29(金) 21:51:05.11 ID:???

>>107
作業おつかれさまでした．
無事動いているみたいです．

>>101
最近攻撃が酷くなっているようで，強制リブートで一旦鯖落としたところSubject作成用のデーモンが立ち上がってきませんでした．
ヘタにいじるとあれなので一応バージョン落としてデーモン使わないbbs.cgi使ってます．
このレスを見たら元のバージョンに戻して，デーモンを立ち上げておいていただければ助かります．
また起動時に自動的に立ち上がるようにしておいてくださいです．


んー最近本当にレベルの低い書き込み荒らしが多い気が．．．
暇な人，多いんですね．

109 ：!kab- [sage]：2008/08/29(金) 22:59:57.12 ID:BepZ1XUP

>>108
攻撃ってのを詳しくｗｗ

良くも悪くも知名度アップでしょうな・・・
パー速以外の負荷はどうなんでしょうか。一括でしか管理してない・・・？

110 ：出来杉3.0 ★ ：2008/08/30(土) 17:30:14.93 ID:???

>>108
ﾅｯﾅﾝﾀﾞｯﾃｰ!!
自動起動にしたはずだったんだけどなぁ…
とりあえず起動＆簡易チェックしてきます

111 ：出来杉3.0 ★ ：2008/08/30(土) 18:50:04.09 ID:???

どうにか復帰したはず^^;

自動起動しなかった件ですが、結局わかりませんでした
suできず、実験環境も無いので実験することもできません
一応、回避策として手動起動方法をホームのﾋﾟｰに書いておきました

# もしかしたらrc.dのスクリプトをホームにあるのと置き換えたら起動したりして
# ただし動作完全無保証なので、もしも試すときは覚悟してねw

112 ：出来杉3.0 ★ [read.cgiが500ｷﾀｰorz]：2008/08/30(土) 19:06:14.19 ID:???

念のため、パー速とA雑のsubjectを更新しときました

113 ：!kab- [sage 専ブラ告知をもっとしたらどうだろうか]：2008/08/30(土) 19:35:03.93 ID:Y0NgufUP

お疲れー

114 ：出来杉3.0 ★ ：2008/09/01(月) 15:33:22.46 ID:???

そういえば、削除やゴミ箱飛ばしは弄ってなかったっけw

>>113
^^ﾉ

115 ：出来杉3.0 ★ ：2008/09/16(火) 17:41:23.74 ID:???

スレタイ検索専用のスクリプトを作ろうかな

# とその前に開発サーバを用意しないといけないんだった^^;

116 ：荒巻＠中の人 ★ ：2008/09/17(水) 23:33:26.37 ID:???

どもです。
ちょっと変な思い付きをしてしまったので検索担当された方と会話しましたー。
ということでログ張っておきますね

117 ：荒巻＠中の人 ★ ：2008/09/17(水) 23:33:54.30 ID:???

VIPService(外出先) の発言:
どもっす
リンＰすけ の発言:
はい
VIPService(外出先) の発言:
現在検索システムは現行スレのみが対象ですが
VIPService(外出先) の発言:
別に過去ログ用のDB鯖用意してやれば
VIPService(外出先) の発言:
過去ログ検索って可能ですかね
リンＰすけ の発言:
ＳＱＬ一個でデータ移動は不可です
リンＰすけ の発言:
コピ＾−　→　削除
リンＰすけ の発言:
ってしないと移動にならないので鯖の負荷もかかりますが、できるといえばできそうですよ」
VIPService(外出先) の発言:
今はDBからの削除はHTML化の段階で行われるわけですよね
VIPService(外出先) の発言:
そのあたりの処理の時にちゃちゃっと過去ログDB鯖にコピーしてやって

VIPService(外出先) の発言:
過去ログはその方に蓄積　→　別途検索　みたいな

118 ：荒巻＠中の人 ★ ：2008/09/17(水) 23:36:55.48 ID:???

リンＰすけ の発言:
なるほど
リンＰすけ の発言:
ＨＴＭＬ化だけだとＤＢパンクしちゃうので

#1000行っても依頼しないスレの方が多い
リンＰすけ の発言:
削除処理全部に移動処理入れる感じですね
VIPService(外出先) の発言:
んー　今は　何かしらの管理メンバによるr***.cgiの操作によってDBからLiveじゃないと判断されて消されてるんですよね？
リンＰすけ の発言:
root.cgiじゃなくて茜さんのcronと、
リンＰすけ の発言:
あと、めんどくせーやってんで　1000　行ったスレのデータを10スレ分ずつ半自動削除してます
VIPService(外出先) の発言:
手動で消してるんですか？
リンＰすけ の発言:
cronだけだと上手く消えてくれないみたいなんですよね
リンＰすけ の発言:
しょうがないので、ワンボタンで全自動洗濯機回す感じで
VIPService(外出先) の発言:
CRONが回らないだけで、定期的にスクリプトを立ち上げて清掃していると。
リンＰすけ の発言:
です

119 ：荒巻＠中の人 ★ ：2008/09/17(水) 23:41:18.05 ID:???

リンＰすけ の発言:
ほっとくと携帯からタイムアウトになってしまうので
VIPService(外出先) の発言:
HTML化のときにs**p***elog.plからDBにHTML化するスレ番号を持つデータを削除ー　　とかは無理なんすかね
VIPService(外出先) の発言:
そっちのほうが効率いいような気がするんですが。
リンＰすけ の発言:
ＨＴＭＬ化のときに削除のやつはテスト環境が無いって言うのが一番のネックです
VIPService(外出先) の発言:
確かにｗｗ
VIPService(外出先) の発言:
私はいつも５００覚悟で直接触ってますからね・・・
リンＰすけ の発言:
あーだこーだとファイルやり取りするのもあれですからｗｗ
リンＰすけ の発言:
一応関数だけ入れとくので
リンＰすけ の発言:
そちらで設置　ならなんとかｗｗ
VIPService(外出先) の発言:
んー
VIPService(外出先) の発言:
今の方法で動いてらっさるようでしたらそれでｗｗ
VIPService(外出先) の発言:
CRONはちょっと直しておいたほうがいいかもですね
リンＰすけ の発言:
とりあえず酒飲みにも聞かないとＳＱＬ分かんないので・・・
VIPService(外出先) の発言:
人間が不定期にやってもらうよりはCRONでちゃっちゃとやっちゃったほうがそのあたりは合理的だと思うので
VIPService(外出先) の発言:
急ぎではないのでマターり解決しておいてくださいー

120 ：荒巻＠中の人 ★ ：2008/09/17(水) 23:45:36.89 ID:???

リンＰすけ の発言:
cronからの処理だと一度にかかる負荷が懸念的なｗｗ
VIPService(外出先) の発言:
CRONはDB鯖でまわしてるんですよね
リンＰすけ の発言:
ＨＴＭＬ化でも削除やっといたほうが分散できるかなーとは思います
VIPService(外出先) の発言:
あー
VIPService(外出先) の発言:
さくらのほうで回ってるのか
リンＰすけ の発言:
ex14ってことですか
VIPService(外出先) の発言:
/usr/local/bin/php /home/******/***/detective_project/delete_1000_over.php > /dev/null 2>&1
VIPService(外出先) の発言:
これかな
VIPService(外出先) の発言:
ミーフォさんが追記してるぶん　　っぽいんだけど
VIPService(外出先) の発言:
そのあたりどうなってるんだろ

121 ：荒巻＠中の人 ★ ：2008/09/17(水) 23:46:09.34 ID:???

ミーフォ茜 の発言:
ちょっと死んでました
VIPService(外出先) の発言:
こんばんはー
ミーフォ茜 の発言:
こんばんはです
リンＰすけ の発言:
こんばんはです
ミーフォ茜 の発言:
cronで回してるphpはDB鯖に移したほうがいいですかね
VIPService(外出先) の発言:
動いているのであれば問題ないですよー
VIPService(外出先) の発言:
d**2は確かPHP入ってなかったと思うし。
ミーフォ茜 の発言:
はいってないですね
ミーフォ茜 の発言:
まあ/bin/shで（ｒｙ
VIPService(外出先) の発言:
既存スクリプト使いまわす場合PHPなのでﾒﾝﾄﾞｰかなーと
VIPService(外出先) の発言:
動いていない　というのが解決すべき問題なのでそれさえどうにかなればｗｗ
ミーフォ茜 の発言:
今のだとover 1000をSearch & Destroyする方法が微妙だったり
VIPService(外出先) の発言:
HTML化時にごにょごにょ　がベストっすかね
ミーフォ茜 の発言:
それのほうが効率がよさそうです

122 ：荒巻＠中の人 ★ ：2008/09/17(水) 23:46:48.51 ID:???

VIPService(外出先) の発言:
d**3　的な鯖を作ってやったとして

HTML化（s**p***log.plが担当）の際にd**2のLiveなデータをd**3にコピー、そしてd**2からは削除
どさくさにまぎれてついでにFTP的なものでDATも転送しておく　→　d**3はDBで過去ログ検索＋DATも保持（HTTPDで公開）

VIPService(外出先) の発言:
こんなことできないですかね
ミーフォ茜 の発言:
DATの転送がネックですね
VIPService(外出先) の発言:
FTPD立ち上げておけばどうにかならないですか？
Perlで転送してやればー。。
ミーフォ茜 の発言:
Net::FTPなのかー
VIPService(外出先) の発言:
使い物になるかはやったことないっすけど。
VIPService(外出先) の発言:
それだと後に板を鯖ごとに分けたりとかex14のクラッシュでもd**3にログが残るので便利かなーと
VIPService(外出先) の発言:
あとは過去ログの参照が気軽にできるかなとか。
read.cgiのポップアップでレス単位の過去ログをXMLで拾ってこれたりとかー

123 ：荒巻＠中の人 ★ ：2008/09/17(水) 23:47:01.43 ID:???

ミーフォ茜 の発言:
DBのみに保存しておいてdatにリクエストがあったときにdatを生成してファイル数削減を（ｒｙ
VIPService(外出先) の発言:
DBはなんとなくあてにならん気がするのです
VIPService(外出先) の発言:
ただそれだけだけどｗｗ
リンＰすけ の発言:
ｗｗｗｗｗｗ
VIPService(外出先) の発言:
専用ブラウザからの旧DATへの呼び出しとかの問題の解決とか結構面倒になるかもしれないしね
VIPService(外出先) の発言:
専用ブラウザは気を利かせてうちだけ過去ログサーバーにDAT読みに行ってくれないだろうし
VIPService(外出先) の発言:
そのあたりをどうするか。。。。　どうしようｗｗ
ミーフォ茜 の発言:
つ[Redirect]
つ[mod_rewrite]
VIPService(外出先) の発言:
それやるとね　すんごい重たくなる（希ガスる
VIPService(外出先) の発言:
というか
VIPService(外出先) の発言:
Redirectするとあれ
VIPService(外出先) の発言:
拾ってくれない　たしか
VIPService(外出先) の発言:
だからHTTPDがこっそりと内部的にPHPにリクエスト渡して、d**3からDAT拾ってきてあたかもex14においてあるかのように振舞わなければならない
VIPService(外出先) の発言:
ということでそれが負担にならないか心配なのです。

124 ：荒巻＠中の人 ★ ：2008/09/17(水) 23:47:09.52 ID:???

ミーフォ茜 の発言:
mod_rewriteでPオプションを使えばできそうだけどex14への負荷は取得する分かかりますね
VIPService(外出先) の発言:
readcgiとmreadの変更も必要だし
VIPService(外出先) の発言:
とりあえずはd**3に過去ログを蓄積していく　ってのがやってみようかなーっていうことなので
VIPService(外出先) の発言:
そのあたりをどうやったら一番スマートに出来そうかを考えておいてもらえればなーと　
そんな感じです
VIPService(外出先) の発言:
CRONのほうはDBが膨らんでなんか重たくなってるみたいなので速めに解決しておいてもらえればなーと
VIPService(外出先) の発言:
そのあたりのご連絡っす
ミーフォ茜 の発言:
了解です
リンＰすけ の発言:
アイサー
VIPService(外出先) の発言:
必要な権限とかソースがあれば言って頂ければ随時。
実験用の鯖とかd**3ほしい　っていうときは一台ml115買っておいたので例の場所に設置しておきます
VIPService(外出先) の発言:
ということで。
以上のログを出来杉な方諸々に把握してもらうために掲示板にコピペしておいておｋでしょうか
ミーフォ茜 の発言:
okですー
リンＰすけ の発言:
はいな

125 ：出来杉3.0 ★ ：2008/09/18(木) 15:20:44.51 ID:???

ではとりあえずツッコミをw


> どさくさにまぎれてついでにFTP的なものでDATも転送しておく　→　d**3はDBで過去ログ検索＋DATも保持（HTTPDで公開）

ex14からd**3にDATを転送と言うことですかね？
そうだとしたらHTML化処理中にDATを送ると、HTML化にますます時間がかかっちゃいますね

なので「HTML化のバックグラウンド化」または「HTML化処理ではpingのみを送り、d**3がex14のhttpdか何かに取りにいく」のがいいかと

個人的には後者の方がex14とd**3をトラブル時に切り離しやすく、リカバリもしやすいんじゃないかと思います (実装のしやすさは別として)


> read.cgiのポップアップでレス単位の過去ログをXMLで拾ってこれたりとかー

前から思ってるんだけど、XML使うと転送量増えそうだよね、うん^^;
(まあこれは今すぐ考える必要はないだろうけど)


> だからHTTPDがこっそりと内部的にPHPにリクエスト渡して、d**3からDAT拾ってきてあたかもex14においてあるかのように振舞わなければならない
> ということでそれが負担にならないか心配なのです。

まあphp使うかは別として、なるべくex14に残しておいた方がいいでしょうね

後は前話した過去ログのHTMLとDATの二重保存をやめるかどうするか、やめるとしてHTML化した人や日時をどう保存するかとかも一緒に考えておくと後で面倒なことにならないかも

126 ：ミーフォ茜 ★ [sage]：2008/09/19(金) 00:52:53.12 ID:???

とりあえずphpで動かしてた1000オーバーのSearch & Destroyをはずして
シェルスクリプトとsqlファイルに変えてDB鯖のcronにぶちこんどきました

127 ：萃香＠飲酒係 ★ ：2008/10/09(木) 20:33:54.44 ID:???

>>105と同じ状況になってました
/var/db/mysqlを/usr/db/mysqlにコピってシンボリックリンクを張りました

A雑とA独のテーブルが破損していたため修復しました

128 ：ミーフォ茜 ★ [sage]：2008/10/12(日) 00:09:37.34 ID:???

503の多さをどう修正しよう
検索結果のキャッシュ化でもしましょうかね？

129 ：ミーフォ茜 ★ [sage]：2008/10/12(日) 11:06:05.58 ID:???

DBへの書き込みが2008/10/10(金) 03:52:12.71で止まってるにおい
先日のDB鯖停止と関係ありそうかな

bbs.cgiのほうでDBに処理を投げる前にpingで生存確認するとかはできないんですかね？

130 ：出来杉3.0 ★ [sage]：2008/10/12(日) 13:34:00.11 ID:???

> bbs.cgiのほうでDBに処理を投げる前にpingで生存確認
やってみました(5分ごとに確認、10秒でタイムアウト、cron不使用)
ICMPを使った(いわゆる普通の)pingは使えないみたいなので、MySQLに接続できるか確認しています

131 ：ミーフォ茜 ★ [sage]：2008/10/12(日) 14:01:49.69 ID:???

>>130
把握。socketをオープンするだけかな？
でもタイムアウトを短縮しないと、ブラウザ側がタイムアウト出す予感

132 ：出来杉3.0 ★ [sage]：2008/10/12(日) 15:20:30.10 ID:???

>>131
確かに、タイムアウトを5秒にしてみました
やってることは、DBIでMySQLに接続して、すぐ閉じてます

133 ：ミーフォ茜 ★ [sage]：2008/10/13(月) 00:53:42.80 ID:???

>>132
把握しました。変更おつです。

以下、メモ
・レス番が32767の変なデータが762件くらい　
・すでに削除されたスレッドのゾンビレコードをどうにかする

134 ：Ｐ ★ [sage]：2008/10/13(月) 01:14:28.93 ID:???

あれ、飲んだくれが直すって言ってたんだけど・・・　＞　32767と1
1000行ってるのに消えないレコードはなんなんだろう・・・

135 ：ミーフォ茜 ★ [sage]：2008/10/13(月) 01:20:30.00 ID:???

>>134
1000行かずにばっさり削除されたとか、1000行く間にDBに書き込まれなかったとか、そんな感じかな・・・？よくわからない
判断方法がdat確認くらいしか思いつかないけど処理が重そうな予感

136 ：萃香＠飲酒係 ★ [sage]：2008/10/13(月) 01:38:21.95 ID:???

>レス番が32767
また$nowの扱いがおかしくなってるとかですかねぇ

生きているスレッドかどうかっていう情報がないからＳＱＬじゃできなさそう

とりあえずレコードが1000いってるやつは消してしまうかー

137 ：萃香＠飲酒係 ★ [sage]：2008/10/24(金) 01:58:43.62 ID:???

すでに削除されたスレのレコードで、まだ残っているやつを削除したいと思います
レス番が32767のやつもまだ残ってるんですけど、どうしますかねぇ

138 ：萃香＠飲酒係 ★ ：2008/11/13(木) 04:42:32.52 ID:???

今更ですが>>137終わりました

139 ：出来杉3.0 ★ [sage]：2008/11/13(木) 12:53:01.95 ID:???

乙です乙です

140 ：荒巻＠中の人 ★ [sage]：2008/11/16(日) 21:10:00.83 ID:???

お久しぶりでっす。

MySQLへのコネクションって、コネクションプーリングできないかな。
そのあたりの接続がネックになってbbs.cgiが重くなるんじゃないかなと思うんだけど。

141 ：萃香＠飲酒係 ★ ：2008/11/16(日) 22:28:29.54 ID:???

できるみたいです
ただMySQLは接続が早く、あまり変わらないらしいです
SQLrelayっていうのもあるんですけど、MySQLだとむしろ遅くなるみたいですね

142 ：荒巻＠中の人 ★ [sage]：2008/11/16(日) 22:31:59.53 ID:???

どもです。

そんな変わらないのかー。

んーどこがネックになってるんだろ。
やっぱりSQL鯖との回線間の問題かな。。。

鯖の限界？そんなこと言われてもお金ありません。　　状態だし。。。
んー。。

143 ：ミーフォ茜 ★ [sage]：2008/11/16(日) 23:31:18.97 ID:???

DBへの書き込み作業を非同期にできればなー
bbs.cgiはDBに書くべき情報をファイルにどんどん書き出して別のプログラムがcronで一定時間ごとにその情報ファイルを読んでDBに飛ばすとか

144 ：出来杉3.0 ★ [sage]：2008/11/17(月) 15:56:08.66 ID:???

>>142
DBサーバにMuninノードを入れて、vs302か何かで取ってくるとかやってみたらどうでしょう？

それとX-25E…は高いので、VelociRaptor…も高いので
1プラッタの最大容量のHDDを追加して、外周だけ使うとかはどうでしょう？

>>143
DB登録スクリプトとsubject.txt更新スクリプトを合体させれば行けそうですね

145 ：荒巻＠中の人 ★ [sage]：2008/11/17(月) 23:14:11.74 ID:???

>>144
HDD入れなおしって結構めんどくさくないですか？
多方面にｗｗ
サーバの改築なら、メモリとかって関係してきませんかねー
MySQLってメモリ増えたらキャッシュとかやってくれていい感じに、、、なってくれないかなｗｗ


DBスクとsubejctの合体はいい感じかもです。

それと並行して、そろそろ多鯖化も考えるべきですかねー。。
ex14以外のサブドメインでも走るようにシステムを少しづつ触っていきますか。

146 ：出来杉3.0 ★ [sage]：2008/11/18(火) 12:38:42.18 ID:???

>>145
HDDに関してはDB専用のを追加するということですよ
メモリって…4GBあるんじゃ…
もしも、それだけあってもスワップを使ってるようなら追加をおすすめしますが…

合体と言っても機能の統合はやめといた方が良さげですね
(更新ping送るだけならともかく、他にもいろいろあるとごちゃごちゃしてしまう)
なので合体させた時は2種類のスクリプトが常駐することになります

何度も言いますが、専用エントリーx2よりは専用スタンダードx1をおすすめします^^;
その方がスペックをカスタマイズできますし、スクリプトや管理方法を変えなくて済みますし(このままでいいというわけではないけど)、何より安いですw

147 ：荒巻＠中の人 ★ ：2008/11/18(火) 16:04:40.35 ID:???

>>146
メモリもっと少なかったようなー
しょっちゅうHDDカリカリ言ってるしスワップしてるんじゃないかなーっと。

DB鯖
Mem: 72M Active, 677M Inact, 192M Wired, 35M Cache, 111M Buf, 3928K Free
Swap: 2015M Total, 272K Used, 2015M Free

muninインストールしてみようにもrootのパスを忘れてたというｗｗ


スクリプトの実装のあたりはおまかせしますー


今の鯖はあれです。もうやってないプランの鯖でして。
ものすごーく安いわけです。
実測80Mbpsくらい飛ばしてて六千円台の専用サーバーなんてもうないかなーなんて。

ちょっと今マンションかどっか借りて光の１G引いてみようかと考えてます。

148 ：出来杉3.0 ★ [sage]：2008/11/18(火) 17:13:00.40 ID:???

>>147
買う前に4GB載っけるような事言ってたので…
実際は1GBなんですね
ところで時代は、スワップレスだと思いますw

> rootのパスを忘れてた
(　ﾟДﾟ)ﾎﾟｶｰﾝ
Σ( ﾟДﾟ )なんだってー！！！

スクリプトは…今いろいろあって、簡単なのしかできそうにないです^^;

今のは「さくらの専用サーバ」ですよね、80Mbpsも出るんですか…
光1Gbps把握しますた

149 ：萃香＠飲酒係 ★ ：2008/12/05(金) 12:18:36.46 ID:???

HTML化する時のSQLって、どうなってますかねぇ？
1000行かずにHTML化されたやつのレコードが残ってるくさいです

150 ：出来杉3.0 ★ ：2008/12/05(金) 13:11:52.84 ID:???

>>149
たしか1000までDBに登録されたスレを消すスクリプトを、毎週動かしてるとかだったと思います
だからHTML化されたかどうかは全く関係ないはずです

151 ：萃香＠飲酒係 ★ ：2008/12/05(金) 15:47:40.42 ID:???

なるほど。ありがとうございます。
てっきり削除処理が入ってるものとばかり思ってましたｗｗ
削除処理入れたいですねぇ

152 ：出来杉3.0 ★ ：2008/12/05(金) 16:39:45.79 ID:???

入れるとしたら処理のバックグラウンド化が大前提ですねぇ
なるべく早く開発力を取り戻したいです…
# subject更新スクリプトを見てみたい関係者さんがいましたら手を挙げてみてくださいな、ソース酷く汚いけどw

153 ：荒巻＠中の人 ★ ：2008/12/10(水) 00:47:19.86 ID:???

db12のメモリを４Gに差し替えておきますた。
円高最強。

154 ：!kab- [sage]：2008/12/10(水) 00:49:46.20 ID:61mszfkP

韓国から個人輸入扱いで買うとメモリなんて3000円で4G
22インチワイド、WUXGAモニタは19000円。

いい時代ですなぁ

155 ：萃香＠飲酒係 ★ ：2008/12/10(水) 06:21:44.68 ID:???

削除漏れレコード削除完了

>>152
そんなに発生するわけでもないですし、HTML化スレ見て手動で
ちょこちょこやればいいだけの話なんで、>>151は今は別にいいです

156 ：出来杉3.0 ★ ：2008/12/10(水) 14:16:30.63 ID:???

>>153
ktkr!!
スワップアウトが減るから少しはマシになるかな？
# 恐らくECCじゃないだろうからデータ化けがちょっと気になるけど、サーバ用だし

>>154
メモリは送料と保証考えたら微妙だけど、ディスプレイは安いですねぇ
問題は電圧ですけどw(韓国は基本的に220Vだとか)

>>155
了解でーす

157 ：荒巻＠中の人 ★ ：2008/12/11(木) 04:48:05.37 ID:???

NonECCだね。
まあたぶん大丈夫なんじゃないかな。たぶん。

結局メモリ利用率１G程度で安定中。
HDDカリカリは治ったみたい。
よかったよかた。

158 ：出来杉3.0 ★ ：2008/12/11(木) 12:58:51.53 ID:???

>>157
あっつあっつにならないようにしてくださいね^^;

ところでパーティションってどう切ってるんですか？

159 ：荒巻＠中の人 ★ ：2008/12/12(金) 00:08:53.64 ID:???

>>158

BSDインスコの標準（Aキー叩いて自動でやっちゃう）ですよん。
参考までにdb12のご様子。。

$ df -h
Filesystem Size Used Avail Capacity Mounted on
/dev/ad4s1a 496M 198M 258M 43% /
devfs 1.0K 1.0K 0B 100% /dev
/dev/ad4s1e 496M 6.0K 456M 0% /tmp
/dev/ad4s1f 67G 4.9G 57G 8% /usr
/dev/ad4s1d 1.9G 995M 809M 55% /var

160 ：荒巻＠中の人 ★ ：2008/12/12(金) 00:25:09.39 ID:???

メモリ諸々のご様子

last pid: 56450; load averages: 0.42, 0.29, 0.21 up 2+21:03:18 00:24:35
37 processes: 3 running, 34 sleeping
CPU states: 78.4% user, 0.0% nice, 21.6% system, 0.0% interrupt, 0.0% idle
Mem: 52M Active, 1102M Inact, 345M Wired, 76K Cache, 214M Buf, 2448M Free
Swap: 2015M Total, 2015M Free

PID USERNAME THR PRI NICE SIZE RES STATE TIME WCPU COMMAND
693 mysql 15 96 0 75788K 46032K ucond 891:34 26.46% mysqld


DB鯖はこれですこぶる調子良くなった、って考えてもおｋかな。

161 ：出来杉3.0 ★ ：2008/12/12(金) 17:28:02.91 ID:???

>>159
デフォですか^^;
# とりあえずDB用にはいいとは言えない切り方なのかもしれない？^^;

>>160
CPUやストレージのボトルネックをキャッシュで補ってる感じですね
まあDBは大丈夫として、あとはex14かぁ…

162 ：出来杉3.0 ★ [sage]：2008/12/13(土) 14:06:35.99 ID:???

http://vip2ch.com/mrtg/ex14post.html
2008/12/13 02:30ごろのエラーが174ですね
なんかDBがアレなのかな？
# DBへのpingは5分毎にする仕様

163 ：萃香＠飲酒係 ★ ：2008/12/18(木) 07:04:13.89 ID:???

昨日圧縮された分と、削除漏れレコード削除完了

1000到達しているのに、993までしかレコードがないスレが１つありました
原因と頻度がわかっていないため、削除用のスクリプトを書きつつ
様子を見ようと思います

164 ：出来杉3.0 ★ ：2008/12/19(金) 17:20:52.40 ID:???

>>163
5分毎にpingして、DBが落ちてるorおんもーになってると、次のpingで接続可能と判定されるまで登録されない仕様なのでそれかも

165 ：ミーフォ茜 ★ [sage]：2008/12/19(金) 19:20:46.13 ID:???

DBへ書き込むデータをキューイングすれば（ｒｙ

166 ：萃香＠飲酒係 ★ ：2008/12/19(金) 22:30:53.39 ID:???

SQL文を実行せずにファイル出力して、クーロンで実行するとか・・・

167 ：出来杉3.0 ★ ：2010/01/17(日) 01:37:03.34 ID:???

おんもーな現状と対策の相談をしたいので、DB担当さんを召集したい^^;

168 ：以下、名無しにかわりましてVIPサービスがお送りします [sage]：2010/02/01(月) 16:54:57.10 ID:r969wqwo

でぃーびーふっきゅーのみこみありますか？

169 ：出来杉3.0 ★ ：2010/02/01(月) 18:43:43.79 ID:???

>>168
弄れる人の反応がないのです^^;

170 ：以下、名無しにかわりましてVIPサービスがお送りします [sage]：2010/02/01(月) 19:42:57.66 ID:r969wqwo

把握 どもです><

171 ：出来杉3.0 ★ ：2010/02/04(木) 23:11:08.83 ID:???

ちなみにDBですが「動いてるけど登録数が多くてﾃﾗ重い」そうです^^;

172 ：以下、名無しにかわりましてVIPサービスがお送りします [sage]：2010/02/04(木) 23:32:21.61 ID:jCuSlE2o

夜重かったのはDBの影響？
改善できるまでは時間かかりそうですなあ…

173 ：出来杉3.0 ★ ：2010/02/04(木) 23:57:21.74 ID:???

今はDBに接続するだけでも5秒を超えちゃってるので、切り離してます

174 ：以下、名無しにかわりましてVIPサービスがお送りします [sage]：2010/03/03(水) 17:09:33.28 ID:NotgnUI0

現在も駄目っぽな感じですねー。残念

175 ：あぼーん！ ：あぼーん！

あぼーん！

176 ：あぼーん！ ：あぼーん！

あぼーん！

177 ：あぼーん！ ：あぼーん！

あぼーん！

178 ：荒巻＠変な人 ★ ：2010/12/12(日) 03:35:47.69 ID:???

新規DB13サーバー購入しましたー

FreeBSD8x/i386 db13.vip2ch.com
inet 182.48.53.65 netmask 0xfffffe00 broadcast 182.48.53.255

検索サーバ復活予定。もうしばらくおまちを。

179 ：荒巻＠変な人 ★ ：2010/12/18(土) 09:04:48.80 ID:???

検索サーバ再開しましたー

検索チームの皆さん、復帰作業おつかれさまでしたー。

180 ：荒巻＠管理人 ★ ：2011/01/14(金) 20:51:06.84 ID:???

検索システムのリクエスト数を取り始めました。
http://vip2ch.com/mrtg/detective_search.html

検索プロジェクトのみなさんありがとうです。

181 ：荒巻＠管理人 ★ ：2011/12/03(土) 10:45:21.37 ID:???

メモ

ja-mecab-0.98 >> db13

182 ：荒巻＠管理人 ★ ：2011/12/03(土) 11:33:06.93 ID:???

===> Running ldconfig
/sbin/ldconfig -m /usr/local/lib
===> Registering installation for senna-1.1.4,1
===> SECURITY REPORT:
This port has installed the following files which may act as network
servers and may therefore pose a remote security risk to the system.
/usr/local/lib/libsenna.so.0

If there are vulnerabilities in these programs there may be a security
risk to the system. FreeBSD makes no guarantee about the security of
ports included in the Ports Collection. Please type 'make deinstall'
to deinstall the port if this is a concern.

For more information, and contact details about the security
status of this software, see the following webpage:
http://qwik.jp/senna/
db13#

183 ：荒巻＠管理人 ★ ：2011/12/03(土) 18:15:36.26 ID:???

./configure \
--prefix=/usr/local/mysql \
--localstatedir=/usr/home/db/mysql \
--libexecdir=/usr/local/mysql/bin \
--enable-thread-safe-client \
--enable-local-infile \
--enable-assembler \
--with-pic \
--with-fast-mutexes \
--with-client-ldflags=-static \
--with-mysqld-ldflags=-static \
--with-zlib-dir=bundled \
--with-big-tables \
--with-yassl \
--with-readline \
--with-archive-storage-engine \
--with-blackhole-storage-engine \
--with-csv-storage-engine \
--with-example-storage-engine \
--with-federated-storage-engine \
--with-innodb \
--with-extra-charsets=complex \
--with-charsets=utf8 \
--with-mit-threads=no \
--with-named-thread-libs=-lthr \
--with-senna;

184 ：荒巻＠管理人 ★ ：2011/12/04(日) 03:02:34.13 ID:???

db13# ./mysqld -V
./mysqld Ver 5.0.41-tritonn-1.0.3-log for unknown-freebsd8.1 on i386 (Source distribution)

185 ：荒巻＠管理人 ★ ：2011/12/04(日) 21:18:28.88 ID:???

Senna関係と全文検索関係で参考にしたサイト

MySQL :: senna / index 作成時の注意点 全文検索エンジン senna を導入した際の、index の張り方は少し特殊なので注意が必要。
http://tm.root-n.com/database:mysql:senna:create_fulltext_index

動作確認方法　MySQLバインディングを用いた動作確認例　Senna
http://qwik.jp/senna/check_install.html

ユーザガイド　起動確認　tritonn
http://qwik.jp/tritonn/userguide.html

MySQLで全文検索 - FULLTEXTインデックスの基礎知識
http://www.tatamilab.jp/rnd/archives/000389.html

186 ：荒巻＠管理人 ★ ：2011/12/04(日) 21:47:54.78 ID:???

Tritonn (MySQL+Senna) の join を高速化 全文索引内にプライマリキーを格納

http://labs.cybozu.co.jp/blog/kazuho/archives/2008/02/triton-embed-primary-key.php

187 ：荒巻＠管理人 ★ ：2011/12/04(日) 21:48:52.85 ID:???

>>183
mysql-5.0.41-tritonn-1.0.3.tar.gz

188 ：荒巻＠管理人 ★ ：2011/12/05(月) 07:32:59.41 ID:???

db13# cp /usr/local/mysql/share/mysql/mysql.server /usr/local/etc/rc.d/mysql-server.sh

db13# ./mysql-server.sh
Usage: ./mysql-server.sh {start|stop|restart|reload} [ MySQL server options ]

189 ：荒巻＠管理人 ★ ：2011/12/05(月) 08:22:44.35 ID:???

# The MySQL server
[mysqld]
port = *
socket = *
skip-locking

key_buffer_size = 128M #add bv armk20111205
table_cache=128 #add bv armk20111205
max_allowed_packet = 1M
#table_open_cache = 64
sort_buffer_size = 512K
net_buffer_length = 8K
read_buffer_size = 256K
read_rnd_buffer_size = 512K
myisam_sort_buffer_size = 8M
default-character-set = ujis
#skip-character-set-client-handshake

190 ：ミーフォ茜 ★ [sage]：2011/12/14(水) 05:09:26.71 ID:???

フロントエンドの検索処理の書き直しと表示の微調整を行いました。
以下の妙な点が改善されます。

・ページングが不可解な動作をする
・レスの順番が不可解
・スレの並び順が板ごとに分けられて日付順になっている
・スレ内検索が最大5件しか表示されない
・スレ内検索で名前が表示されない
・スレタイ検索で一部のスレがデータがあるにも関わらず結果に出ない

動作速度とかの変化についてはいまいちわかりません。

191 ：以下、三日土曜東R24bがお送りします ：2011/12/22(木) 08:13:44.29 ID:9x077yJ30

いつもおつかれさまです

192 ：荒巻＠管理人 ★ ：2011/12/24(土) 03:18:09.32 ID:???

#db13.vip2ch.com

/dev/ad0s1d 1.4G 148M 1.2G 11% /var
クリアしました
mysqld tmpディレクトリ変更します

tmpdir = /usr/home/db/my_tmp
// "/etc/my.cnf" 156 lines, 4911 characters

変更完了です
これでtmpが埋まることはなくなるハズで。

193 ：以下、三日土曜東R24bがお送りします [sage]：2011/12/24(土) 03:45:28.57 ID:+N+VqBwQ0

おつです
そして名前欄も毎年ありがとうございます

194 ：以下、名無しにかわりましてVIPサービスがお送りします(チベット自治区) [sage]：2012/03/07(水) 13:54:26.43 ID:XlMVppHTo

いつからかパー速が検索対象外になってませんか？

195 ：以下、名無しにかわりましてVIPサービスがお送りします ：2012/03/07(水) 14:06:10.09 ID:uV86D55Ro

システムがずっと死んでる

196 ：以下、名無しにかわりましてVIPサービスがお送りします(不明なsoftbank) ：2012/03/10(土) 15:50:29.47 ID:ae26CWa30

復活ﾏﾀﾞｰ?

197 ：以下、名無しにかわりましてVIPサービスがお送りします ：2012/03/11(日) 23:49:49.95 ID:b5EsaRdQ0

検索機能が全く使えませんね・・・

198 ：以下、名無しにかわりましてVIPサービスがお送りします ：2012/04/30(月) 11:35:52.80 ID:ktBcN1EU0

ID検索が使えないんだけど

199 ：以下、名無しにかわりましてVIPサービスがお送りします(チベット自治区) ：2012/05/23(水) 00:58:56.01 ID:xKIi/R510

つーか使えたためしがない

200 ：以下、名無しにかわりましてVIPサービスがお送りします(チベット自治区) [sage]：2012/05/23(水) 09:33:54.99 ID:fb0zy4AXo

随分前だけど普通に使えてた