このスレッドはVIPサービス運用情報の過去ログ倉庫に格納されています。もう書き込みできません。。
もし、このスレッドをネット上以外の媒体で転載や引用をされる場合は管理人までご一報ください。
またネット上での引用掲載、またはまとめサイトなどでの紹介をされる際はこのページへのリンクを必ず掲載してください。

■ 【祝】 サーバー購入のお知らせ - VIPサービス運用情報 過去ログ倉庫

Check このエントリーをはてなブックマークに追加 Tweet

1 :荒巻@中の人 :2008/03/07(金) 15:19:12.90 ID:gNtijQE0
今回、ついに2代目の専用サーバーを購入しました!

新しいサーバーへは全ての板が移転する予定です。
詳しい今後の予定については>>2以降にずらずらと。
【 このスレッドはHTML化(過去ログ化)されています 】

ごめんなさい、このVIPサービス運用情報板のスレッドは1000に到達したか、若しくは著しい過疎のため、お役を果たし過去ログ倉庫へご隠居されました。
このスレッドを閲覧することはできますが書き込むことはできませんです。
もし、探しているスレッドがパートスレッドの場合は次スレが建ってるかもしれないですよ。

どけ、馬鹿ども @ 2025/04/08(火) 17:50:19.05 ID:ZpOcDfR4O
  http://ex14.vip2ch.com/test/read.cgi/aa/1744102218/

=^・ω・^= ぬこ神社 Part127《ぬこみくじ・猫育成ゲーム》 @ 2025/04/08(火) 15:05:35.64 ID:ORnLfiWxO
  http://ex14.vip2ch.com/test/read.cgi/part4vip/1744092335/

”巨大”とは感動である @ 2025/04/08(火) 01:19:24.07 ID:lXIr96Fs0
  http://ex14.vip2ch.com/test/read.cgi/aaorz/1744042763/

イキスギ龍戦隊 トコロテンリュウチャーン @ 2025/04/07(月) 23:14:15.12 ID:Wirs8NLuo
  http://ex14.vip2ch.com/test/read.cgi/aaorz/1744035254/

ブラックホールを利用したスイングバイですか @ 2025/04/07(月) 22:24:09.84 ID:cNeF3kS2o
  http://ex14.vip2ch.com/test/read.cgi/aaorz/1744032249/

>>2->>1000←こいつらバカ @ 2025/04/07(月) 17:56:14.63 ID:EPGMr7I0O
  http://ex14.vip2ch.com/test/read.cgi/aa/1744016174/

存在しないA雑の1コマbot @ 2025/04/07(月) 15:38:34.09 ID:ftcC9QE7o
  http://ex14.vip2ch.com/test/read.cgi/aaorz/1744007913/

【安価】タイトルからあらすじを想像して架空の1クールアニメを作る 2025春 @ 2025/04/06(日) 18:59:59.85 ID:j7qPgZ470
  http://ex14.vip2ch.com/test/read.cgi/news4ssnip/1743933599/

2 :出来杉3.0 :2008/03/07(金) 15:25:38.95 ID:???
おめでたいので2げっと!w

そして最近開発止まってると言うお知らせw
3 :荒巻@中の人 :2008/03/07(金) 15:27:25.15 ID:???
まずは現在の鯖の状態から。
現在は一台の専用サーバーに2つのアップローダーと掲示板の板全てを格納しています。

開設当時からの書き込み推移です。
http://vip2ch.com/mrtg/ex14post.html

最近になって書き込み数の増加は一旦収束に向かっているようですが、全体的なPVはものすごい勢いで増えていたります。
つまり書き込みよりもROMが増えていると。

最近の深夜帯のBBS硬直現象もその関係で発生しているものと思われます。
サーバのLA(ロードアベレージ)も15を超えてきて、そろそろ限界だと。

そこで専用サーバをもう一台増設します。
現在のサーバーはバックアップと過去ログ収納用、そしてアップローダーがそのまま居座ります。
新しいサーバーはApacheやらなんやらの準備が完了し、慣らし運転が終了後、早朝に一気に移行します。
その間掲示板は完全に停止します。

サーバー移転については現在いろいろと準備中ですが、URLが変わるか、そのままかは今のところわかりません。
移転をする日時についてもサーバー業者が5〜10営業日とあいまいな準備期間を提示しているためにいまのところわからないです。

検索サービスについては移転後は一時的に停止します。
今後書き込みレスはDB(MySQL)でも保管し、検索や過去ログはDBを使って読み出す予定です。

詳しい仕様はまだ考えてないけど。


4 :荒巻@中の人 :2008/03/07(金) 15:28:47.41 ID:???
>>2
お久しぶりですー

DB使った検索プログラムって組めたりしますー?
5 :出来杉3.0 :2008/03/07(金) 15:50:36.04 ID:???
>>4


DBは使ったことないのでよくわからないと言う罠w

検索については、検索ごとにIDを発行してsubjectや検索済み部分のキャッシュを取って同じところを何度も検索しないようにすればとりあえずの対策にはなるかなーと思ってます
(この方法だと今あるものを(検索ページURL以外)変えずに導入できる)
6 :荒巻@中の人 :2008/03/07(金) 15:58:45.98 ID:???
>>5

んー
そういうレベルではない検索リスエスト数だったりして。どのみちDATをずらーっと全部検索していくっていうのはさせられないだろうし。
DB化しておくとモバイルビュアーのほうで便利かなとおもってたりもします。

Perlでそういうのって難しいですか。。。
今思い描いているものが出来ればいろいろと面白いことも出来そうなんです。
7 :荒巻@中の人 :2008/03/07(金) 16:02:48.64 ID:???
2ちゃんねる検索エンジンはこれ使ってるのかな。

Senna 組み込み型全文検索エンジン
http://qwik.jp/senna/FrontPageJ.html

>Namazuみたいにサーバ内のコンテンツを検索できるシステムはついているの?
>まだ作っていないです。Perlであれば、File-ExtractモジュールとTie-Sennaモジュールを使って実装できるかもしれません。この場合はMySQLは不要です。

このあたりはまったくわからないけど、こういうのうまく使うと検索楽になったりするのかな。
勉強不足でわかんねww


8 :出来杉3.0 :2008/03/07(金) 16:47:02.90 ID:???
>>6-7
MySQLで検索するにしろ今の状態で検索するにしろSennaでも使わないと解決にならんと思うのです
(ブラジルとニワンゴの中の人もMySQLの機能で日本語を検索すると遅くて使いものにならないとか)

問題はSennaの検索DBが検索したいものの1.3倍のサイズになると言うことで…
9 :荒巻@中の人 :2008/03/07(金) 17:07:00.86 ID:???
>>8
ライブスレッドのみを対象としての検索なら可能かな。。
鯖のroot権限をお渡しするので、仕様を含めた検索システムの構築とかやっていただけないっすかね。
最終的にそのDBで携帯ビューアーの閲覧を行ったり、DATに記録できない情報を紐つけたりなんてできれば理想なんですけど。

#DBは触ったことがないので無茶言ってるかも。
10 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/03/07(金) 17:52:45.48 ID:Xbh8Feo0
検索システムはこの際、もう廃止で良いんじゃないでしょうか?
11 :荒巻@中の人 :2008/03/07(金) 18:38:28.62 ID:???
>>10
廃止したいところなんですが、結構な需要があるんです。
12 :出来杉3.0 :2008/03/07(金) 19:12:54.95 ID:???
>>9
もしかしてDB知らずナカーマ?w

補助情報ならDBがいい気がしますが、DAT本体は容量的にアレかもしれません
(やるとしてもDB専用サーバを使わないなら、やりやすいところでエクスポートした方がいいのかも)

システム構築ですが、今はあまり弄れないかもしれません
でも自分でサーバに実装できると出来杉君の本来の性能が出る可能性もありますw
13 :荒巻@中の人 :2008/03/07(金) 19:41:18.40 ID:???
>>12
今のスクリプトとかデータの置き方とかがカオス杉なので、新鯖に移行するのをきっかけにやれることは全てやっておきたいかなーとww
DATの全文検索をどうするかと増え続ける携帯ユーザーのmreadの負担をどう裁くかが今の最大の課題かなー

14 :出来杉3.0 :2008/03/08(土) 13:29:14.32 ID:???
>>13
とりあえずIPアドレスやら書いてる方の過去ログの置き場はDATみたいにディレクトリ別けた方がいいかもね
本当に補助情報ならDBでいいと思うけど、削除した時の証拠用を兼ねてると容量的にDBが恐ろしいかも

検索の件は、ライブスレッドはSennaか何かを使って、過去ログはGoogle先生か何かに投げるといいかも
(過去ログなら1日何度もクロールしなくていいし、HTMLなのでl50とかがなくて同じのが何度も出ない)

後はmread大改造か…
15 :荒巻@中の人 :2008/03/08(土) 13:45:49.81 ID:???
>>14
セキュリティ上、公開DATと同じ場所に置くわけにも行かないし。
今の状態は相当前に急ぎで継ぎ足したものなので、出来杉さんの提案どおり、仕様を考え直すべきだろうね。
補助情報は別にDBでやってみる価値はあるかも。そのあたりも後にいじれるような状態にしておこう。

過去ログは今の状態の仕様だとGoogle先生がなかなら拾ってくれないです。
HTML化をやめて、DATをそのまま保管してCGIで整形して、Googleさんがわかりやすいような落ち方に直さないと。

検索はやっぱりSennaかー。 使い方がさっぱりわからないww
検索の件は仕様を考えておいていただけますか?
機能は今までの機能+なにかできそうなおもしろいことがあれば。 のような感じで。
言語もFreeBSD6.2REで走るものなら、出来杉さんが使いやすいもので。

mreadも、いっそ別鯖で走らせるというのも考えないと負荷的にまずいかもですね。
bbs.cgiがモバイル用鯖にデーターを送信、ようするにモバイル用に別鯖にDATをミラーしておくとか。

16 :出来杉3.0 :2008/03/08(土) 17:30:56.69 ID:???
>>15
とりあえず公開しないログの保管方法の案(超々仮)
・今のと同じだけど、ディレクトリだけは過去ログみたいに別ける(手軽、ただしinode容量に少し注意)
・MySQLか何かに突っ込む、ただし本文は一部のみで削除するものは専用DBにぶっこむ
(定期的にエクスポートしないとすんごい重くなると思われる
でもエクスポートするなら今やってる方法でinodeに注意しながらたまにCDかなんかに保管する方が楽
だって誰もSQLなんてわからないのだからw)

> DATをそのまま保管してCGIで整形
するのは容量が減るし、過去ログ見る人はそんなに居ないだろうからディスク節約にもなると思ってます
Googlebotが拾ってくれないのは、ここをこのくらいのペースで見てちょと言うのをアピールするとだいぶ違う気がします
(サイトマップ作成、ウェブマスターツールを活用など)

Sennaはインストールまではしたことがあったりします
使うのは面倒なのでやってなかったけどw、いくらか調べたりはしてました
検索の件は場合によってはサーバ受渡し時にはもうできてるかもw(PerlかRubyで作る予定です)

mreadは、もうべっかんこか何かにまかせるのも手だと思いますが、
サーバ(があれば)切り離して自前のもいいと思ってます、当然キャッシュはして
17 :天才 :2008/03/08(土) 22:42:19.58 ID:I.SAqNc0
外部ちゃんねるを裏切った出来杉さんじゃないですか^^;
18 :荒巻@中の人 :2008/03/09(日) 11:27:19.67 ID:???
>>16
管理はディレクトリ構成変える、くらいになるのかな。
MySQLだと本文含めるとやっぱマズいかー。
admin.cgi関係が管理用ログの存在を無視して作られているので、そのアタリの修正もしなきゃかも。
新規に板作ったときに過去ログのフォルダを自動で作らなかったような、そんな仕様だった気がします。

過去ログに関しては今後DAT保存でHTMLは作らないと、ただし現仕様とDATを保存していない旧仕様のことも頭に入れないとだめなので。
subpaste.plの仕様変更でそのあたりは対応できそうですねー。

sennaに関しては触ったことも仕様もまだ不明なのでww、そのあたりは完全におまかせします。
言語はPerlかRubyだとPerlのほうが私も少しは理解できるので、ありがたかったりします。

mread関係は廃止するわけにはいかないです。。
携帯広告が掲示板のサーバ代金をほぼカバーしている等様々な問題があったりするので。
19 :出来杉3.0 :2008/03/09(日) 15:04:19.72 ID:???
>>18
管理用ログ
・(ファイルシステムがアレになった時に)切り分けやすいように少しディレクトリを整理して
・管理CGIが自動でディレクトリを作ってくれるようにする
まあこんなかんじかしら?

過去ログ
古い仕様のはここに残しておくと>>3に書いてある気がw
過去ログ化スクリプトで単にHTML化しないようにして(つまり低機能化w)
過去ログURLは変えずにmod_rewriteで過去ログ表示用CGIに投げるというのがシンプルでいいかと

じゃあ検索はPerlにしときますね
今のところbbs.cgi他から更新pingを受け取るとそのDATをチェックしにいくのを考えてます

mreadの件、把握すたw
20 :荒巻@中の人 :2008/03/09(日) 15:45:23.17 ID:???
>>19
そんなかんじですねー

>>3の過去ログの話は将来的に過去ログで鯖が埋まったときに、
現行のこの鯖にFTPなりで移動させて保管しようかなーなんて考えてる将来像だったりします。

過去ログCGIはHTML吐かなくさせて、あとはread.cgiとmread.cgiの仕様変更で対応できるかな。

検索はPerlでお願いしますー。

あと、bbs.cgiのソースを出しておきます。
リアルタイムで今走ってるソースが見れるはずです。
パスはトリキーで。
http://ex14.vip2ch.com/test/tools/bbs_s.php
21 :出来杉3.0 :2008/03/09(日) 19:11:38.41 ID:???
>>20
了解、予備ですね
過去ログは今のはHTMLを消せばいいので、古いのは数が少なければ変換しちゃえばいいと思います(そのうちできそうか見ておきます)

read,mreadは作りなおす方向で、まあ時間掛かりそうなら仮で仕様変更にしておきます

bbs.cgiのソース見れました、必要なときにまた見ます
22 :荒巻@中の人 :2008/03/09(日) 19:34:53.61 ID:???
>>21
変換という手もあるのか。

一応過去との互換を考えて仕様を考えてみました。

http://ex14.vip2ch.com/hoge/kako/0000/00000/0000000000.html
という形式で呼び出された場合、>>19の通りmod_rewriteでread.cgiなりそのほかのスクリプトなりの動的スクリプトに回す。
そのスクリプトがDATが存在するかどうかを確認して存在するなら変換して表示。
ないならHTMLを探しに行ってあったらファイルを読み込んでそのまま吐き出す。

こんな仕様でどうでしょうか。
鯖移行後のログはread.cgiが直接過去ログの存在を確認して落とされたDATを読むと。

あとは過去ログ移行時にDATの最後にDAT形式を崩さないようにレスのような形でHTML化した人や時刻を記録しておければなーと。
それを読んでread.cgiがスレの頭に情報を表示するようにして。

mreadはもう別にmbbs.vip2ch.comのような形で独立させることを検討しています。
開発時に讃岐メニューやorzのような利用方法も想定して。
複数サーバーが出来た場合やここ以外の外部板も読めるようになるといいなーという願いもこめてww

23 :出来杉3.0 :2008/03/10(月) 19:07:11.52 ID:???
>>22
>HTML化した人や時刻
('A`)ア…
と思ったけど最終レスとして付けておけば専用ブラウザでも見れるからいいかもしれませんねw

まあ、すでに"現行仕様で"HTML化したものを変換するかどうかは様子を見ながら後でゆっくり考えますか

mread切り離しの件も今やる必要はないのでとりあえず後にした方がよさそうですね
24 :荒巻@中の人 :2008/03/13(木) 16:19:28.86 ID:???
新鯖届いたーーー

早速のメモ

FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 6.2-RELEASE-p11 #0: Wed Feb 13 06:44:57 UTC 2008
ACPI APIC Table: <Nvidia ASUSACPI>
Timecounter "i8254" frequency 1193182 Hz quality 0
CPU: AMD Sempron(tm) Processor 2800+ (1603.36-MHz 686-class CPU)
Origin = "AuthenticAMD" Id = 0x40ff2 Stepping = 2
Features=0x78bfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,MMX,FXSR,SSE,SSE2>
Features2=0x2001<SSE3,CX16>
AMD Features=0xea500800<SYSCALL,NX,MMX+,FFXSR,RDTSCP,LM,3DNow+,3DNow>
AMD Features2=0x19<LAHF,<b3>,CR8>
real memory = 518979584 (494 MB)
avail memory = 498057216 (474 MB)

25 :荒巻@中の人 :2008/03/13(木) 16:20:34.33 ID:???
brgphy0: 10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, 1000baseTX, 1000baseTX-FDX, auto
www# df -h
Filesystem Size Used Avail Capacity Mounted on
/dev/ad4s1a 989M 36M 874M 4% /
devfs 1.0K 1.0K 0B 100% /dev
/dev/ad4s1f 171G 46K 157G 0% /home
/dev/ad4s1d 3.9G 551M 3.0G 15% /usr
/dev/ad4s1e 3.9G 26M 3.5G 1% /var


おお、180G積んでるのかな。
前が80Gだったので当たりか!
26 :荒巻@中の人 :2008/03/13(木) 21:22:33.81 ID:???
/usr/ports 存在せず。

cvsup存在せず。

ということでcvsupをBSDサイトよりpkg_add。

現在↓中。
cvsup -g -L 2 -h cvsup.jp.FreeBSD.org -z /usr/share/examples/cvsup/ports-supfile


27 :荒巻@中の人 :2008/03/13(木) 21:52:22.07 ID:???
http://vs302.vip2ch.com/

よし、ApacheとPHPインスコ完了
28 :荒巻@中の人 :2008/03/13(木) 23:39:12.46 ID:???
んーWWWデータ置くのどこにしよう。。
とりあえず
/home/htdocs になってるなー。
そのまんまで以下にVhostsのディレクトリ並べるってことでいいかな。。
29 :荒巻@中の人 :2008/03/14(金) 00:52:42.77 ID:???
めもー
#! /bin/sh

# invoked from /etc/crontab

compress_day=3 # logfile which created $compress_day ago is compressed.
expire_day=100 # logfile which created $expire_day ago is deleted.

logfiledir=`dirname $0`
compress_date=`date -v "-${compress_day}d" +%Y%m%d`
expire_date=`date -v "-${expire_day}d" +%Y%m%d`

for prefix in access_log error_log; do
# expire
rm -f "$logfiledir/$prefix.$expire_date.gz"
# compress
test -r "$logfiledir/$prefix.$compress_date" &&
gzip "$logfiledir/$prefix.$compress_date"
done

30 :荒巻@中の人 :2008/03/14(金) 02:16:38.23 ID:???
とりあえず仮設置完了。
最低限の動作確認。


http://vs302.vip2ch.com/testbbs/zikken/index.html
朝まで暇な人は存分にいたぶってあげて下さい。
31 :荒巻@中の人 :2008/03/14(金) 13:28:13.04 ID:???
BBSログ全て移行開始。
終わるのは夜になるかな。
32 :荒巻@中の人 :2008/03/15(土) 13:06:20.97 ID:???
差分取得完了

Muninインスコ完了

http://vs302.vip2ch.com/munin/vip2ch.com/vs302.vip2ch.com.html
33 :荒巻@中の人 :2008/03/15(土) 13:13:42.32 ID:???
eAcceleratorインスコ完了


eAccelerator support enabled
Version 0.9.5.2
Caching Enabled true
Optimizer Enabled true
Memory Size 33,554,396 Bytes
Memory Available 33,549,832 Bytes
Memory Allocated 4,564 Bytes
Cached Scripts 1
Removed Scripts 0
Cached Keys 0
34 :荒巻@中の人 :2008/03/15(土) 13:18:36.07 ID:???
再同期完了

sent 1620944 bytes received 598174 bytes 18726.73 bytes/sec
total size is 20458538238 speedup is 9219.22
vs301#
35 :荒巻@中の人 :2008/03/15(土) 13:26:00.89 ID:???
移行準備完了!
10分にbbs.cgi止めます。
36 :荒巻@中の人 :2008/03/15(土) 13:26:12.93 ID:???
お、10分じゃなかった
13時30分。
37 :荒巻@中の人 :2008/03/15(土) 13:47:43.32 ID:???
完了!
今から24時間は書き込める人と書き込めない人が混在することになります。

書けない人は回線を繋ぎなおしたり、ブラウザを再起動させてみてねん
38 :あなたの回線はvs302鯖に接続されてるですよ(新鯖) :2008/03/15(土) 13:50:08.13 ID:4Ad5K6g0
39 :あなたの回線はvs302鯖に接続されてるですよ(新鯖) [sage]:2008/03/15(土) 13:51:09.57 ID:/gj.cMQo
乙!
40 :あなたの回線はvs302鯖に接続されてるですよ(新鯖) [sage]:2008/03/15(土) 13:51:42.16 ID:ecSW2lIo
こっちでも乙
41 :あなたの回線はvs302鯖に接続されてるですよ(新鯖) [sage]:2008/03/15(土) 13:56:36.23 ID:.whDXREo
こっちでも乙!
42 :荒巻@中の人 :2008/03/15(土) 13:57:36.97 ID:???
http://vs302.vip2ch.com/munin/vip2ch.com/vs302.vip2ch.com.html

おおおお、グラフがピクピク動いてきたww
43 :あなたの回線はvs302鯖に接続されてるですよ(新鯖) [sage]:2008/03/15(土) 13:58:04.72 ID:aZNLJOko
乙でし!
44 :出来杉3.0 :2008/03/15(土) 14:16:42.89 ID:???
ex14.vip2ch.com. 70 IN A 219.94.174.221
来てます@DION軍改めau one net軍
45 :荒巻@中の人 :2008/03/15(土) 14:26:45.93 ID:???
>>44
どもー

検索のあたりできましたかー?
46 :出来杉3.0 :2008/03/15(土) 14:57:42.22 ID:???
>>45
PCを掃除してましたw

これからごにょごにょしようかと

過去ログはとりあえず検索の後でいいんですかね?
まあどれも後付けしやすいようにするので今すぐでなくても問題ないと思いますが
47 :荒巻@中の人 :2008/03/15(土) 15:05:30.69 ID:???
>>46
検索による負担が一番マズいのでそのあたりをまずどうにかしないと。
48 :出来杉3.0 :2008/03/15(土) 15:10:03.03 ID:???
>>47
了解
49 :あなたの回線はvs302鯖に接続されてるですよ(新鯖) [sage]:2008/03/15(土) 15:36:12.79 ID:peAa7jIo
神鯖おめでとー
50 :あなたの回線はvs302鯖に接続されてるですよ(新鯖) :2008/03/15(土) 18:02:36.22 ID:L9jLbEA0
新鯖ktkr
51 :出来杉3.0 :2008/03/15(土) 19:19:47.72 ID:???
Senna検索システム開発日記w - 1日目
mecab,ipadicをyumリポジトリから、Sennaをソースアーカイブから、Perlバインディングをsvnからインスコ
しかしPerlバインディングからlibsenna.soを読めない
原因は調査中
52 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/03/17(月) 13:16:34.21 ID:ifgts0kP
相変わらず新鯖でも最大LAが15超えてる件

というかなぜAMD Sempron 2800+
LA問題を解決したいなら、もっといいCPUのPCを調達すべきではないでしょうか
53 :荒巻@中の人 :2008/03/17(月) 13:28:06.96 ID:???
>>52
お金がない。
というよりさくらの専用サーバーはスペックを変えられないのだ。
LAが高いのは検索システムをフルで許可しているから。
54 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/03/17(月) 14:33:40.13 ID:ifgts0kP
ああ、鯖は自分で用意して目の前にある訳じゃないのか
それはすまんかった
55 :出来杉3.0 :2008/03/17(月) 18:33:37.94 ID:???
Senna検索システム開発日記w - 2日目(昨日)
どうもPerlバインディングがアレなので、Rubyバインディングを使ってみた
libsenna.soが読めなかった
引き続き調査中w
56 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/03/17(月) 19:54:15.44 ID:dAY5iTko
--prefix=/usr
57 :出来杉3.0 :2008/03/20(木) 18:22:36.41 ID:???
>>56
どもども
--prefix=/usr/localでやってたんだけど、なぜか/usrにしたらうまくいったよ
58 :出来杉3.0 :2008/03/20(木) 18:51:09.50 ID:???
Senna検索システム開発日記w - 3日目
とりあえず作る準備はできたかしら?
59 :出来杉3.0 :2008/03/28(金) 19:03:42.17 ID:???
Senna検索システム開発日記w - 4日目

インデックス作成スクリプト=Perlで作れそう
検索CGI=今のPerl用Sennaモジュールじゃ無理ぽ

検索CGIはRubyかphpで作ろうそうしよう…
60 :名無し様からの書き込みです :2008/03/31(月) 13:19:28.05 ID:HCvlLeY0
とりあえず
建美ルートの公開版での誤字
「雰囲気」はふいんきではなく
「ふんいき」です
それと
早く製品版出してくれ〜
61 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/03/31(月) 14:39:41.55 ID:M6wdIT6P
どこの誤爆だよww
62 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/04/02(水) 01:27:48.73 ID:P4AXY/YP
22時〜翌日2時はBBS検索システムを利用不可能にする
ってのはどうでしょうか

現状で「重すぎ」の回避には一番いい手段だと思うのですが。
63 :荒巻@中の人 :2008/04/15(火) 20:25:12.52 ID:???
>>62
まだ現在も重たいでしょうか。。
64 :出来杉3.0 :2008/05/05(月) 17:26:54.22 ID:???
とりあえず>>59からどうなったか報告

・4月の始め、メインPCのOS更新のためクリーンインストール
・普段は3日もあればほぼ設定は終わってるが、今回は非常に無気力なため一部を設定して残りは放置中
・4月の下旬?、Web開発環境をXenで再構築を試みるが、インストーラー起動せず
・今XenのDomain-0と同じOSをDomain-Uにして再試行するも、インストール中にフリーズ
・風邪ひいた

Xenの使用はとりあえず諦め、VMwareに戻るか、VPSを使わずにやる予定
65 :荒巻@中の人 :2008/05/07(水) 00:37:18.51 ID:???
>>64
作業、報告乙です。
私も今こっちのほうになかなか手が出す時間が無くて申し訳ありません。

ex14のroot、必要でしょうか?
66 :出来杉3.0 :2008/05/07(水) 18:46:59.87 ID:???
>>65
こちらこそ乙です

root垢ですが、荒巻氏の方でSennaと各種バインディング(Perl、Ruby、phpなど)のインストールをやれるなら特に必要ないです

ところで非漢字スパムを弾くスクリプトがあるんですけど、要ります?
67 :荒巻@中の人 :2008/05/10(土) 20:19:52.62 ID:???
Senna一応入れてみました
これでいいのかな・・

vs302# make install
===> Installing for senna-1.0.9,1
===> senna-1.0.9,1 depends on shared library: mecab - found
===> Generating temporary packing list
===> Checking if textproc/senna already installed
Making install in lib
gmake[1]: Entering directory `/usr/ports/textproc/senna/work/senna-1.0.9/lib'
gmake[2]: Entering directory `/usr/ports/textproc/senna/work/senna-1.0.9/lib'
test -z "/usr/local/lib" || /usr/ports/textproc/senna/work/senna-1.0.9/install-sh -d "/usr/local/lib"
/bin/sh ../libtool --mode=install /usr/bin/install -c -o root -g wheel 'libsenna.la' '/usr/local/lib/libsenna.la'
/usr/bin/install -c -o root -g wheel .libs/libsenna.so.0 /usr/local/lib/libsenna.so.0
(cd /usr/local/lib && { ln -s -f libsenna.so.0 libsenna.so || { rm -f libsenna.so && ln -s libsenna.so.0 libsenna.so; }; })
(cd /usr/local/lib && { ln -s -f libsenna.so.0 libsenna.so || { rm -f libsenna.so && ln -s libsenna.so.0 libsenna.so; }; })
/usr/bin/install -c -o root -g wheel .libs/libsenna.lai /usr/local/lib/libsenna.la
/usr/bin/install -c -o root -g wheel .libs/libsenna.a /usr/local/lib/libsenna.a
chmod 644 /usr/local/lib/libsenna.a
ranlib /usr/local/lib/libsenna.a
68 :荒巻@中の人 :2008/05/10(土) 20:20:22.80 ID:???
----------------------------------------------------------------------
Libraries have been installed in:
/usr/local/lib

If you ever happen to want to link against installed libraries
in a given directory, LIBDIR, you must either use libtool, and
specify the full pathname of the library, or use the `-LLIBDIR'
flag during linking and do at least one of the following:
- add LIBDIR to the `LD_LIBRARY_PATH' environment variable
during execution
- add LIBDIR to the `LD_RUN_PATH' environment variable
during linking
- use the `-Wl,--rpath -Wl,LIBDIR' linker flag

See any operating system documentation about shared libraries for
more information, such as the ld(1) and ld.so(8) manual pages.
69 :荒巻@中の人 :2008/05/10(土) 20:20:40.37 ID:???
----------------------------------------------------------------------
gmake[2]: Nothing to be done for `install-data-am'.
gmake[2]: Leaving directory `/usr/ports/textproc/senna/work/senna-1.0.9/lib'
gmake[1]: Leaving directory `/usr/ports/textproc/senna/work/senna-1.0.9/lib'
Making install in src
gmake[1]: Entering directory `/usr/ports/textproc/senna/work/senna-1.0.9/src'
gmake[2]: Entering directory `/usr/ports/textproc/senna/work/senna-1.0.9/src'
test -z "/usr/local/bin" || /usr/ports/textproc/senna/work/senna-1.0.9/install-sh -d "/usr/local/bin"
/bin/sh ../libtool --mode=install install -s -o root -g wheel -m 555 'senna' '/usr/local/bin/senna'
install -o root -g wheel -m 555 -s .libs/senna /usr/local/bin/senna
/bin/sh ../libtool --mode=install install -s -o root -g wheel -m 555 'sennachk' '/usr/local/bin/sennachk'
install -o root -g wheel -m 555 -s .libs/sennachk /usr/local/bin/sennachk

70 :荒巻@中の人 :2008/05/10(土) 20:20:46.85 ID:???
gmake[2]: Nothing to be done for `install-data-am'.
gmake[2]: Leaving directory `/usr/ports/textproc/senna/work/senna-1.0.9/src'
gmake[1]: Leaving directory `/usr/ports/textproc/senna/work/senna-1.0.9/src'
Making install in test
gmake[1]: Entering directory `/usr/ports/textproc/senna/work/senna-1.0.9/test'
gmake[2]: Entering directory `/usr/ports/textproc/senna/work/senna-1.0.9/test'
gmake[2]: Nothing to be done for `install-exec-am'.
gmake[2]: Nothing to be done for `install-data-am'.
gmake[2]: Leaving directory `/usr/ports/textproc/senna/work/senna-1.0.9/test'
gmake[1]: Leaving directory `/usr/ports/textproc/senna/work/senna-1.0.9/test'
gmake[1]: Entering directory `/usr/ports/textproc/senna/work/senna-1.0.9'
gmake[2]: Entering directory `/usr/ports/textproc/senna/work/senna-1.0.9'
71 :荒巻@中の人 :2008/05/10(土) 20:20:48.44 ID:???
test -z "/usr/local/bin" || /usr/ports/textproc/senna/work/senna-1.0.9/install-sh -d "/usr/local/bin"
install -o root -g wheel -m 555 'senna-cfg' '/usr/local/bin/senna-cfg'
test -z "/usr/local/include/senna" || /usr/ports/textproc/senna/work/senna-1.0.9/install-sh -d "/usr/local/include/senna"
install -o root -g wheel -m 444 'senna.h' '/usr/local/include/senna/senna.h'
gmake[2]: Leaving directory `/usr/ports/textproc/senna/work/senna-1.0.9'
gmake[1]: Leaving directory `/usr/ports/textproc/senna/work/senna-1.0.9'
===> Running ldconfig
/sbin/ldconfig -m /usr/local/lib
===> Registering installation for senna-1.0.9,1
===> SECURITY REPORT:
This port has installed the following files which may act as network
servers and may therefore pose a remote security risk to the system.
/usr/local/lib/libsenna.so.0

If there are vulnerabilities in these programs there may be a security
risk to the system. FreeBSD makes no guarantee about the security of
ports included in the Ports Collection. Please type 'make deinstall'
to deinstall the port if this is a concern.

For more information, and contact details about the security
status of this software, see the following webpage:
http://qwik.jp/senna/
72 :荒巻@中の人 :2008/05/10(土) 20:22:18.44 ID:???
あとはどの言語でやるか、かー


スパム殺しは今のところBBQ復活で対処しました。
いつもほんとに助かります。
73 :出来杉3.0 :2008/05/11(日) 12:26:14.16 ID:???
たぶんおkだと思います

あとはバインディングですね


BBQが全然効いてない?ので秘密兵器送りました
74 :荒巻@中の人 :2008/05/29(木) 12:27:51.88 ID:???
>>73
返信遅くなりました;

bbs.cgiに実装しました。
スパムっぽい書き込みははじけることははじけるのですが、500を引っ張ってくるみたいです。
あとトリップも引っかかる・・・
どうしてだろう。
75 :出来杉3.0 [sage]:2008/05/29(木) 17:47:26.82 ID:???
ちょっと500が出まくるので細かく書きます><
76 :以下、名無しにかわりましてVIPサービスがお送りします :2008/05/29(木) 17:48:05.10 ID:bV8tGlMo
Sumomo Candy: 投稿フォームのエラー解消
http://epi.fm.senshu-u.ac.jp/~ne140065/archives/2006/04/post_156.html
77 :出来杉3.0 [sage]:2008/05/29(木) 17:49:07.31 ID:???
>>76を試してみて
78 :以下、名無しにかわりましてVIPサービスがお送りします [Nitro]:2008/05/29(木) 22:06:14.88 ID:bV8tGlM0
またスパムが、しかも書き込めないはずの…
Linuxで開発して、FreeBSDで使ってるからだめなのかしら?
あるいはEncode::Guessが機能してないか…
79 :荒巻@中の人 :2008/05/29(木) 22:10:45.14 ID:???
vs302# enc2xs -C
Checking /usr/local/lib/perl5/site_perl/5.8.8/mach/Encode...
require Encode/GSM0338.pm;
require Encode/Guess.pm;
require Encode/Encoder.pm;
require Encode/CJKConstants.pm;
require Encode/Byte.pm;
require Encode/CN.pm;
require Encode/EBCDIC.pm;
require Encode/JP.pm;
require Encode/KR.pm;
require Encode/Symbol.pm;
require Encode/TW.pm;
Checking /usr/local/lib/perl5/5.8.8/mach/Encode...
Checking /usr/local/lib/perl5/5.8.8/Encode...
$Encode::ExtModule{'ascii-ctrl'} = "Encode::GSM0338";
$Encode::ExtModule{'null'} = "Encode::GSM0338";
$Encode::ExtModule{'utf-8-strict'} = "Encode::GSM0338";
/usr/local/lib/perl5/site_perl/5.8.8/mach/Encode
/usr/local/lib/perl5/5.8.8/Encode
Generating /usr/local/lib/perl5/site_perl/5.8.8/mach/Encode/ConfigLocal.pm...
vs302#

やってみましたがだめだったみたいです。。。
80 :荒巻@中の人 :2008/05/29(木) 22:11:13.82 ID:???
現在のbbs.cgi


#================#
#スパムバイバイ #
#================#

#require('antispam.pl');
#error("なんかスパム臭がします。")if(antispam::check($in{'FROM'},$in{'mail'},$in{'MESSAGE'}));
81 :以下、名無しにかわりましてVIPサービスがお送りします [Nitro]:2008/05/29(木) 22:17:48.25 ID:bV8tGlM0
うーむ…
なぜか効いてないし狂ってるので取りあえずコメントアウトした方がいいかも
82 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/05/29(木) 22:20:31.01 ID:Uvv.t4UP
1バイト文字のみでの書き込みは規制
じゃだめなのか?
83 :以下、名無しにかわりましてVIPサービスがお送りします [Nitro]:2008/05/29(木) 22:24:47.34 ID:bV8tGlM0
>>82
なぜかまともに動かないスパム対策を使うか使わないか、よりもとりあえずそれがいいかもしれませんね
84 :荒巻@中の人 :2008/05/29(木) 22:24:52.92 ID:???
もしかして今BBQサーバー止まってる?
85 :荒巻@中の人 :2008/05/29(木) 22:41:19.11 ID:???
とりあえずスパム大量爆撃の原因が判明

#================#
# BBQ #
#================#
if((! $PHONE->{type} ) and ($ENV{'REMOTE_ADDR'} eq $p2ip) and ($in{'FROM'} eq "fusianasan")){

ここの ($in{'FROM'} eq "fusianasan") がneだったみたい。
いつの間に変わってたんだろ・・・
次のように変更しますた。


if(! Heal_Check()){
if($in{'FROM'} eq "fusianasan") {
$in{'FROM'} = "[´・ω・`] fusianasan";
} else {
error("公開PROXYからの投稿は受け付けていません!!BBQ規制に引っかかってますぜwwww(1)");
}
}

うわ、単純な修正・・・

86 :荒巻@中の人 :2008/05/29(木) 22:42:56.84 ID:???
いい加減ソース汚しな実装はやめた方がいいのかも。
グローバル変数大杉だし、これじゃあ何が何か自分でもよくわからない
87 :荒巻@中の人 :2008/05/31(土) 00:22:11.70 ID:???
出来杉★さん。
そろそろ鯖が検索負荷に耐えきれないみたいです。

もし時間があればモバイル用のスレッドタイトルのみ対象の検索プログラムを組んでいただけないでしょうか?

http://ex14.vip2ch.com/test/mread.cgi/part4vip/
ここの検索窓からのクエリに対してsubject.txtを走査させて検索。
一致したスレを一覧表示

のような簡単なものでいいのですが。。。
88 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/05/31(土) 00:29:12.32 ID:s6OVOjAP
part4vipだけで專鯖つくるわけにはいかないんですかねぇ
そこの人口増加が一番の問題でしょうし、切り分けにはなると思いますが。

SBのホワイトプランのように、利用者が増えると見られる時間帯は検索禁止にする
という手段もありますが。

なんにせよ、付加価値のせいで掲示板が機能しないというのは如何なものかと。
89 :荒巻@中の人 :2008/05/31(土) 00:33:24.09 ID:???
>>88
予算上これ以上鯖増やすのは難しいです。
今あるものでやっていくしかないと。

モバイルのスレタイ検索は無いと結構困ったりもするので暫定措置として
全ライブDAT検索サービスを止めてモバイルからのスレタイ検索だけ生かそうと。

その後にSennaで負荷の低い検索システムを立ち上げようという目論見です。

一番の負担は検索と外部からの攻撃な訳で。
パー速を分けてもそこまで負担は変わらないと見てたりもします。
90 :荒巻@中の人 :2008/05/31(土) 00:34:21.61 ID:???
現在稼働している数十のサーバーのうち、root握ってる専用鯖めも

a vs201 61.205.60.112
a vs301 59.106.25.176
a vs302 219.94.174.221
a vs401 122.29.160.222

これ以上増やすと飯代がなくなります。
たぶん。
91 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/05/31(土) 01:23:33.88 ID:s6OVOjAP
なるほど。
しかし、スレタイ検索はそんなに負荷ではないのでは?

俺が言いたかったのは全文検索やID検索です・・・言葉たりなくてすみません

スレタイ検索は複数板にまたがって検索する機能は廃止でいいかと。
(現在のプルダウンメニューから全板を消去)

言いたいのは、今現在これ書くのも5回リトライしてますし、負荷価値切ってでも本来の掲示板機能優先です。
mread.cgiが低負荷なのは意外でした

あと、rootなくてもいいので、運営だけは鯖分けません?緊急時に繋がらない運営板に意味はあるのでしょうか…
92 :荒巻@中の人 :2008/05/31(土) 02:14:41.47 ID:???
>>91
掲示板のスクリプト自体が複数サーバーでの運用を想定していないので、難しいかと。
再起動かけてmsearch.cgiを落としました。


緊急時に繋がらない運営板にも意味はあるさ。 それが、鯖落ち以外での日々の大切な運用拠点だからな。
93 :あぼーん! :あぼーん!
あぼーん!
94 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/05/31(土) 14:43:27.30 ID:LIAu2SYo
>>93
95 :出来杉3.0 :2008/05/31(土) 16:13:00.55 ID:???
>>87
ちょうど新実験環境(はじめて?のFreeBSD 7.0-REL)をインスコしてるので、順調に行けば割りとすぐできるかも

で、暫定スレタイ検索スクリプトについてちょっと質問
・全板からは検索できない方がいいかしら?
・板の一覧(ドロップダウンリスト)は必要かしら?
・検索結果に板名は必要かしら?
・subject.txtを数分間キャッシュしておいてもいいかしら?
96 :荒巻@中の人 :2008/05/31(土) 20:00:54.31 ID:???
>>95
thxです。

・全板からは検索できない方がいいかしら?
 キャッシュされたsubject.txtをうまくやればそこまで負担は増えないと思うので全板も対象に出来るようにお願いします。
・板の一覧(ドロップダウンリスト)は必要かしら?
 実装がややこしかったらつけなくておkです。可能ならということで。
・検索結果に板名は必要かしら?
 同じく実装がややこしかったらつけなくておkです。可能ならということで。
・subject.txtを数分間キャッシュしておいてもいいかしら?
 問題ないです。
97 :荒巻@中の人 :2008/05/31(土) 20:01:31.34 ID:???
あとスパム対策スクリプトを稼働状態にしないと日に日にひどくなってるような。
さて、どこで500吐いてるのか。。
98 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/05/31(土) 20:22:35.37 ID:fLEMzIEo
とりあえずメ欄にアドレス入れれないようにしたらどうよ
99 :荒巻@中の人 :2008/05/31(土) 20:31:34.77 ID:???
とりあえず暫定的にスパムバイバイを復活


#================#
#スパムバイバイ #
#================#

if($in{'MESSAGE'} =~ /((\<|\<\;)a href\=)|(\[url\=)/) {
if(!($in{'MESSAGE'} =~ /\規\制\解\除/)) {
error("「<a href=」 「[url=」を\含む文章は\投\稿\できません。<br>この\規\制\は\海\外からのスパム\対\策\です。<br>この\規\制を\解\除するには本文に「規制解除」という\文\章を\追\記して再度\投\稿してください。");
}
}
100 :荒巻@中の人 :2008/06/11(水) 00:11:01.42 ID:???
相変わらずスパムひどいなー
もはやスパムの目的すらわからないww
101 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/06/11(水) 00:32:15.45 ID:7LMAp7cP
1バイトのみの書き込みは禁止でいいじゃん
102 :あぼーん! :あぼーん!
あぼーん!
103 :荒巻@中の人 :2008/06/18(水) 04:17:01.74 ID:???
出来杉さん・・・
どうなったんだろか。
104 :出来杉3.0 :2008/06/18(水) 19:40:53.86 ID:???
いつもと比べると余裕ないかもいろんな意味で
とりあえず実験サーバをとっとと用意せねば
105 :荒巻@中の人 :2008/07/13(日) 22:46:59.38 ID:???
>>104
ども。
検索諸々の進行状態はどうでしょうか。
必要ならば実験用サーバーを一台作る準備はできてたりします。
(BSD7RE ML115 Global IP) x2

必要であればご連絡お願いしますー


106 :出来杉3.0 :2008/07/14(月) 19:09:20.00 ID:???
>>105
まあ余裕は出てきましたね(しかし今週はまた失速したかもw)
実験サーバ(FreeBSD 7-REL)は作ってるんですが、12,13日は熱暴走が怖いのでやりませんでしたw
今日からエアコンを稼働させたので再開すると思いますが、VMwareでgcc回しまくりは厳しいので、実機の実験専用サーバが欲しかったりしますw
なので用意してもらえるとすごく助かりますw
107 :荒巻@中の人 :2008/07/15(火) 03:50:54.98 ID:???
>>106
いつもご苦労様です。

えっと、どうやら有志の方がDBベースの検索システムのプロトを製作していただいてたみたいです。
その方達と話をさせていただいたのですが、Sennaの組み込みやモバイルへの対応等でまだいろいろとやらなくちゃな部分も多いので
検索プロジェクトとして一つサーバーを独立させて ex14とは切り離された検索プロジェクトとして動かしていただくという形にしたいのですが、
その方向で進めていただけないでしょうか?

具体的にはその提供者の方々と話をしていただいて、仕様等の決定や負担の計算、必要なハードの設計等です。
出来杉さんがもうスクリプトをくみ上げられている場合はどちらを採用するかもプロジェクトの話し合いで検討していただきたいと思っています。

一応、さくらプレミアムを一つ取得してdetective.vip2ch.comとして動くようにしておきました。

もうちょっとで専用スレッドが立つと思いますのでよろしくお願いいたします。
108 :荒巻@中の人 :2008/07/15(火) 03:53:01.48 ID:???
私自身、申し訳ないのですが恐ろしほど多忙になっていまして。。。
出来杉さんがどこまで、どういう仕様で実装されているのかよくわかっていないので、もし
むちゃくちゃなこと言っているようでしたらメールください。
109 :荒巻@中の人 :2008/07/15(火) 03:55:04.75 ID:???
ちなみに新鯖でももう投稿数の推移的に限界だったりします。
やばい、やばすぎる。。。

http://vip2ch.com/mrtg/ex14post.html

この調子だと夏休み前にどうにかしないとほんとにどうにかなるかも・・・・
110 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/07/15(火) 08:38:30.23 ID:TcP7JESO
>>荒巻さん
メール読んでください・・・
p2の鯖のIPがかわったので、p2から書き込めなくなっています・・・


各値を見るに、I/OとCPU性能が足りてないだけかと・・・
これは専ブラ利用を徹底してもらっても、リロードを頻繁にする板なんで・・・ねぇ
マルチコアなCPU、ランダムアクセスの早いHDDがあれば・・・
111 :荒巻@中の人 :2008/07/15(火) 11:05:31.95 ID:???
>>110
いつもご苦労様です。
了解しました。対応しておきますー

鯖の件は、さくらの専用サーバー使ってるため、ハード面でカスタマイズができなかったりするわけです。
もしメモリ増やしたりCPU変えたり、ってことになると確実にVIPサービス破産なのでww

自宅に設置することも考えましたが、回線がVDSLなのでどうも怖い気がして。。

サーバーの調達で悩んでいる最中です。
鯖を買うよりはまずソフト面で出来るかがりのことをしてみようと、そういうことを考えてきた今日この頃。

112 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/07/15(火) 11:12:41.95 ID:TcP7JESO
まだ怒られる・・・(11:10現在)

ERROR:p2の鯖(IP)じゃないです。(偽鯖?)

ホストcw43.razil.jp(210.135.98.43)


ユーザー増えてきたし、半分実況みたいな形で使われてるし
スパムカキコも出てきたし、書き込みだけじゃなくてROMも相当でしょう・・・
そろそろ限界(ry
113 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/07/15(火) 11:16:56.95 ID:TcP7JESO
あ、俺はakiさんじゃなくて、ただの名無しです(汗

自宅に鯖おいて、ほかのPCへの心配なら
鯖はDMZ領域におけばいいのでは?
114 :荒巻@中の人 :2008/07/15(火) 11:18:54.01 ID:???
>>112
2ちゃんねるの余ったバナナでも貸してもらえたらありがたいんですけどねー・・・

>>113
もうすでに私用のものや他のプロジェクトの物でいっぱいだったりします。
研究室におくにしてもIP保有情報調べられるのも好きじゃないし・・・
DB鯖くらいなら置けるかなっていう感じです。
115 :荒巻@中の人 :2008/07/15(火) 11:28:41.14 ID:???
IPの件、対応しましたー
116 :萃香@飲酒係 [sage]:2008/07/15(火) 13:08:22.40 ID:???
こっちに連絡しといたほうがいいかな

DB検索プロジェクトのスレを立てました
出来杉さんこちらのほうへ顔を出していただけると幸いです

http://ex14.vip2ch.com/test/read.cgi/operate/1216088472/
117 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/07/15(火) 13:19:16.06 ID:Ttq/ZScP
てすてす
118 :出来杉3.0 [sage]:2008/07/16(水) 16:34:49.13 ID:???
>>107
> サーバ独立
こちらとしてはまだ妄想設計段階ですし、その妄想設計も別サーバでも対応できる仕様なので問題ないです
ただしこの妄想設計はroot権限付きが前提であります

> 探偵サーバ@さくらプレミアム
把握しますた

>>109
うげっ
119 :出来杉3.0 [sage]:2008/07/17(木) 14:53:46.18 ID:???
ちょっとメモ

SpeedyCGI = PersistentPerl

PersistentPerl - perlスクリプトを常駐させることによりスピードアップさせます
"SpeedyCGI と PersistentPerlは現在、両方とも同じコードのための名前です。 SpeedyCGIが元の名前ですが、人々がそれがやっていることを信じなかったので、 PersistentPerlが別名として使われました。どこかの時点で、常に2つの ディストリビューションを持っていることを避けるため、おそらくSpeedyCGIが PersistentPerlに置き換えられるか、PersistentPerlのサブクラスになるでしょう。"
http://perldoc.jp/docs/modules/PersistentPerl-2.21/PersistentPerl.pod
120 :出来杉3.0 [sage]:2008/07/17(木) 16:47:57.09 ID:???
これも書いておこう

perlipc - Perl のプロセス間通信 (シグナル, fifos, パイプ, safe subprocesses, ソケット, セマフォ)
"Named Pipes
(名前付きパイプ)"
http://perldoc.jp/docs/perl/5.8.8/perlipc.pod


1つのパイプに5つのスレッドで、スレッド名("Thread1\n"みたいな)を書き込んでみた
結果は当然もの凄いことになったが、書き込まれた内容が壊れてると言うことは無さそうだった
121 :出来杉3.0 :2008/08/09(土) 19:03:48.94 ID:???
明日か明後日に、中の人にスクリプトを送りつける予定だと書いておきます
122 :荒巻@中の人 :2008/08/30(土) 00:32:56.56 ID:???
# Aaache2.2x httpd.conf
# VIP Service vs302.vip2ch.com

# DNS Lookup
HostnameLookups off

StartServers 12
MinSpareServers 10
MaxSpareServers 90

ServerLimit 125
MaxClients 125


httpd.confを全然いじってなかったのでいろいろ書き直してみた.
123 :荒巻@中の人 :2008/08/30(土) 00:33:35.41 ID:???
SpeedyCGIのプロセス制限をもうすこしきつくしてみる

read.cgi & mread.cgi l0
#!/usr/local/bin/speedy -w -- -M20 -t300 -r30

124 :荒巻@中の人 :2008/08/30(土) 00:33:43.67 ID:???
これでだいぶ軽くなるかな
125 :荒巻@中の人 :2008/08/30(土) 02:04:13.39 ID:???
#!/usr/local/bin/speedy -w -- -M20 -t10 -r0

どの設定がベストか疑心暗鬼に陥り始める件
126 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/09/14(日) 15:18:11.98 ID:lq.wUcoP
移動してきたww

うーん、SUSEってマルチコア弱そうなイメージが・・・
単純処理で強いOSってなんだろう

重そうなサイトいくつか調べたら
wikipediaがFedora Core,FreeBSD,SUSE,Debian(ほとんどFedora)
2chがFreeBSD

はてなダイアリーに到っては300台以上もの鯖構成なのか・・・

過負荷対策だけならFreeBSD 7.0なんてどうですかねぇ
命令体型が変わるから、扱いにくいだろうけど(汗
127 :出来杉3.0 [sage]:2008/09/14(日) 16:10:00.59 ID:???
2chは元々Linux使ってたけど、UNIX管理者な名前の★の人の希望でFreeBSDになったとか

そういうことを考えると、パフォーマンスでOSを選ぶんじゃなくて、自分でパフォーマンスをどうにかできる(と思える勢いのw)OSを使うべきなのかも

ちなみにここのサーバはFreeBSDですよw
そしてLinux使いの俺には
>命令体型が変わるから、扱いにくいだろうけど(汗
まさにこれ^^;

ただFreeBSDを使うなら、高性能サーバを使うか、make専用サーバを用意しないと、Portsのmakeの負荷に耐えられない気がしますw
128 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/09/14(日) 20:13:55.76 ID:lq.wUcoP
>>127
(^_^;) ←この顔文字で有名な人ですね。わかります。

各種運用調べたんだけど、「掲示板」って結構珍しい使い方なんだなorz
cgiやphpの「計算処理」って動作が重い→改善って流れはよく見るんだけど、
「繰り返し小さな要求が沢山くる」って使用用途は出ない・・・んがぐぐ
129 :出来杉3.0 [sage]:2008/09/15(月) 19:14:06.31 ID:???
いや、「む」が「む」で「む」の人らしいよ^^;

確かに、掲示板の過負荷対策ってあんまり見ないですね
やはりSpeedyCGIやパイプやソケットを活用して、自分たちで開拓していかないとだめかも
130 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/09/15(月) 23:58:08.83 ID:30HfGoMP
根っこの人かww

とりあえずの対策だと、メモリ上にdatとcgi置けないかなぁ
掲示板だとHDDの転送速度がネックだし

winXP sp3(x86)でGavotte導入する
みたいな使い方できれば楽なんだろうけど、如何せん知識不足orz
131 :出来杉3.0 [sage]:2008/09/16(火) 17:54:05.33 ID:???
RAMディスクは設定は楽なんですがね、512MBしかないし、ここのサーバはメモリ増やせない契約なので…^^;
今は別のプランになってて、そっちは1GB使えるんですがね

でもbbs.cgiくらいなら置けるかもなぁ
検討してみるべきかも
132 :出来杉3.0 [sage]:2008/09/20(土) 16:47:12.70 ID:???
まさかMRTGのあの棒が連投だったとは
Samba導入も考えるべきかな…
133 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2008/09/22(月) 13:17:04.85 ID:LsYI1ag0
1分間に40レス以上したらボボンとかどうよ?
134 :出来杉3.0 [sage]:2008/09/22(月) 16:39:33.32 ID:???
>>133
ボボンだとbbs.cgiだけじゃなくhttpdとも何らかの手段(.htaccessか何か)で連絡しなきゃだめだけど、攻撃対策としてはボボンの方がいいかもねぇ…
135 :荒巻@中の人 :2008/09/22(月) 16:48:34.81 ID:???
>>134
それならdeny.cgiにIP追記してやるだけでボボン送りになるようにセッティングしてあるよん
たしか.
136 :出来杉3.0 [sage]:2008/09/22(月) 18:45:14.07 ID:???
>>135
そうなんですかーw
137 :荒巻@中の人 :2008/09/22(月) 19:16:23.95 ID:???
今の状態だと内容変えて(スペースとか改行とか入れる?)連投 みたいな行為が横行してるっていうのが問題ってことでいいのかな.
以前に過度な連投禁止にしたんだけど,その頃はもっとVIP臭がきつくて,KSKできないとかおっぱいおっぱいできないとか苦情が多くて撤廃したんだよね.

今導入するべきか,できるのか,ちょっと考えてかないといけないかもねー・・・
138 :出来杉3.0 :2008/09/22(月) 19:47:51.26 ID:???
じゃあ空レスだと厳しくなるとか
それでもかなりスカスカなくらいにしておけば問題ないだろうし
139 :出来杉メモ [Nitro sage]:2008/10/12(日) 21:22:10.50 ID:j9zw.ZM0
mread.cgiでl20表示しても最後のレスが表示されない
140 :旧サーバーにロールバックしましたFrom vs302.vip2ch.com sv [sage]:2009/06/02(火) 00:36:32.74 ID:eegRxQY0
tes
141 :あぼーん! :あぼーん!
あぼーん!
142 :あぼーん! :あぼーん!
あぼーん!
143 :出来杉3.0 :2009/11/25(水) 18:48:09.75 ID:???
;^^)つhttp://slashdot.jp/opensource/article.pl?sid=09/11/24/1331206
144 :あぼーん! :あぼーん!
あぼーん!
145 :あぼーん! :あぼーん!
あぼーん!
146 :あぼーん! :あぼーん!
あぼーん!
147 :あぼーん! :あぼーん!
あぼーん!
148 :あぼーん! :あぼーん!
あぼーん!
149 :荒巻@変な人 [sage]:2010/12/12(日) 03:34:10.87 ID:???
新規DB13サーバー購入しましたー

FreeBSD8x/i386 db13.vip2ch.com
inet 182.48.53.65 netmask 0xfffffe00 broadcast 182.48.53.255

検索サーバ復活予定。もうしばらくおまちを。

150 :荒巻@変な人 :2010/12/12(日) 03:35:19.39 ID:???
ports upgrade installed
MySQL 55 installed
151 :荒巻@管理人 :2011/01/18(火) 04:42:30.59 ID:???
・運用ホスト名(FQDN):vs301.vip2ch.com
・対象IPアドレス :59.106.25.176

・運用ホスト名(FQDN):vs302.vip2ch.com
・対象IPアドレス :219.94.174.221


上記内容で逆引き依頼
301はちょっと調子が悪いので暫くしたら引退かも。。
152 :荒巻@管理人 :2011/01/18(火) 04:46:08.98 ID:???
vs303.vip2ch.com
引退させました。
従ってバックアップサーバーと過去ログ整理君とサーバーロガ―やなんかを作り直ししないと。
153 :荒巻@管理人 :2011/01/18(火) 05:39:01.26 ID:???
んーむ めちゃくちゃ安い。。。

http://server.sakura.ad.jp/news/archives/20110112-002.news

乗り換えたいが、、、月5万かぁ。
流石に自費はキツイし。けどここまで安いと。。。んーむ。。。
154 :荒巻@管理人 :2011/01/18(火) 06:07:23.47 ID:???
vs302(ex14)のフルバックアップ取ります。
とりあえず最終バックアップの2009年のを削除(それ以降バックアップ無しだった。。恐ろしい
155 :荒巻@管理人 :2011/01/18(火) 06:07:38.04 ID:???

vs302# df -lh
Filesystem Size Used Avail Capacity Mounted on
/dev/ad4s1a 989M 205M 705M 23% /
devfs 1.0K 1.0K 0B 100% /dev
/dev/ad4s1f 171G 123G 34G 78% /home
/dev/ad4s1d 3.9G 1.3G 2.2G 37% /usr
/dev/ad4s1e 3.9G 1.8G 1.8G 50% /var
156 :荒巻@管理人 :2011/01/18(火) 06:09:15.13 ID:???
とおもったら固められるHDDの余裕も無く転送先のバックアップ鯖もリカバリしたか容量不足のものばかり。。
どうしたものか。。
157 :荒巻@管理人 :2011/01/18(火) 06:23:19.02 ID:???
一次バックアップ開始、60GBなり。
ちょっとだけ回線が重たくなります。
158 :荒巻@管理人 :2011/01/18(火) 06:28:28.87 ID:???
その間にvs201のHDD増設を。
60GB -> 1TB増設
ひょええ。
159 :荒巻@管理人 :2011/01/18(火) 06:30:01.32 ID:???
vip2ch.comダウンしますー

160 :荒巻@管理人 :2011/01/18(火) 06:30:40.11 ID:???
vs201# shutdown -p now
Shutdown NOW!
shutdown: [pid 34635]
vs201#
*** FINAL System shutdown message from aramaki@vs201.vip2ch.com ***
System going down IMMEDIATELY



System shutdown time has arrived
161 :荒巻@管理人 :2011/01/18(火) 06:43:21.43 ID:???
http://twitpic.com/3qzgab
うへー ほこりだらけ。。
よくもまぁ片隅で6年以上動いてらっしゃる。
お疲れ様です。

162 :荒巻@管理人 :2011/01/18(火) 06:56:30.71 ID:???
ad4: 76319MB <Maxtor 6L080M0 BACE1GG0> at ata2-master SATA150
ad6: 953869MB <Seagate ST31000520AS CC32> at ata3-master SATA150

あらよっと。
163 :荒巻@管理人 :2011/01/18(火) 07:57:38.79 ID:???
tar czvf vip2ch.com 開始、暫く仮眠ー
164 :荒巻@管理人 :2011/01/19(水) 02:05:14.51 ID:???

local: ex14bak090413.tar remote: ex14bak090413.tar
229 Entering Extended Passive Mode (|||11639|)
150 Opening BINARY mode data connection for 'ex14bak090413.tar' (44584211456 bytes).
100% |******************************************************************************************************| 42518 MB 2.19 MB/s 00:00 ETA
226 Transfer complete.

旧バックアップのバックアップ終了
165 :荒巻@管理人 :2011/01/19(水) 02:09:34.39 ID:???
とりあえず、負荷が落ち着く6時頃にフルバックアップ取ります。
166 :荒巻@管理人 :2011/01/19(水) 02:14:23.08 ID:???

vs201# rsync --version
rsync version 2.6.9 protocol version 29
Copyright (C) 1996-2006 by Andrew Tridgell, Wayne Davison, and others.
<http://rsync.samba.org/>
Capabilities: 64-bit files, socketpairs, hard links, symlinks, batchfiles,
inplace, IPv6, 32-bit system inums, 64-bit internal inums


vs302# rsync --version
rsync version 3.0.7 protocol version 30
Copyright (C) 1996-2009 by Andrew Tridgell, Wayne Davison, and others.
Web site: http://rsync.samba.org/
Capabilities:
64-bit files, 32-bit inums, 32-bit timestamps, 64-bit long ints,
socketpairs, hardlinks, symlinks, IPv6, batchfiles, inplace,
append, ACLs, xattrs, no iconv, symtimes

#201バージョンあげておいた方がよさげかも。
167 :荒巻@管理人 :2011/01/19(水) 02:16:04.40 ID:???
vs301# rsync --version
rsync version 2.6.6 protocol version 29
Copyright (C) 1996-2005 by Andrew Tridgell and others
<http://rsync.samba.org/>
Capabilities: 64-bit files, socketpairs, hard links, symlinks, batchfiles,
inplace, IPv6, 32-bit system inums, 64-bit internal inums

rsync comes with ABSOLUTELY NO WARRANTY. This is free software, and you
are welcome to redistribute it under certain conditions. See the GNU
General Public Licence for details.


とりあえず3サーバーでportupgrade、portsのupdate。
3サーバー間の物理距離が遠いからなぁ、どれくらいスムーズにデータが飛ぶか。
168 :荒巻@管理人 :2011/01/19(水) 02:17:27.48 ID:???
vs302# df -lh /dev/ad4s1f
Filesystem Size Used Avail Capacity Mounted on
/dev/ad4s1f 171G 80G 77G 51% /home

to

vs201# df -lh /dev/ad6
Filesystem Size Used Avail Capacity Mounted on
/dev/ad6 902G 89G 741G 11% /usr/home/site/backup1tb


準備はじめ。
169 :荒巻@管理人 :2011/01/20(木) 13:07:37.02 ID:???
rsyncの互換確保。SSH設定完了
転送開始します。

恐らく終わるのは8時間くらいかなぁ
その間少しだけ回線が重たくなる、かもしれません
170 :荒巻@管理人 :2011/01/20(木) 15:18:25.42 ID:???
現状sukimaターボの負荷が半端ないので、、
サーバ買ってきました。

49.212.1.28
vs401.vip2ch.com

512MB 20GB

どこまで回線負荷に耐えてくれるのか。。。
171 :荒巻@管理人 :2011/01/20(木) 15:19:49.71 ID:???
>>170
vs401は欠番だった。。
vs501で。
172 :荒巻@管理人 :2011/01/20(木) 15:34:21.76 ID:???
501 FreeBSD8.1 32bit i386 インスト―ル完了
173 :荒巻@管理人 :2011/01/20(木) 15:37:40.34 ID:???
ports インストール中。。
174 :荒巻@管理人 :2011/01/20(木) 15:49:17.87 ID:???
httpd-2.2.15.tar.bz2
インストールなう
175 :荒巻@管理人 :2011/01/20(木) 15:50:47.30 ID:???
vs301(sukimaターボとwktk、nullpo)のサーバーを廃棄決定。
ハード全交換で作り直します。

依頼完了。バックアップに入ります>vs301
176 :荒巻@管理人 :2011/01/20(木) 15:51:30.75 ID:???
vs302バックアップ30%くらい完了。
夜までに終わればいいなぁ

177 :荒巻@管理人 :2011/01/20(木) 17:44:02.96 ID:???
http://vs501.vip2ch.com/ ( http://fsm.vip2ch.com/ )
作成完了
178 :荒巻@管理人 :2011/01/21(金) 00:39:27.02 ID:???
>>177
PHP5インストールで問題が。一旦保留 → 隙間のDoS問題が優先

>>175
さくら技術部と打ち合わせ。OSどうするか決める。
逆引きもお願いするか考える

>>176
43%で一旦キャンセル
深夜負荷ではミラーできないご様子。
朝方か昼頃に再試行 → Cronで毎日差分取るようにSh作ること


179 :以下、名無しにかわりましてVIPサービスがお送りします [sage]:2011/01/21(金) 11:10:30.03 ID:2cwTDzg30
httpd古くね?
180 :荒巻@管理人 :2011/01/23(日) 19:13:03.85 ID:???
>>176
差分完了@2011/01/23
181 :荒巻@管理人 :2011/02/05(土) 22:28:26.07 ID:???
vs501 -> mod_small_light組み込んでみます
182 :荒巻@管理人 :2011/02/05(土) 22:28:52.94 ID:???
imlib2 追加
53.57 KB   

スポンサードリンク


Check このエントリーをはてなブックマークに追加 Tweet

荒巻@中の人 ★ VIP(Powered By VIP Service) read.cgi ver 2013/10/12 prev 2011/01/08 (Base By http://www.toshinari.net/ @Thanks!)
respop.js ver 01.0.4.0 2010/02/10 (by fla@Thanks!)