phpBB2 by Przemo
Support forów phpBB2 modified by Przemo

FAQFAQ - PIERWSZA POMOC!!  regulaminREGULAMIN  SzukajSZUKAJ  UżytkownicyUżytkownicy  GrupyGrupy  StatystykiStatystyki
RejestracjaRejestracja  ZalogujZaloguj  DownloadDownload  katalog Forów DyskusyjnychKatalog Forów   FAQ Video tutoriale

Poprzedni temat «» Następny temat
Przesunięty przez: joli
29-06-2009, 18:40
Forum zjada ponad 1 GB ramu po czym sie wy...krzacza
Autor Wiadomość
sraken1

Pomógł: 1 raz
Posty: 93
Wysłany: 18-10-2006, 19:25   Forum zjada ponad 1 GB ramu po czym sie wy...krzacza

Siema,
Jestem oburzony tak zracego skryptu jeszcze niespotkalem.
Aktualnie forum odwiedza tylko 80.000 dziennie czyli okolo 2 miliony miesiecznie.

To wystarcza aby w godzinach szczytu forum poprostu zapchalo na smierc serwer a przynamniej aplikacje bazodanowa. Muli Muli niewgrywajac sie przez pare godzin po czym kompletnie wysiada i baza jest widoczna tylko lokalnie. Trzeba restartowac sql deamon'a.

Admin probowal cos zrobic przez konfiguracje Apache'a ale znowu siadlo. Na tym serwerze stoi pare innych rzeczy ale ram ZRE w 97% skrypt przema.

Moje pytanie brzmi nastepujaco: O CO CHODZI?

;] dziekuje za uwage

OK Widze ze jest problem nawet z teoriami... podsune pare:
1. Ten skrypt poprostu potrzebuje 2 GB przy takim obciazeniu.
2. Administracja serwera cos zle skonfigurowala
3. Skrypt przema niejest zoptymalizowany pod duze fora
4. Przemo cos przeoczyl i to wina skryptu
Ostatnio zmieniony przez sraken1 18-10-2006, 22:27, w całości zmieniany 1 raz  
 
     
Gadatliwa Kasia 

   
Przemo



Pomógł: 210 razy
Posty: 3148
Wysłany: 18-10-2006, 20:31   

O wiele większe fora z większą odwiedzalnością działają dobrze. Jednak znam przypadki, ze nieduzym forum (20 osob online) serwer mysql wlasnie tak sie zatykal :/ Probowalem znalezc przyczyne ale niestety. Prawdopodobnie cos sie gryzie, byc moze, ze jes tjakies jedno zapytanie sql, z ktorym jest problem.
 
     
FoToGrAfIk


Posty: 132
Wysłany: 18-10-2006, 20:43   

sraken1, mam nadzieję że serwer nie jest na windowsie bo zalicze tu chyba glebe :lol:

[ Dodano: 18-10-2006, 21:44 ]
PS. twoje forum nie działa ;-)
_________________
Z poważaniem FoToGrAfIk
 
     
sraken1

Pomógł: 1 raz
Posty: 93
Wysłany: 18-10-2006, 20:47   

No wlasciwa osoba sie wypowiedziala (przemo) na to liczylem :) jednak wcale sie nieucieszylem z uzyskanej odpowiedzi pomimo zapewne szczerych checi :/ .

Czyli jest to prawdopodobnie wina skryptu? Mam nadzieje ze jednak nie.
Moglabybyc to wina serwera? Jezeli tak to w jakim "rejonie" mozna szukac konfliktu. Jestem postawiony przed powaznym problemem a czas gra na moja niekorzysc. I jutro na uczelni sie bede kontaktowal z adminem szukajac wspolnie jakiegos rozwiazania a teraz nawet niewiem co mu zaproponowac.

Ewentualnie mozna szukac rozwiazan zupelnie okreznych jak przeniesienie na inny serwer, w tej samej firmie. Ale lepiej poszukac konkretnej przyczyny, bo samo przeniesienie niegwarantuje pozbycia sie problemu a jedynie moze przyniesc bardzo duzo pracy po obu stronach i jest to z pewnoscia rozwiazanie ostateczne.

Help.

PS
FoToGrAfIk pseudo znawco zignoruje twoja wypowiedz, nieprzeczytales opisu topic'u masz zakaz wstepu.
Ostatnio zmieniony przez sraken1 18-10-2006, 22:29, w całości zmieniany 1 raz  
 
     
irekk


Pomógł: 283 razy
Posty: 2927
Wysłany: 18-10-2006, 21:15   

opisz cos w ogole serwer...
_________________
Cygantura
 
     
sraken1

Pomógł: 1 raz
Posty: 93
Wysłany: 18-10-2006, 21:33   

g2.deservers.de

wiecej grzechow niepamietam oprocz wspomnianego wczesniej pytania o ram do admina ;] ... po co mialem pytac jak wszystko chodzilo jak marzenie? sponsoring wiec nic mi do tego...

do 70.000 odwiedzin powiedzmy bylo wszystko OK, [; dopiero z 3 tygodnie temu zaczely sie pady w najwieksze godziny szczytu czyli w niedziele o 15 okolo... 2 tygodnie pod rzad... potem juz o roznych terminach jak np dzis o 19 albo czwartek tez popoludniu poznym jak duzy ruch jest...

moge popytac szczegolowo i napisze wtedy wiem tylko jeszcze ze dystrubucja to suse, phpMyAdmin - 2.8.2.2, MySQL - 4.1.21. apache 2.0.5 chyba

Cytat:
NOWOSC, oto abnormalne zachowania bazy wyszczegolnione na czerwono przez phpmyadmina, pare z nich moze byc powodem takiego a nie innego dzialania bazy:

Serwer MySQL działa przez 1 dni, 11 godzin, 25 minut i 52 sekund. Początek pracy: 17 Paź 2006, 11:20.

Statystyki zapytań: Od rozpoczęcia jego pracy, do serwera zostało wysłanych 4 196 290 zapytań.
Slow_queries 6 k Liczba zapytań, których wykonanie zajęło więcej niż long_query_time sekund.

Handler_read_rnd 92 M Liczba żądań odczytu następnego rekordu na podstawie stałego położenia. Wartość jest duża przy wykonywaniu dużej ilości zapytań wymagających sortowania rezultatu. Prawdodpodobnie wykonano wiele zapytań wymagającyh przeszukania całej tabeli lub złączeń, które nie używają poprawnie indeksów.

Handler_read_rnd_next 1 G Liczba żądań odczytu następnego rekord w pliku z danymi. Wartość jest duża przy wykonywania wielu przeszukiwań tabeli. Ogólnie sugueruje to, że tabele nie są poprawnie zindesowane lub że zapytania nie są napisane w sposób pozwalający skorzystać z istniejących indeksów.

Qcache_lowmem_prunes 15 k Liczba zapytań, które zostały usunięte z pamięci podręcznej, by zwolnic pamięć do buforowania nowych zapytań. Ta informacje może pomóc dostroić wielkość bufora podręcznegoe. Do decydowania o tym, które zapytania usunąć z bufora podręcznego używana jest strategia "najpierw najdłużej nieużywany" (least recently used - LRU).

Created_tmp_disk_tables 57 k Liczba tabel tymczasowych na dysku utworzonych automatycznie przez serwer podczas wykonywanie instrukcji. Przy dużej wartości Created_tmp_disk_tables, zwiększenie wartości tmp_table_size spowoduje tworzenie tymczasowych tabel w pamięci, a nie na dysku.

Select_full_join 4 Liczba złączeń nie używających indeksów. Wartość różna od 0 sugeruje staranne przyjrzenie się indeksom tabel.

Opened_tables 955 Liczba kiedykolwiek otwartych tabel. Jeśli ta wartość jest duża, prawdopobnie wielkość pamięci podręcznej tabel jest zbyt mała.

Table_locks_waited 128 k Iler razy blokada tabeli nie mogła zostać uzyskana natychmiastowo i niezbędne było oczekiwanie. Przy wysoka wartość oraz problemach z wydajnością powinno się najpierw zoptymalizować zapytania, a następnie podzielić tabelę (tabele) lub użyć replikacji.
 
     
irekk


Pomógł: 283 razy
Posty: 2927
Wysłany: 19-10-2006, 15:20   

hmmm a nie wiesz moze od kiedy udostepnili serwer transmisyjny shoutcast?
_________________
Cygantura
 
     
sraken1

Pomógł: 1 raz
Posty: 93
Wysłany: 19-10-2006, 15:44   

masz na mysli ten z eswc? dawno byl tam od poczatku
_________________
Drugi post Przemo troche motywacji! To powazny blad, skrypt niemoze byc wadliwy.
 
     
irekk


Pomógł: 283 razy
Posty: 2927
Wysłany: 19-10-2006, 16:03   

widzialem w google adres radia na tym serwerze, a jako ze sam sie kiedys w to bawilem, wiem jak taki serwer potrafi zamulic. jednakze, jezeli on jest od dawna to to odpada.
co do info o serwerze to u mnie wyniki sa znaaaacznie wieksze ale serwer dziala od 23dni

np:
u ciebie:
Handler_read_rnd 92 M
Qcache_lowmem_prunes 15 k

u mnie:
Handler_read_rnd 1 497 M
Qcache_lowmem_prunes 125 M

itd

jedyna wartosc ktora u ciebie jest wieksza i to sporawo to:
Handler_read_rnd_next 1 G
u mnie:
Handler_read_rnd_next 699 M
 
     
sraken1

Pomógł: 1 raz
Posty: 93
Wysłany: 19-10-2006, 16:29   

no problem w tym ,ze moj serw byl ze statystyka z 1 dnia a nie 23... wiec pomnoz moje statystyki ktore dalem razy 23 i wtedy porownaj ze swoimi...

to dopiero jest jazda jak 23 miliardy zapytan porownac do 700 milionow

Kto wie moze problem tkwi w jakiejs niezsychronizowanej tabeli a jest ich sporo i przez to wykonuje mase niepotrzebnych zapytan, problem moze byc wszedzie martwi mnie tylko to, ze jezeli przemo oskarza swoj skrypt o niedopracowanie to raczej nierobi tego bezpodstawnie...


ps
"Nie okreslono typu postu" - Pojawia sie podczas logowania aby odpowiedziec w tym temacie zamiast przeniesienia do tego topicu ;] juz 10 raz

ps2
skrypt na sychronizowanie bazy jest zrypany po maxie... niewykrywa subfor wszystkich albo blednie je przypisuje
_________________
Drugi post Przemo troche motywacji! To powazny blad, skrypt niemoze byc wadliwy.
 
     
ComBox

Posty: 7
Wysłany: 19-10-2006, 19:44   

;] ;] ;] ;] ;] ;] ;] ;] ;] ;] ;] ;] ;] ;] ;] ;] ;] ;] ;]
Ostatnio zmieniony przez ComBox 21-04-2007, 10:47, w całości zmieniany 1 raz  
 
     
chelloPL



Pomógł: 413 razy
Posty: 2545
Wysłany: 19-10-2006, 21:27   

sraken1 napisał/a:
Jestem oburzony tak zracego skryptu jeszcze niespotkalem.

Zamiast marudzić, może być ruszył... się i sprawdził jakie zapytanie obciąża bazę?
Uruchom phpmyadmina i wybierz wyświetlenie procesów. Skopiuj i wklej nam całą listę (z pełnymi zapytaniami) - najlepiej w chwili, jak serwer pada.

Ponadto ustaw widoczne dla wszystkich, czasy generowania stron (w PA).
I jeszcze jedno - to http://www.darkwarez.pl/forum/check_files.php tylko świadczy o Twoim poziomie... Lenistwem bym to nazwał. Ponadto co robiłeś w pliku mysql4.php? Przywróć do z oryginału. Index.php również, skoro nie podałeś konta testowego, aby sprawdzić czas generowania podstron.

Wybacz, ale zgadywać nie ma co.

PS: szukuje się warn za adres forum w profilu... proponowałbym się szybko poprawić.
PPS: patrząc na kod strony, jak na przykład: "http://choj.wam.w.dupe.pl" nie chce mi się specjalnie zniżać do tego poziomu...
_________________
Zanim napiszesz do mnie na GG/PW, koniecznie przeczytaj zasady.
Sygnaturka to nie tablica z ogłoszeniami! PAMIĘTAJ o tym! Nadużywanie i celowe reklamowanie stron jest ZABRONIONE i karalne!
Gość, a czy Ty nie masz sobie nic do zarzucenia?
 
     
irekk


Pomógł: 283 razy
Posty: 2927
Wysłany: 19-10-2006, 22:23   

sraken1 no nie wiem czy tak mozna to przeliczac. np u mnie srednio w ciagu sekundy jest wykonywane 120 zapytan. a prawda jest taka iz zapewne jak zrobisz to co ci powiedzial chelloPL to zapewne powroci do normy.

chelloPL, jezeli to sie tyczy mojego profilu to zapraszam do zapoznania sie z regulaminem. szczerze, to prosze, mozesz nawet moje konto zbanowac :) sam dobrze wiesz ze nie jestem tutaj po to by szukac pomocy etc ;)
pozdrawiam

[ Komentarz dodany przez: chelloPL: 19-10-2006, 23:58 ]
Nie - cała moja wypowiedź dotyczyła autora. To on ma w na stronie jakieś śmieci, a nie forum.
 
     
sraken1

Pomógł: 1 raz
Posty: 93
Wysłany: 20-10-2006, 11:19   

Chello bez nerw ;] juz zabieram sie do tlumaczenia poszczegolnych kwestii:

Cytat:
Ponadto ustaw widoczne dla wszystkich, czasy generowania stron (w PA).


done

pare moich przykladowych:
Strona wygenerowana w 0,55 sekundy. Zapytań do SQL: 8 - glowna
Strona wygenerowana w 0,42 sekundy. Zapytań do SQL: 8 - glowna
Strona wygenerowana w 0,34 sekundy. Zapytań do SQL: 49 - strona topicow
Strona wygenerowana w 0,21 sekundy. Zapytań do SQL: 42 - strona topicow

update
Strona wygenerowana w 0,62 sekundy. Zapytań do SQL: 15 - glowna
przy duzym online

Cytat:
Uruchom phpmyadmina i wybierz wyświetlenie procesów. Skopiuj i wklej nam całą listę (z pełnymi zapytaniami) - najlepiej w chwili, jak serwer pada.


Cala liste? Zaduzo tego niema:

Lista procesów
Zapytanie SQL zostało wykonane pomyślnie
zapytanie SQL: SHOW PROCESSLIST
481xxx dw localhost bazadanych Query 0 NULL SHOW FULL PROCESSLIST

i nic wiecej ; P pewnie nie o to chodzilo

Cytat:
I jeszcze jedno - to http://www.darkwarez.pl/forum/check_files.php tylko świadczy o Twoim poziomie... Lenistwem bym to nazwał.


1. Pliki Lang sa podmienione, angielskie na polskie wiec nawet po wybraniu angielskiego jest polski.
2. index.php <-- dodani naaktywniejsi uzytkownicy i tabelka na samym dole to wszystko

Co do reszty tych wartosci na gorze czerwonych, po co mam ustawiac chmody dla uploadowania plikow/avatarow albo zapisu bazy, jezeli wszystko jest powylanczane w forum/nieuzywam tych rzeczy/opcji. Cachce i tmp jest prawidlowe bo tylko tego sie uzywa kazde forum defaultowo. Niejestem pedantem :D .


Cytat:
Ponadto co robiłeś w pliku mysql4.php? Przywróć do z oryginału. Index.php również, skoro nie podałeś konta testowego, aby sprawdzić czas generowania podstron.


Szczerze niepamietam co to bylo z mysql4.php, albo jakis update albo jakas dziura ... jakis powod byc musial zaraz przywroce normalny, natomiast index.php wyjasnilem wyzej.

UPDATE

Juz wiem czemu ... po wgraniu orginalnego mialem krzaki ;] zacytuje post uzywnika tu z forum ktory uzylem w swoim forum... i chwala mu za to ;]

Cytat:
zmieniłem tylko plik
db/mysql4.php - dodałem mu takie trzy linijki:
Kod:
mysql_query("SET CHARACTER SET latin2")
mysql_query("SET NAMES latin2")
mysql_query("SET COLLATION latin2")


Cytat:
PS: szukuje się warn za adres forum w profilu... proponowałbym się szybko poprawić.


done

Cytat:
PPS: patrząc na kod strony, jak na przykład: "http://choj.wam.w.dupe.pl" nie chce mi się specjalnie zniżać do tego poziomu...


To bylo defaultowo w skrypcie na glosowanie... ktos to napisal widocznie dla cwaniaczkow, ktorzy je chca ominac mialem to usunac ale wypadlo mi z glowy.

PS
A tutaj maly dowod na to, ze skypt na synchronizacje jest zrypany:

Cytat:
darkwarez.pl Info
darkwarez.pl Poradniki
darkwarez.pl Problemy
darkwarez.pl Prosby
Download ebooki
Download Filmy
Download Gry
Download GSM
Download Inne
Download Muzyka
Download Programy
Download VIP strefa
Download XXX
Hydepark Games corner
Hydepark Grafika
Hydepark Humor
Hydepark Movies corner
Hydepark Music corner
Hydepark Offtopic
Hydepark prosby od 10 sensownych postow
Ekipa darkwarez.pl Anime
Ekipa darkwarez.pl Smietnik
Ekipa darkwarez.pl Tylko dla Administratorow
Ekipa darkwarez.pl Tylko dla Moderatorow darkwarez.pl
Ekipa darkwarez.pl Tylko dla Uploaderow
Ekipa darkwarez.pl Uwagi do redakcji/obslugi forum


Jak BARDZO latwo zauwazyc subforum Anime niejest w "Ekipa darkwarez.pl" tak jak pisze tylko w dzialach "Download". Subfora sie przypisuja blednie ale to akurat maly problem. Gorszy to BRAK SUBFOR. Wszystkie subfora z dzialu VIP sa pominiete. One sa tylko dla ludzi z wymaganym dostepem. Ale np. subfora EMULACJA tez niema... a jest to zwykle subforum i niemoge go zsynchronizowac.

Ponaddto:
Cytat:
Baza nie jest zsynchronizowana !

Tematów bez postów: 1
Topic ID's: 13821

Tematów z niewłaściwą ilością odpowiedzi: 1
Topic ID's: 13821,

For z niewłaściwą ilością postów: 1
Forum ID's: 17,

For z niewłaściwą ilością tematów: 1
Forum ID's: 17,


Najzabawniejsze jest to, ze niektore z tych bledow sa w subdziale VIP Filmy, ktorego skrypt na synchronizacje niewykrywa i niejestem w stanie tego naprawic.

PS3

niewiem czy to wazne ale check tabeli:

Cytat:
Problemy z indeksami tabeli `phpbb_pa_comments`
Klucze PRIMARY i INDEX nie powinny dotyczyć tej samej kolumny `comments_id`
Problemy z indeksami tabeli `phpbb_sessions`
Klucze PRIMARY i INDEX nie powinny dotyczyć tej samej kolumny `session_id`



PS4
Z adminem uzgodnilem skrypta na restarty MYSQL codziennie o 4-5 nad ranem moze to pomoze odetkac/odswiezyc baze.
 
     
Gadatliwa Kasia 

   
chelloPL



Pomógł: 413 razy
Posty: 2545
Wysłany: 20-10-2006, 21:31   

sraken1, co do czasów generowania strony i ilości zapytań - wyniki bardzo dobre (tu nie widzę problemu).
sraken1 napisał/a:
Lista procesów
481xxx dw localhost bazadanych Query 0 NULL SHOW FULL PROCESSLIST
i nic wiecej ; P pewnie nie o to chodzilo

Dokładnie o to chodziło. Oznacza to nic innego, że w danej chwili nic z bazy nie korzysta i jej nie obciąża.

Co do modyfikacji plików - rozumiem. Skoro w mysql4.php jest tylko zmiana kodowania, to niech zostanie. Sądziłem, że plik mógł być zmodyfikowany i on był powodem problemów z forum.
sraken1 napisał/a:
A tutaj maly dowod na to, ze skypt na synchronizacje jest zrypany:

Czy jesteś na 100% pewny, że lista jest podana z tej samej bazy, bo forum pobiera?
Dlaczego mam poważne wątpliwości? Bo ten sam kod generuje listę na stronie głównej forum. Mało tego - gdzie w liście, którą podałeś masz podfora: VIP (gry, filmy, programy, ...)? Na forum je widzę i (chociaż nie mam dostępu), wyglądają poprawnie.
Mam wrażenie, że to co obserwujesz, to są 2 osobne bazy (chociaż i ja mogę się mylić).

sraken1 napisał/a:
Najzabawniejsze jest to, ze niektore z tych bledow sa w subdziale VIP Filmy,

To są jedyne (4) błędy synchronizacji? Jeśli tak, to nie taki diabeł straszny.
Czasami desynchronizacja może się pojawić (z różnych powodów), jak chociażby pad serwera SQL, o którym pisałeś. Wówczas część rekordów mogła zostać zapisana, a pozostała część danych mogła zostać utracona.
Jest do "siła wyższa". Przy próbie naprawienia (wykonania synchronizacji) w PA, problemy te powinny zniknąć.
sraken1 napisał/a:
Problemy z indeksami tabeli `phpbb_pa_comments`
Klucze PRIMARY i INDEX nie powinny dotyczyć tej samej kolumny `comments_id`
Problemy z indeksami tabeli `phpbb_sessions`
Klucze PRIMARY i INDEX nie powinny dotyczyć tej samej kolumny `session_id`

Tabeli pa_comments nie używasz prawdopodobnie. Tabela sessions jest używana cały czas, ale u wszystkich pojawia się to ostrzeżenie i dotychczas nie miało ono znaczenia.
Komunikat z tym ostrzeżeniem pochodzi z phpmyadmina - pamiętam, że w którejś z poprzednich wersji nie pojawiał się on, pomimo iż tabele miały dokładnie tą samą strukturę.
Jesnym słowem: nie jest to błąd krytyczny i nie powinno wpłynąć na błędne działanie forum.

sraken1 napisał/a:
Z adminem uzgodnilem skrypta na restarty MYSQL codziennie o 4-5 nad ranem moze to pomoze odetkac/odswiezyc baze.

I tu docieramy do sedna sprawy. Na 95% błędów nie generuje forum, lecz INNY skrypt lub skrypt innego użytkownika na danym serwerze.
Przynajmniej te szczegółowe informacje, które zamieściłeś potwierdzają, że problem nie leży w forum.

Miałbym mimo wszystko prośbę aby spróbować powtórzyć szczególnie instrukcję z SHOW PROCESS LIST, ale wówczas jak forum "pada" z obciążenia.

PS: tym razem pochwalę za bardzo szczegółowe i konkretne informacje, które były pomocne w zlokalizowaniu błędu.
_________________
Zanim napiszesz do mnie na GG/PW, koniecznie przeczytaj zasady.
Sygnaturka to nie tablica z ogłoszeniami! PAMIĘTAJ o tym! Nadużywanie i celowe reklamowanie stron jest ZABRONIONE i karalne!
Gość, a czy Ty nie masz sobie nic do zarzucenia?
 
     
Wyświetl posty z ostatnich:   
Odpowiedz do tematu
Nie możesz pisać nowych tematów
Nie możesz odpowiadać w tematach
Nie możesz zmieniać swoich postów
Nie możesz usuwać swoich postów
Nie możesz głosować w ankietach
Nie możesz załączać plików na tym forum
Możesz ściągać załączniki na tym forum
Dodaj temat do Ulubionych
Wersja do druku

Skocz do:  

Kopiowanie wszelkich treści zawartych na forum, modyfikacji oraz instrukcji bez zgody administracji i autorów tematów/postów zabronione!

Powered by phpBB modified by Przemo © 2003 phpBB
Strona wygenerowana w 0,13 sekundy. Zapytań do SQL: 13
Polecane serwisy

Najlepsze oprogramowanie do prowadzenia sklepu internetowegoNajlepszy program do sklepu firmowany przez Przem'a

Sklep z gadżetami

mediaclick.pl

serwis laptopów

phpbb

Polisy Ubezpieczeniowe TU Europa

Design Cart - Tworzenie sklepu internetowego

dnirozwoju.pl

Ranking Hostingów HostingOnline.pl

• Zamów reklamę