Louis.Kim 의 제 3막

MySQL의 버전별 기능(Features) 변경 이력

PHP 사이트 수정 중 MySQL between 을 사용하려면,

현재 날짜에 +1 로 해 줘야지, 금일 데이터 까지 조회가 된다.

하지만 이 부분이 개발이 되어 있지 않아서 개발 하다 보니, 기존에 string 으로 달력에서 받은 것에

+1 만 하였다...

역시 아무 생각 없이 개발한 것에는 버그가 생기는 법...

오늘은 31일이다...여기 + 1을 하니...32...!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

어휴.........

아래와 같이 수정함으로써 해결...

그래....내 잘 못이지..ㅠ

[참고]  http://jhrun.tistory.com/137

오랜만에 포스팅한다.

파이썬 스크립트 개발에 틈틈히 php 수정등...

마리아 DB를 공부도 해야된다는 생각에 정신이 없다..

하지만 이게 잘 하고 있는건지...라는 의문의 1패...

잡설은 그만하고..

Script로 백업 도중 (스크립트 뽑아내는 명령어 중) Lock Tables 라는 에러가 발생하였다.

그동안 문제없이 잘 돌아가는 스크립트가 왜 지금 에러가 발생했을까 라는 의문도 들고..

중간에 작업한 적이 없는 것 같은데 ...

하지만 컴퓨터는 거짓말을 하지 않기에... 일단은 백업이 우선이라 해결을 진행해 보았다.

MyISAM 이기에 배치 작업이 있나 확인을 해 보았다. (조회 또한 table lock 을 잡기에....이건 순수히 나만의 생각)

show processlist;

하지만 확인 결과 어떠한 작업도 확인이 되지 않았다.

그렇다면 희박하지만 권한을 부여해 보았다. (권한을 revoke 한 적은 전혀 없기에...)

이 후 다시 진행해 보았다.

말도 안되....정상적으로 진행이 되었다.

하아....누가??아니면 무슨 이유로...??

원인을 찾아 봐야겠다.

[출처] http://kin.naver.com/qna/detail.nhn?d1id=1&dirId=10302&docId=63819461&qb=cmF3IGRldmljZQ==&enc=utf8§ion=kin&rank=3&sort=0&spq=0&pid=fIe7Og331yosssEVpKlssv--169396&sid=S6RJEjE8pEsAACHkFto

흔히 유닉스에서 스토리지 디바이스를 억세스하는 방법에 따라 

블록디바이스(/dev/dsk) 와 로(RAW)디바이스(/dev/rdsk) 로 구분을 합니다.

단어 그대로 이해를 한다면 블록디바이스에 블록은 파일시스템의 블록을 말하는 겁니다.

즉 로디바이스위에 파일시스템이 얹어 있다고 보면 됩니다. 

OS 는 어플리케이션의 IO 요구에 따라 파일 시스템에서 읽어 오느냐 ,

로 디바이스(파일시스템 보다는 더 하위레벨)에서 읽어 오느냐가 억세스 방법에 의해서

차이가 있습니다.

로 디바이스는 파일시스템이 없기 때문에 당현히 파일, 디렉토리, 억세스컨트롤 등을

어플리케이션에서 직접 관리 해야 합니다. 

로 디바이스를 데이타베이스에서 사용할 때 데이타 베이스는 자체적으로 블록과 익스텐트 등의

스토리지 관리 개념을 가지고 있기 때문에 OS레벨에서의 물리적인 데이타 파일 관리만 하면 됩니다.

(데이타 베이스에서 로디바이스를 사용하더라도 물리적인 디바이스(디스크)에 데이타 파일형태로 위치해야

하기 때문에 볼륨매니저 같은 가상 스토리지 개념이 필요합니다.)

일반적인 디스크는 I/O 다음과 같은 패스를 가집니다.

Application<->Library Buffer<->Operation System Cache<->File System/Volume Manager<->Device

그런데 로디바이스의 패스는 다음과 같습니다.

Application<->Device

흔히 DBMS 를 컨피그할때 데이타 파일의 위치를 놓고 RAW 와 파일시스템 비교를 많이 하게 됩니다.

나름대로 장단점이 있어 쉽게 판단 할수는 없지만 파일관리측면에선 파일시스템이 성능면에서는 로 디바이스가 낫습니다.

DBMS 시스템에서 파일시스템을 사용 할 경우 DBMS 의 가 자체 IO버퍼를 설정 하기 때문에 

OS 의 파일시스템 캐시가 필요 없습니다. 이런 파일시스템의 단점을 보완하고자 솔라리스의 Direct I/O , 베리타스 파일시스템등

이 나오게 되었습니다. 이와 같은 더블 버퍼링 를 막음으로써 OS는 메모리 파일시스템 캐싱을 위한 메모리 매니지먼트가 필요없어지고,

DBMS 에서만 버퍼링을 하므로 메모리를 덜 소모하게 됩니다. 주소 변환을 할 필요가 없으니 캐시의 억세스 속도도 빨라지겠죠.

RAW의 장점을 하나더 말씀드리면 KAIO(kernal async IO) 입니다.

위의 IO패스에서 보듯이 로디바이스는 IO요구가 발생될때 유저라이브러리를 사용 하지 않고 커널 레벨에서 IO 가 이루어 지므로 

명령이 단순해 져서 결과적으론 CPU를 덜 사용하게 됩니다.

--------------------------------------------------------------------------------------------------

[출처] http://boeok.tistory.com/entry/File-System-%EA%B3%BC-Raw-Device%EC%9D%98-%EC%B0%A8%EC%9D%B4

File system                                    

- File system이란?

파일시스템(filesystem)이란 운영체제가 파티션이나 디스크에 파일들이 연속되게 하기 위해 사용하는 방법이고 자료구조이다. 즉, 파일들이 디스크상에서 구성되는 방식이다. 파일시스템이라는 말은 파일을 저장하는데 사용되는 파티션이나 디스크를 가리킬 때나, 파일 시스템의 형식을 가리킬 때 사용되기도 한다. file system은 mount란 단계를 거쳐서 특정 block device를 사용할 수 있게 해주는 것입니다.

- File system의 구조

Disk drive

File system

• boot block : file system의 처음에 위치. operation system이 초기화되거나 부팅될 때, 필요한 bootstrap 코드를 포함하고 있다. 시스템이 부팅되기 위해서는 단지 하나의 부트 블록이 필요하며, 모든 시스템에는 부트 블록이 있어야 한다.

• super block : filesystem에 대한 모든 중요한 정보를 저장하는 곳이다. file system이 얼마나 큰지, 얼마나 많은 파일을 저장할 수 있는지, 자유 저장공간을 어디에서 찾아야 하는지 등의 다양한 정보를 포함하고 있다. 여기에 들어가는 정보는 파일시스템에 의존한다.

• inode list : 파일 시스템이라는 것은 inode(index node)라는 형태의 정보로 저장된다. inode는 항목(파일, 디렉토리, 심볼릭 링크) 자체의 이름을 제외하고는 다른 모든 파일시스템을 저장한다. 파일이름은 디렉토리에 저장되며 이는inode의 포인터로 이용된다. Inode list 는 inode들의 리스트이며, 관리자에 의해 그 크기가 변경될 수 있다. 파일 시스템의 모든 파일이나 디렉토리는 각기 단 하나의 inode에 의하여 표현된다. 리스트에서 한 inode는 root inode로 file system을 mount 시킨 이후에 접근 가능하게 된다.

• data block : 파일 데이터와 관리 데이터를 저장하고 있는 부분이다. 각각의 데이터 블록은 한번에, 단지 하나의 파일에만 할당될 수 있다.

Raw Device                                    

- Raw Device란?

Raw device는 file system이 set up 되지 않은 disk drive이다. Raw Device는 데이터베이스와 같이 주로 자신들의 캐싱 시스템을 갖고 있는 경우에 서비스 프로그램에서 많이 사용한다. 운영체제의 캐싱 시스템은 일반적인 상황에서는 성능에 지대한 영향을  미치지만 데이터베이스 등에서는 이미 자신의 방식으로 캐싱을 하기 때문에 두번의 캐싱으로 인해 부하가 생길 수 있다. 그러므로 운영체제가 지원하는 부분을 사용하지 않게 하기 위해서 raw device를 사용한다.또한 두 대 이상의 machine과 이 machine들이 공유하고 있는 disk로 구성되는 OPS의 경우, shared disk를 os file system으로 구성하면 한쪽에서만 이를 볼 수 있고 동시에 access하는 것이 불가능하다. 그러므로 raw device를 사용해야 하며, raw device를 사용하면 os를 거치지 않으므로 보다 빠른 access를 기대할 수 있다.

• 장점

1. Raw Device는 os에 mount되지 않은 디스크이므로 os kernel에 의해 buffering이 되지 않고 user buffer와 device간에 직접 data가 전송되므로 disk I/O 성능이 향상되고 cpu overhead가 감소된다.

2. os file system의 overhead를 피할 수 있다.

3. os buffer size를 줄일 수 있다.

• 단점

1. setup 하기 어렵고 backup 절차가 file system 보다 복잡하다.

2. raw device와 os file을 혼합하여 사용할 경우 os file은 ulimit parameter의 size 보다 작아야 한다. 따라서 ulimit를 초과하는 table들은 raw device를 사용하여야 한다.

3. os는 cylinder 0을 보호하지 못하기 때문에 cylinder 0에서 시작하면 안된다.

- raw device 운영시 주의사항

² raw device는 ‘/dev’ directory 밑에 c type (character special file)으로 나타난다. 

예>

crw-rw----   1 oraerp01   dba         64 0x090001 May 15 14:07 rlvabmd01.dbf

crw-rw----   1 oraerp01   dba         64 0x090002 May 15 14:07 rlvabmx01.dbf

crw-rw----   1 oraerp01   dba         64 0x090003 May 15 14:07 rlvahld01.dbf

² logical volume 확인

lvdisplay –v lvpath

예> THVSD01:/dev/vgdbmst2> lvdisplay -v lvctrl1

² partitoin 개수 및 size 결정

oracle data file : device = 1 : 1

device size = oracle file size + a (a : 대략 1M 정도. header 정보 보관)

향후 DB가 늘어날 것을 감안하여 size 별 raw device를 미리 생성해둔다.

² file system의 file을 raw device 로 옮기는 방법 : dd if = file명 of = raw device명예>
dd bs=20480 if=/DBMS/orarac/oradata/RAC/rlvsystem01.dbf  of=/dev/vgdbmsg1/rlvsystem01.dbf

dd bs=20480 if=/DBMS/orarac/oradata/RAC/rlvtemp01.tmf  of=/dev/vgdbmsg1/rlvtemp01.tmf

dd bs=20480 if=/DBMS/orarac/oradata/RAC/rlvtools01.dbf  of=/dev/vgdbmsg1/rlvtools01.dbf

² raw device를 file로 copy하는 방법 : dd if = raw device명 of = file명 예>
dd bs=20480 if=/dev/vgdbmsg1/rlvsystem01.dbf  of=/DBMS/orarac/oradata/RAC/rlvsystem01.dbf

dd bs=20480 if=/dev/vgdbmsg1/rlvtemp01.tmf  of=/DBMS/orarac/oradata/RAC/rlvtemp01.tmf

dd bs=20480 if=/dev/vgdbmsg1/rlvtools01.dbf  of=/DBMS/orarac/oradata/RAC/rlvtools01.dbf

Window는 가끔 VM에 설치하는 부분이라 그때마다 ISO로 했는데, 한번 만들어 놓은 USB가 있어서

아래의 방법으로 빠르게 설치할 수 있었다.

중간에 physical Disk 부분에서 USB 와 연결되 있는 Device를 찾지 못하였는데,

VM Ware 업데이트 진행 후에는 정상적으로 목록이 뜨는 것을 확인할 수 있었다.

VM Version (10.0.7 build-2844087)

-------------------------------------------------------------------------------

[출처] http://prolite.tistory.com/166

[2017-10-31] 변경

http://prolite.tistory.com/1130

원작자 요청이 있어서 삭제후 출처만 남겼습니다!

해당 블로그로 확인해 보세요!

이 블로그를 시작할 때에는 여러가지 복합적인 이유로 시작하였다.

하지만 이 복합적인 이유들이 한가지로

통합되어 가고 있는 것 같다...누군가에게 보여 지기를 원하는 것처럼..

내가 필요할때 보기 위해서 또는 내가 지금까지 한 것을 정리하여 업로드 하면서

다시 한번 필요할 때 찾아 보기 쉽게 올려 놨다.

물론 퍼 오는게 많을 수록 정리를 하기 보다는 있는 그대로 받아 들이고 있다.

내가 직접 해 보기는 하지만 다시 정리를 해야지 내 것이 되는 것인데 말이다.

하지만 한가지 진실한 것은 이처럼 꾸준히 관리해 오는 것도 처음이고,

내 블로그를 통해서 다른 이도 나와 같은 상황에서 잘 해결해 나가기를 바라는 것이다.

조금만 더 정리를 해서 내 것으로 만들고,

조금만 더 깊게 진행해 보고 더 많은 사람들이 지식을 받아 갔으면 한다.

여기서 만큼은 진실해 보자. 솔직해져 보자.

[펌] http://mintnlatte.tistory.com/407

■ FTP는 다른 서비스와는 달리 Active Mode와 Passive Mode가 존재한다.

- 웹브라우저들은 일반적으로 Passive Mode로 설정되어 있고, 알FTP나 WS-FTP, CuteFTP와 같은 FTP 클라이언트 프로그램들은 일반적으로 Active Mode가 기본값으로 설정되어 있다.

(1) FTP Active Mode의 동작 방식

- 클라이언트에서 서버의 21번 포트로 접속 후 클라이언트가 사용할 두 번째 포트를 서버에 알려준다.

- 서버는 클라이언트로 서버로 부터 Ack를 보내고, 서버의 20번 포트는 클라이언트가 알려준 두 번째 포트로 접속을 시도한다.

○ Active Mode 의 문제점

: 일반적인 TCP/IP의 특징인 ‘클라이언트가 서버에 접속을 시도하는 것’이 아니라 ‘서버가 클라이언에 접속을 시도한다’는 것이다. 이 때문에 만약 클라이언트 PC등에 방화벽이 설치되어 있거나 FTP를 잘 이해하지 못하는 공유기 등을 사용하여 외부에서의 접속을 허용하지 않는다면 세 번째 프로세스가 작동하지 않게 되어 FTP 접속이 제대로 되지 않는 문제점이 있다. 이러한 경우 FTP 접속은 되지만 이후 데이터 목록을 받아오지 못하여 에러가 발생하게 된다.

Active Mode는 클라이언트에서 서버측 21번 포트로 접속시도 하고 데이터 포트는 서버에서 클라이언트로 접속하여 데이터를 보내는 방식

(2)  FTP Passive Mode의 동작 방식

○ Active Mode의 문제점을 해결하기 위한 대한으로 디자인된 Passive Mode

- 클라이언트에서  서버의 21번 포트로 접속을 시도하면, 서버에서는 사용할 두번째 포트를 클라이언트에게 알려준다.

- 클라이언트는 다른 포트를 열어 서버가 알려준 이 포트로 접속을 시도한다. 

○ Passive Mode 의 문제점

: Passive 모드에서는 두 번째 data포트로서 Active 모드가 사용했던 20번을 사용하지 않고 대신 1024 이후의 임의의 비 특권 포트를 사용하게 된다. 따라서 Passive 모드는 서버에서 클라이언트로 연결을 시도하는 Active 모드의 문제점을 해결하기는 했지만, 서버의 비 특권포트(1024 ~ 65535)를 방화벽에서 모두 열어 두어야 한다는 또 다른 문제점이 야기되었다.그러나 wu-ftp나 proftpd등 대부분의 ftp 데몬에서는 클라이언트가 Passive Mode로 접속 시 사용할 수 있는 포트를 제한설정 할 수 있는 기능을 지원하므로 이의 문제점을 미봉책이나마 어느 정도는 해결할 수 있다.

Passive 모드는 클라이언트에서 서버쪽 21번 포트로 접속 시도 하고 데이터 포트도 클라이언트에서 서버의 임의의 포트로 접속하여 데이터를 받아오는 방식

원본 : http://wlstnans.tistory.com/101

python 에서의 continue, pass, break 를 정리해보자

for element in some_list: 
    if not element: 
        pass 

for element in some_list: 
    if not element: 
        continue

3문장으로 요약하자면  
1) pass는 단순히 실행할 코드가 없다는 것을 의미한다
2) continue는 다음 순번의 loop를 돌도록 강제하는 것을 의미

3) 이둘은 명백히 다른 구문이다, pass 와는 다르게 continue는 바로 다음 순번의 loop를 돈다

만약 pass 를 타게 되면 A작업은 수행되지만, continue에서는 수행되지 않고 바로 다음 loop 순번으로 돈다.

############################
예제)

for i in [1,2,3]:
        if i:
                print "pass %d" % i
                pass
        print "mjsjinsu pass" # will print after pass


for i in [4,5,6]:
        if i:
                print "pass %d" % i
                continue
        print "mjsjinsu continue"

############################
실행 결과 )

pass 1
mjsjinsu pass
pass 2
mjsjinsu pass
pass 3
mjsjinsu pass
pass 4
pass 5
pass 6

원본 : http://primrose.tistory.com/37

파이썬으로 FTP서버에 접속하여 여러 작업을 할 때에는 ftplib를 쓰면 편하다.

일단 ftplib을 import 한다

import ftplib




그 다음엔 FTP서버에 접속을 해야한다. ftplib에서 FTP서버에 접속하게 해 주는 클래스는 FTP클래스로 

class ftplib.FTP([host[, user[, passwd[, acct[, timeout]]]]])

위와같이 정의되어 있다.

이 중에서 우리가 필요로 하는 것만 설명을 하자면.

host : FTP서버의 IP주소나, 도메인 네임.

user : FTP서버 아이디. 익명으로 접속하려먼 'anonymous' 입력 후 비밀번호를 입력하지 않는다.

passwd : FTP서버의 비밀번호.

이제 위 사항을 기입해서 FTP서버에 접속한다.

import ftplib


FTP이름 = ftplib.FTP('서버주소','아이디','비밀번호')




무엇인가 잘못 쓴 것이 아니라면 정상적으로 접속이 될 것이다.


접속 된 후에는 ftplib의 함수들을 이용하여 FTP 클라이언트로써의 작업을 수행 할 수 있다. 

기본적인 함수들을 소개하자면.

FTP이름.pwd()

: 현재 디렉토리를 보여준다.

FTP이름.cwd(pathname)

: 현재 디렉토리를 바꾼다.

FTP이름.mkd(pathname)

: 현재 디렉토리에 폴더를 만든다.

FTP이름.rmd(pathname)

: 현재 디렉토리의 폴더를 지운다.

FTP이름.size(filename)

: 파일의 크기를 알려준다.

FTP이름.nlst(argument[, ...])

: FTP서버에서 파일 목록을 가져온다. argument에 아무것도 넣지 않을 경우, 현재 폴더의 파일목록을 가져온다.

FTP이름.retrbinary(command, callback[, maxblocksize[, rest]]) 

: FTP서버에서 바이너리모드로 파일을 가져온다.

FTP이름.retrlines(command[, callback])

: FTP서버에서 ASCII모드로 파일을 가져온다.

FTP이름.storbinary(command, file[, blocksize, callback, rest])

: FTP서버에 바이너리모드로 파일을 전송한다.

FTP이름.storlines(command, file[, callback])

: FTP서버에 ASCII모드로 파일을 전송한다.

FTP이름.quit()

: FTP서버와의 접속을 끊는다. 에러 발생시엔 FTP이름.close()를 쓴다.

이제 기본적인 함수들을 알았으니 FTP서버에 파일을 전송하는 방법에 대해 설명하겠다.

파일 전송에는 2가지 모드가 있다. 바이너리 모드와 ASCII모드다.

바이너리 모드는 사람이 읽을 수 있는 텍스트 형식의 파일을 제외한 파일들을 전송할 때 쓰고, ASCII모드는 사람이 읽을 수 있는 파일을 전송할 때 쓴다.

일단 바이너리 모드로 파일을 전송해보자. 바이너리 모드로 파일을 전송할 때에는 storbinary 함수에 'STOR' 명령어와 'rb' 모드로 열은 파일 핸들러를 매개변수로 넣어줘야 한다.

import ftplib

FTP이름 = ftplib.FTP('서버주소','아이디','비밀번호')

FTP이름.storbinary( 'STOR' , open('파일이름','rb') )
#'파일이름'은 자기가 전송하려는 파일의 이름


위와같이 하면 FTP서버 내의 현재 디렉토리에 파일이 전송된다.


ASCII모드로 파일을 전송하는 것도 위와 비슷하다. 단지 파일을 여는 방법을 달리해야한다.


import ftplib


FTP이름 = ftplib.FTP('서버주소','아이디','비밀번호')


FTP이름.storlines( 'STOR' , open('파일이름','r') )

#'파일이름'은 자기가 전송하려는 파일의 이름

파일 핸들러를 'r' 모드로 열어서 storlines 함수에 넘겨주면 ASCII모드로 파일이 전송된다.