Python Spider, Web Crawler, Bot Examples

• Getting Started Spidering a Site
• Extract HTML Title, Description, Keywords
• Fetch robots.txt for a Site
• Avoid URLs Matching Any of a Set of Patterns
• Setting a Maximum Response Size
• Setting a Maximum URL Length
• Using the Disk Cache
• Crawling the Web
• Get Referenced Domains
• Get Base Domains
• GetBaseDomain
• CanonicalizeUrl
• Avoiding Outbound Links Matching Patterns
• Must-Match Patterns
• A Simple Web Crawler

[1] PIC의 메모리 구조

1.　PIC의 메모리 구조
2.　PIC의 프로그람메모리의 구조
3.　PIC의 데이타메모리의 구조　(간접 애드레싱)
4.　PIC의 스탁크메모리의 구조
5.　PIC의 EEPROM 메모리의 구조

[2] 내장 모듈의 사용법

1.　클락 발진 회로
2.　리셋트 회로
3.　새치기의 사용법
4.　입출력 포토의 사용법
5.　패러렐 슬레이브 포토의 사용법
6.　타이머 0의 사용법(인터벌 타이머)
7.　타이머 0의 사용법(카운터)
8.　타이머 1의 사용법
9. 타이머 2의 사용법
10. CCP 모듈의 사용법(Capture/Compare)
11. CCP 모듈의 PWM 모드에서의 사용법
12. SPI 통신의 사용법
13. USA RT의 사용법
14. A/D변환의 사용법(8비트)
15. A/D변환의 사용법(10비트)
16. watch dog timer의 사용법
17. sleep 모드의 사용법

[3] PIC16F87x 시리즈

1. PIC16F87x의 특징과 사용상의 주의　
2. 라이터의 사용법　
3. 액정 표시기용 C언어 라이브러리
4. A/D변환의 사용법
5. 타이머 1의 사용법
6. 프로그램 EEPROM에의 Read/Write의 방

[4] 실용 프로그래밍 테크닉

　 1. 키 입력의 처리법(chattering 회피)
　　 2. 펄스 입력의 취급 방법(샘플링)
　　 3. 펄스 출력의 방법
　　 4. 지연 시간을 만드는 방법(사이클의 세는 방법)
　　 5. 타이머의 사용법
　　 6. 세치기의 기초
　　 7. 간이 A/D변환 제어법(볼륨의 입력)
　　 8. 액정 표시기의 제어법
　　 9. 다이나믹 표시 제어법
　　 10. PC와의 패러렐 통신 접속

　　 ★ PIC의 사용법의 「요령」

[5] PIC 활용 제작예

　　 여기에서는 원칩 마이크로컴퓨터 PIC 시리즈를 활용한
　　 전자 공작에 대해 소개하고 있습니다.

　　 44.　정전압, 정전류 전원　　

실험실 레벨의 최대 12 V 1 A의 정전압 전류 전원입니다.
전압, 전류의 표시계에 PIC를 사용했습니다.

　　 43.　PIC에 의한 AC파워 콘트롤러(소프트웨어편)　

PIC로 제로 크로스 제어와 위상 제어를 실시합니다.

　　 42.　PIC에 의한 AC파워 콘트롤러(하드웨어편)　
AC100V의 위상 제어에 의한 파워 컨트롤을 PIC로 제어한 유니트입니다.
PC와 시리얼 통신으로 접속해 리모트 콘트롤도 가능합니다.

　　 41. USB 접속의 8자리수 주파수 카운터(소프트웨어편)　　　

역시 PICROS를 사용한 작품으로, 8자리수 100 MHz의 주파수 카운터입니다.
PC와 USB로 접속해 장기간의 주파수 변화를 그래프에 할 수 있습니다

　　 41. USB 접속의 8자리수 주파수 카운터(하드웨어편)　　

CPLD를 사용한 주파수 카운터 블록과 PIC를 편성, 한층 더
USB 콘트롤러를 사용해 PC와 USB로 접속해 컨트롤
할 수가 있습니다. 8자리수로 100 MHz까지 카운트 할 수 있습니다.

　　 40. USB 접속의 디지탈 멀티 미터(소프트웨어편)　　

PICROS를 사용한 작품으로,4-1/2자리수의 디지탈 멀티 미터입니다.
PC와는 USB로 접속하고 있기 때문에, 데이터 수집도 편하게 할 수 있습니다.

　　 39. USB 접속의 디지탈 멀티 미터(하드웨어편)　　

마이크로칩사의4-1/2자리수의 A/D변환기를 사용한 멀티 미터로
전압 100μV, 전류 100μA의 분해가능이 있습니다.
PC와 USB로 접속해 데이터 수집을 할 수 있습니다.
PIC의 프로그램을 PICROS를 사용해 멀티태스킹화하고 있습니다.

　　 38. CPLD와 PIC에 의한 시그널 제네레이터　

CPLD로 제작한 100 nsec에서 1 sec의 펄스 발신 블록과 PIC를
접속한 시그널 제네레이터입니다. 한층 더 USB로 PC와 접속
해 리모콘을 할 수 있습니다.

　　 37. USB 접속 범용 I/O유니트　

PIC16F877를 USB로 접속해, PC로부터 PIC의 입출력 포토를 제어
할 수 있도록(듯이) 한 것으로, 입출력 설정, 입출력을 비트마다 제어 할 수 있습니다.
게다가 액정 표시기를 접속하는 일도 가능해, PC로부터 메세지를
출력할 수가 있습니다.

　　 36. USB 인터페이스의 계측 로가-유니트　　

PIC16F876에 USBN9603를 접속해, PC와 USB 접속으로
통신을 실시하면서, 4 채널의 계측 데이터를 수집할 수 있는 유니트입니다.

　　 35. DDS와 PIC를 사용한 주파수 특성 측정기(PC의 SW편)

청소부의 PC가 원의 소프트웨어의 소개입니다.
Visual Basic6. 0을 사용하고 있습니다.

　　 34. DDS와 PIC를 사용한 주파수 특성 측정기(PIC의 SW편)

청소부의 PIC측의 것의 소프트웨어의 소개입니다.
PIC측은 CCS의 C컴파일러를 사용하고 있습니다.

　　 33. DDS와 PIC를 사용한 주파수 특성 측정기(HW편)　

DDS로 정현파를 출력해, 로그 앰프로 레벨 측정을 해, PIC로 그 데이터
(을)를 액정 표시기에 표시하는 것과 동시에 PC에 시리얼 통신으로 전송 해
PC의 소프트로 주파수 특성으로서 표시합니다. 10~10 MHz의 범위를
+20 dB~-60 dB의 레벨 측정을 할 수 있습니다.

　　 32. CPLD와 PIC를 사용한 저주파 발진기　

CPLD로 다이렉트 디지탈 신디사이저를 구성해, 그것을 PIC로
제어하는 것으로, PC로부터 시리얼 인터페이스로 리모트
컨트롤 가능한 저주파 발진기입니다.

　　 31. CPLD와 PIC를 사용한 8자리수 주파수 카운터

주파수 카운터부에 Xilinx사의 CPLD를 사용한 8자리수의 고성능
주파수 카운터입니다. 설계상은 85 MHz까지 동작 가능합니다.

　　 30. 범용 8자리수 주파수 카운터　

PIC를 사용한 세그먼트(segment) 발광 다이오드 표시의 8자리수의 주파수
카운터입니다. PIC16F84A과 PIC16F873의 2개의 PIC를 사용해 있습니다.

　　 29. 무선 모듈 응용 무선조종

시판의 315 MHz의 무선 송수신 모듈을 사용한 무선조종
자동차를 만들어 보았습니다.
상당히 안정에 조종 할 수 있습니다.

　　 28. Music Display　No1　

조금 바뀐 이름으로 했습니다만, 소형 액정 TV 화면에
음악에 맞추어 색을 춤추게 하려고 생각한 것입니다.
저음, 중음, 고음을 각각 적, 초록, 파랑에 대응시켜, 소리의
크기를 표시시킨 것입니다.
음악을 들으면서, 본다고도 없게 화면을 바라보고 즐깁니다.

　　 27. PIC16F877 응용 NiCd 배터리 충방전기

최대 6개의 NiCd 배터리의 전압을 보면서 자동적으로 충전과
방전을 실시해 최적인 충전을 제어합니다. 1개씩 독립에 제어
하므로 최선 상태로 충전을 할 수 있습니다.

　　 26. PIC16F87x용 PIC 라이터 어댑터

최신의 PIC 팁　PIC16F87x 시리즈에 기입하기 위한
기존 PIC 라이터용의 소켓 어댑터입니다.
아키즈키제 시리얼 라이터의 어댑터로서 제작했습니다.

　　 25. 리모트 계측 로가-유니트

PIC16C73에 32 K아르바이트의 SRAM를 접속해 계측 데이터의
기록을 해, 시리얼 통신으로 PC와 접속을 할 수 있는 유니트
입니다. 4 채널의 데이터를 8000회 기록할 수 있습니다.

　　 24. 타이머 제어 기능 다하고 시계

PIC16F84와 액정 표시기에 의한 시계입니다.
타이머 기능에 의해 2 채널의 AC전원을 제어할 수 있습니다.
타이머 프로그램은 최대 9개까지 지정할 수가 있습니다

　　 23. PC용 온도계

PIC16C711를 사용한 2 채널의 온도계측계입니다.
이번은 PC에 짜넣었습니다만 범용입니다.

　　 22. 모터 제어용 콘트롤러

각종의 모터 제어에 활용할 수 있는 범용의 콘트롤러입니다.
PIC16C73를 사용하고 있습니다.

　　 21. 모터 제어 테스트 벤치

PIC로 모터 제어의 실험을 할 때에, 부하가 되는 모터와
그 특성을 측정하기 위한 센서류를 일체화한 테스트
용벤치입니다.

　　 20. 광선총에 의한 빨리 쏘기 게임

PIC를 활용한 게임입니다. 일순간의 빛의 플래시를
검출하는 공작입니다.
광선총에 의한 빨리 쏘기 게임(하드웨어편)
광선총에 의한 빨리 쏘기 게임(소프트웨어편)

　　 19. 전자 룰렛의 게임

PIC 활용으로서는 기본적인 발광 다이오드의 점멸 제어
(을)를 사용한 게임입니다.
전자 룰렛 하드웨어편
전자 룰렛 소프트웨어편

　　 18. PIC 라이터의 제작

PIC 라이터로서는 기본적인 프린터 인터페이스
에 접속하는 타입의 제작예입니다.
구멍 뚫린 기판에서의 조립과 프린트 기판에서의 조립
의 2 종류 있습니다.

　　 17. DDS 응용 저주파 발진 유니트

유명한 DDS 킷을 활용해, 이것과 PIC를 조합해,
저주파(10 HZ~200 KHz)의 신호 발진 유니트를 만들어 보았습니다.
주파수 설정에는 로터리 엔코더를 사용해 1 Hz단위로
다이얼식에 가변으로 할 수가 있습니다.

　　 16. 리모콘 월면차

전항의 적외선 리모콘 송수신기를 사용해 월면차의 모형을
만들어 보았습니다.
이번은 전항의 송수신기를 그대로 사용하고 있습니다.

　　 15. 적외선 리모콘 수신기

PIC와 모터 제어용 IC를 조합해. 속도 가변의 리모콘
수신기를 만들어 보았습니다.
아래와 같이 송신기와 조합해 여러가지 응용이 가능합니다.

　　 14. 적외선 리모콘 송신기

PIC만을 사용해 범용의 적외선 리모콘 송신기를 만들어
보았습니다. 수신기와 조합해 다양한 제어를 할 수 있습니다.

　　 13. 시리얼 통신 접속 PC 단말

PIC와 액정 표시기를 조합한 PC의 단말
PC와는 RS232C 접속, 300 bps~9600 bps의 통신 속도,
PIC의 표준 통신 라이브러리로서 사용 가능. (새치기 방식)

　　 12. PIC용 시리얼 ROM 라이터

아키즈키 통상의 킷을 사용한 ROM 라이터 제작
케이스에 전원과 함께 짜넣어

　　 11. 초음파 거리계

PIC16F84와 초음파 센서를 사용한 거리계
1 cm단위의 계측, 액정 표시기 사용

　　 10. 8자리수 주파수 카운터

PIC16F84와 액정 표시기를 사용한 범용의 카운터
8자리수 표시, 0.1sec, 1 sec 게이트 타임, 최고 18 MHz

　　 9. PLL 방식 7 MHzSSB 수신기

아래와 같이 VFO 유니트와 7 세그 표시 유니트를 이용했다
7 MHzSSB 수신기.
로터리 엔코더에 의한 다이얼과 디지탈 주파수 표시

　　 8. 7 MHz 수신기용 PLL 제어 유니트

원칩 마이크로컴퓨터 PIC16C84를 사용한 표시 유니트
시리얼 입력, 5자리수 표시 제어, 다이나믹점등

　　 7. 7 MHzSSB 수신기용 VFO 유니트

원칩 마이크로컴퓨터 PIC16C84를 사용한 PLL 제어 유니트
약 19 MHz를 10 Hz단위로 가변할 수 있다

　　 6. PLL 방식 50 MHzFM 수신기

아래와 같이 범용 PLL 유니트를 사용한 50 MHzFM 수신기
로터리 엔코더에 의한 디지탈 동조

　　 5. 50 MHzFM 수신기용 PLL 유니트

원칩 마이크로컴퓨터 PIC16C84를 사용한 PLL 설정기
10 KHz 단위의 설정으로 2자리수의 채널 번호 표시 출력도 가진다

　　 4. 범용 PLL 유니트

원칩 마이크로컴퓨터 PIC18C84를 사용한 범용 PLL 설정기
고주파 발진기의 주파수 설정용으로 사용할 수 있다

　　 3. PIC 무선조종 송신기 3

PIC16F84를 응용한 다채널 무선조종 송신기,
PIC로 간이 A/D변환을 실시해 다채널화

　　 2. PIC 무선조종 수신기 3

PIC16F84를 응용한 다채널 무선조종 수신기
모터 속도 제어 전용 IC를 추가해 PIC로 가변속제어

　　 1. PIC 응용 무선조종 수신기 2

PIC16F84를 응용한 다채널 무선조종 수신기
LSI화, 모터 ON, OFF 제어 방식

---

PIC의 사용법(프로그램편)

---

1. 기본 사항

(1) 사용할 수 있는 메모리와 크기

• 프로그램 ROM 1K워드(PIC16C84, PIC16F84))
  1000개까지의 명령을 쓸 수 있다.
  ROM 라이터로 써넣는다.
• 레지스터:36 바이트(PIC16C84) / 68바이트(PIC16F84)
  변수로 이용할 수 있는 메모리로 Register File로 독립적인 에리어가 확보되어 있다.
  데이터의 취급은 바이트(8비트) 단위이므로 주의.
• Special Register 16종류
  PIC 전체의 동작 모드를 지정하기 위한 레지스터류로 독립의 Register File로 준비되어 있다.
• EEPROM 데이터 64바이트(PIC16C84, PIC16F84)
  전원을 OFF 해도 지워지지 않는 메모리에 데이터를 써 넣을 수 있다.
  단, 동작이 느리다는 점과, 써넣기 회수에 제한이 있기 때문에
  일반적인 프로그램 변수로서는 사용할 수 없다.
  사용법으로는 파라미터로 기억해 두려는 것을 써넣어 두고,
  재스타트시에 레지스터에 호출하여 사용한다.
• Configration Bits
  프로그램 메모리의 어드레스 2007H번지에 있는 특별한 메모리로 PIC의 기본적인 조건을 설정한다.
  이 메모리는 프로그래밍할 때에만 Read/Write할 수 있다.
  설정 내용은 프로그램 보호의 유무, 전원 ON시의 RESET 조건, Watchdog Timer의 유무, 발진자의 종류이다.

(2) Register File을 보는 방법과 Bank(Page)의 전환

• PIC에는 범용의 레지스터 이외에, 각종 동작 모드를 설정하기 위한 Special Register라 부르는 것이 준비되어 있다.
  PIC를 동작시키기 위해서는 우선 이 Special Register의 설정부터 시작한다.
  그리고 그들은 모두, Register File이라 부르는 메모리로서 준비되어 있다.
  그 Register File은 Bank0(Page0) 과Bank1(Page1)이라 부르는 2 페이지로 되어 있기 때문에 다소 액세스 방법이 번거롭다.
  즉, RESET 후 통상적으로는 Bank0(Page0)으로 되어 있기 때문에 Bank1(Page1)측의 레지스터에 액세스할 때는 Bank(Page)를 전환한 후가 된다.
  또한 Bank0(Page0)과 Bank1(Page1)에 같은 것이 있을 때에는 어느쪽이나 같은 형태로 사용할 수 있다.
  더구나, 표준 Include File을 사용한 경우에는 아랫 그림에 의한 레이블로 어셈블러 리스트에 쓸 수 있다.
  
  [예] Bank(Page)를 전환하는 방법

Special Register인 "STATUS" 레지스터의 "RP0" 비트를 다시 기입함으로써 전환한다. BSF STATUS,RP0 ;STATUS 레지스터의 RP0 비트를 1로하고 ;Bank1(Page1)로 전환한다. CLRF TRISA ;PORTA를 모두 출력 모드로 설정한다 MOVLW 0F0H ;11110000을 세트 MOVWF TRISB ;PORTB는 상위 4포트를 입력으로 설정 BCF Bank(Page)는STATUS,RP0 ;Bank0(Page0)으로 돌아간다

2008.04.19

2008년 제1회 (산업)기사 실기에서

"게임기획전문가 실기"시험을 치뤘습니다.

특별히 준비하지는 않고, 그냥 기회가 되어서 시험을 치르게 되었는데,

그냥 자신의 간단한 (게임)기획의 능력을 테스트해보려 응시하게 되었습니다.

제가 본 시험문제의 개요는

새로이 소규모인원이 팀워크 훈련을 위해서 가벼운 게임을 작성하기 위해

"테트리스"게임을 기획하는 것으로 시작됩니다.

테트리스게임을 룰을 설명하는 것,

테트리스 게임의 화면 디자인과 레벨 디자인이 문제로 나왔는데,

중요한 것은 워드 문서로 기획안 작성하기,

워드프로세서를 잘다루어 표 및 설계서를 만드는 것으로 문제가 나오는 것 같네요.

중간에 테스리스를 온라인 대전게임으로 확장하는 것 나오는데..

아마도 이번 시험은 "겜마블"의 온라인 테트리스 게임을 즐겨하는 사람에게

절대적으로 유리한 게임이 아닌가 합니다.

저는 4년전인가, 회사 여직원이 즐겨 하는것을 사무실에 지나면서 흘끗본 기억이 나는데

시험보면서, 저도 좀 했었으면 했군요.

아마도 레벨 디자인과, 순서도 더 나아가서는 UML UseCase디자인도 출제되지 않을 까 합니다.

그래도 이것도 시험이리고, "게임 시나리오 작법", "게임기획"어쩌고 하는 책들 대충훝어 보았는데,

아무래도, 기획서 스스로 작성하고, 검토하는 작업을 많이 한 사람에게 유익한 시험내용인것 같네요.

'2007.10.21 Koex 로봇박람회'