기본 콘텐츠로 건너뛰기

spiderable package를 살펴보았다.

동적페이지를 만들면 웹크롤러들이 찌르러 왔다가 빈손으로 돌아가곤 한다.
이래서야 안될일.

발번역부터 시작해보자.
// list of bot user agents that we want to serve statically, but do
// not obey the _escaped_fragment_ protocol. The page is served
// statically to any client whos user agent matches any of these
// regexps. Users may modify this array.
//
// An original goal with the spiderable package was to avoid doing
// user-agent based tests. But the reality is not enough bots support
// the _escaped_fragment_ protocol, so we need to hardcode a list
// here. I shed a silent tear.
우리가 정적으로 제공하고 싶지만 _escaped_fragment_ 프로토콜을 따르지 않는 봇 사용자 에이전트의 목록입니다.
페이지는 사용자 에이전트가 이러한 정규식 중 하나와 일치하는 모든 클라이언트에 정적으로 제공합니다. 사용자는 이 배열을 변경할 수 있습니다.
spiderable 패키지와 원래 목표는 사용자 에이전트 기반의 테스트를 실시하는 것을 피하기 위해서였다.
하지만 현실은 봇들은 _escaped_fragment_ 프로토콜을 지원하지 않기 때문에, 여기에서는 목록을 하드 코딩해야합니다. 나는 조용히 눈물을 흘렸다.
Spiderable.userAgentRegExps = [
    /^facebookexternalhit/i, /^linkedinbot/i, /^twitterbot/i];

요놈들! 말을 듣지 않는 나쁜 아이들이 니 놈들이렸다! 이 오라질 것들!
아래와 같이 javascript 코드를 생성하여 phantom.js에 밀어 넣는다. 파일로에서 넣지 않고 바로 생성하기 위해 /dev/stdin 을 사용하여 밀어넣는다. 아마 이것 때문에 윈도우에선 애로사항이 꽃필 것이다. 방법이야 있지만 패스.

    var phantomScript = "var url = " + JSON.stringify(url) + ";" +
          "var page = require('webpage').create();" +
          "page.open(url);" +
          "setInterval(function() {" +
          "  var ready = page.evaluate(function () {" +
          "    if (typeof Meteor !== 'undefined' " +
          "        && typeof(Meteor.status) !== 'undefined' " +
          "        && Meteor.status().connected) {" +
          "      Deps.flush();" +
          "      return DDP._allSubscriptionsReady();" +
          "    }" +
          "    return false;" +
          "  });" +
          "  if (ready) {" +
          "    var out = page.content;" +
          "    out = out.replace(/<script[^>]+>(.|\\n|\\r)*?<\\/script\\s*>/ig, '');" +
          "    out = out.replace('<meta name=\"fragment\" content=\"!\">', '');" +
          "    console.log(out);" +
          "    phantom.exit();" +
          "  }" +
          "}, 100);\n";

소스 코드의 주 내용은 별게 없다. url을 인자로 받은 페이지를 만들어 반환하되 페이지 렌더링이 끝나는 시간을 가정하여 0.1초마다 계속 Meteor 어플리케이션의 존재를 확인하면 Deps를 flush하고 모든 subscription 들을 완료하였는지를 ready로 넘겨준다. 마지막으로 ready가 참이면 page.content를 넘겨주면서 끝난다.

단, <script>덩어리들을 홀랑 날리고 <meta name="fragment" content="!"> 도 홀랑홀랑 날린 다음에 stdout으로 보내주는 것이다. 평범한 html 문서 조각이 되는 것이다.

자. 큰덩어리로 돌아가는 구조를 말로 한번 풀어보자면 이런 것이다.

WebApp.connectHandlers 를 통해 들어온 놈들 중
request url이 _escaped_fragment_= 를 포함하거나  user-agent 이름이 facebookexternalhit, linkedinbot, twitterbot 같은 걸로 들어올 때
phantomJS를 가동해서 page.content를 얻은 다음 페이지로딩이 완료된 다음에 <script>와 <meta name="fragment" content="!"> 을 제거해서 돌려준다...
google 같은 경우 <meta name="fragment" content="!">가 있는 경우 _escaped_fragment_=를 붙여서 요청하는데 이때 phantomJS로 렌더링한 페이지 본문을 넘겨준다.

...라는 아름다운 이야기가 되겠다.

이래도 뭔소린지 모르겠다면 진리의 evetedmind 동영상을 보자.
https://www.eventedmind.com/posts/meteor-the-spiderable-package

재밌는 건 이 링크도 역시 spiderable 적용이다.
curl https://www.eventedmind.com/posts/meteor-the-spiderable-package
한 결과랑

curl https://www.eventedmind.com/posts/meteor-the-spiderable-package?_escaped_fragment_=
한 결과를 비교해보면 한눈에 알 수 있다.

마찬가지로 다른 bot들을 적용해보려면 user-agent를 주면 된다.

curl -s -A "facebookexternalhit" https://www.eventedmind.com/posts/meteor-the-spiderable-package

훌륭하지 않은가?

이 블로그의 인기 게시물

Rinkeby Test Network에 접근하는 간단한 방법.

dApp 개발 시 실제 계정으로 트랜젝션을 보내면 너무나 비싸므로
Rinkeby나 Ropsten 같은 테스트 네트워크에 연결하여 마이닝 없이 faucet을 통해 ether를 받고
그걸로 트랜젝션 테스트를 하면 편리하다.

보통 https://github.com/ethereum/wiki/wiki/Dapp-using-Meteor#create-your-%C3%90app 문서를 보고 시작하는데
geth --rpc --rpccorsdomain "http://localhost:3000" 이렇게 하면 마이닝부터 해야하니 귀찮다.
https://infura.io/#how-to 를 보고 계정을 신청하자. 이런 것도 호스팅이 되다니 좋은 세상이네.
간단한 개인 정보 몇가지를 입력하고 나면 Access Token이 나온다.

가입 후  https://infura.io/register.html 화면

Access Token이 있는 네트워크 주소로 geth를 연결한다.
geth --rpc --rpccorsdomain "https://rinkeby.infura.io/<YOUR_ACCESS_TOKEN>" 이러면 오케이.

meteor project를 만들고
meteor add ethereum:web3 추가한 다음 console에서
web3.eth.getBalance(web3.eth.coinbase, (error,result)=>console.log(
  error, result.toFormat()
)); 자신의 coinbase의 잔액을 구해보자.
6eth가 최소단위인 wei로 보면 6,000,000,000,000,000,000 정도.
https://faucet.rinkeby.io/ 여기에서 받아온 (무료로/마이닝없이) ether가 잘 나온다.
여기서부터 시작하는게 좋아보인다.

Mosca를 사용한 MQTT 연습

IoT에서 핵심 개념 중 사물간 통신 부분이 있는데 양방향 경량 통신 프로토콜로 MQTT라는 것이 있고 그것이 nodemcu 에 구현이 되어있어 흥미를 가지고 살펴보았다.

기본적으로 Meteor의 DDP 프로토콜처럼 pub/sub 구조인데 한번씩만 pub/sub을 하는 Meteor와는 다르게 구독(subscribe)은 지정 토픽에 대해 한번만 하고 발행(publish)은 그때그때 하는 구조였다.

기술적인 내용은 MQTT 같은 곳에 자세히 나와있으니 대충 읽고
실제적인 작동이 어떻게 되는지 직접 한번 경험해보고 싶었다.

물론 node.js와 javascript를 사랑하는 사람이기 때문에 npm 에서 찾았지만 이후의 내용은 어짜피 command line에서 작동하는 것이기 때문에 부담없이 해볼 수 있다.

먼저 MQTT Broker를 설치하자.


고양이 그림이 귀여운 Mosca 를 선택했다.
node.js 가 없으면 먼저 설치하고

npm install mosca bunyan -g

부터 시작해보자.
mosca 말고 bunyan이라는 것도 함께 설치하는데 JSON포멧의 로그를 볼때 편리하다.
덕분에 좋은 거 하나 배웠네.

여기서 Broker는 server랑은 조금 개념이 다른데 pub/sub을 하는 각각의 대상이 client/server의 관계가 아니기 때문이다. 서로서로 상호작용하는 관계이므로.
어쨌든 Broker가 없으면 sub과 pub을 서로 맺을 수가 없으니 반드시 하나는 구동해야한다.
http://www.slideshare.net/BryanBoyd/mqtt-austin-api 자세한 내용은 이런 슬라이드를 보면 활용예나 패턴에 대해 잘 나와있으니 참조하자.

mosca -v | bunyan

일단 이런 식으로 mosca 를 기동한다. mosquitto 같은 걸 써도 크게 다르지 않다. 어짜피 한번만 구동하면 끝이니까.

$ mosca -v | bunyan       +++.+++:   ,+++    +++;   '+++    +++.       ++.+++.++ …

LG G Pro 2 Custom Rom +Rooting 기록

선 루팅

https://forum.xda-developers.com/lg-g3/general/guide-root-lg-firmwares-kitkat-lollipop-t3056951

1.2버전 스크립트 모드로.

echo Looking for LG serial port..
echo.
adb.exe wait-for-device

여기에서 정체 상태여서 강제로 adb kill-server 했더니 알아서 재부팅하심.
폰에선 "펌웨어 업데이트"화면이 나오고

Phone found at COM5!

Rooting phone..

If you don't see the SuperSu installer script runs within about a minute,
then the root failed.

Author : blog.lvu.kr
SPECIAL COMMAND : ENTER, LEAVE

##

이런 상황이 됨. #이 느린 속도로 하나씩 증가하고 있음.
한 시간 기다려도 성과없음.

뭐 몇번해봐도 안되고 결국 불안하긴 하지만 kingroot.net 로 설치

롤리팝이니까 https://drive.google.com/file/d/0B4kfGU1z_PClQ3AyM2lKOGR1S3M/view 이걸 받아서 압축 풀기.
d838recovery.bat 만 있어서 당황스럽긴한데 실행하고 1번 하니까 리커버리 모드 진입까진 잘 되는 듯.
adb sideload 라는게 있어서 해봄.
Advance에서 adb sideload 선택하고 USB연결한 PC에서 adb sideload RR-N-v5.8.5-20171010-d838-Final.zip 하니까 착착 잘 진행됨.

이제 흉측한 U+LTE 가 없어짐. ㅇㅋ

군더더기 없고 깔끔한데 남은 건 gapps 를 설치해야함.
http://opengapps.org/ 를 권해줘서 갔는데 지옥 느림.
ARM + 7.1 + stock 이 기본이어서 그걸로 함.
한시간 정도 걸렸나 제길. Remix OS 할 때 처럼 쉽게 할순 없네.
sideload…