<div dir="auto"><div dir="auto">ofc A records where removed during outage. either by bad design, sabotage or whatever . @Paul just sub withdrawn with removed from your statement and u make the same point I did. either way it's bad design and I doubt that FB makes that kind of mistake. </div><div dir="auto"><br></div><div dir="auto">Also no one is connecting the dots what is happening to FB as a whole atm..</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">On technical level such mistake is unacceptable when each 1 hour of downtime costs about 1 billi USD...</div><div dir="auto"><br></div><div dir="auto">I find it highly unlikely that this was an automation mistake coz some one didn't doublecheck their config.</div><div dir="auto"><br></div><div dir="auto">Further more the /19 supernet was still in GRT during whole outage and only the more specific DNS prefixes were missing.  </div><div dir="auto"><br></div><div dir="auto">Further more I assume without checking, that the DNS IPs are anycasted so it would mean that the automation script  has access globally to all BGP speakers. lol</div><div dir="auto"><br></div><div dir="auto">If you want I can sell you a nice fridge on the north pole... </div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, 7 Oct 2021, 12:38 pm , <<a href="mailto:sm%2Bafrinic@elandsys.com" target="_blank" rel="noreferrer">sm+afrinic@elandsys.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Paul,<br>
At 01:50 AM 07-10-2021, Paul McMaster wrote:<br>
>No DNS records were removed. Certain prefix's were withdrawn <br>
>globally by an automation config mistake. By design their BGP for <br>
>the DNS prefix's were withdrawn after X amount of time as their core <br>
>network was not visible.<br>
<br>
Yes.<br>
<br>
This is the reply from 192.42.93.30 around the time of the outage:<br>
<br>
   <a href="http://fb.com" rel="noreferrer noreferrer noreferrer" target="_blank">fb.com</a>.                 172800  IN      NS      <a href="http://a.ns.facebook.com" rel="noreferrer noreferrer noreferrer" target="_blank">a.ns.facebook.com</a>.<br>
   <a href="http://fb.com" rel="noreferrer noreferrer noreferrer" target="_blank">fb.com</a>.                 172800  IN      NS      <a href="http://b.ns.facebook.com" rel="noreferrer noreferrer noreferrer" target="_blank">b.ns.facebook.com</a>.<br>
   <a href="http://fb.com" rel="noreferrer noreferrer noreferrer" target="_blank">fb.com</a>.                 172800  IN      NS      <a href="http://c.ns.facebook.com" rel="noreferrer noreferrer noreferrer" target="_blank">c.ns.facebook.com</a>.<br>
   <a href="http://fb.com" rel="noreferrer noreferrer noreferrer" target="_blank">fb.com</a>.                 172800  IN      NS      <a href="http://d.ns.facebook.com" rel="noreferrer noreferrer noreferrer" target="_blank">d.ns.facebook.com</a>.<br>
   CK0POJMG874LJREF7EFN8430QVIT8BSM.com. 86400 IN NSEC3 1 1 0 <br>
-   CK0Q1GIN43N1ARRC9OSM6QPQR81H5M9A NS SOA RRSIG DNSKEY NSEC3PARAM<br>
CK0POJMG874LJREF7EFN8430QVIT8BSM.com. 86400 IN RRSIG NSEC3 8 2 86400 <br>
20211011042403 20211004031403 39343 com. <br>
Qlm6nJK1+jpkxCOGZKqj121icHf+TcKcPrQgGqA3yYsOiqpB7TjVNnDq <br>
oZVDtIMuNsUKsAxN2mLlbM8XF8xLf5ZD1Z3H498YrDssqNh1VWeUlJgj <br>
/9ls1iPe2CsB1PNXzU/cXGdrQiiikkHK//3J0IHSYmsHNAwbC0y4/FsS <br>
U+ZsZisaa2G5FSDdr+Fqlf6m+jmwoxTEsexS9ivi1SaaDQ==<br>
EM2SGU4GV6DJ5SAH1A2PLQ611POSJBEE.com. 86400 IN NSEC3 1 1 0 - <br>
EM2TBOBUUOD4AQ2HAJDUQLOREPPGU6DG NS DS RRSIG<br>
EM2SGU4GV6DJ5SAH1A2PLQ611POSJBEE.com. 86400 IN RRSIG NSEC3 8 2 86400 <br>
20211010043214 20211003032214 39343 com. <br>
rlEjMXkv5n24OweHGYTXgU+RJn2PZeRbJzN+afEukSeYjon8DL5he5wi <br>
Jj/DskPoR+x1M+tmlyU3vCWoeQF+iFLNoMnpYZ35vulCxqDnqdbc26cP <br>
ubBZXXQqBywjw+eK0T6a/5E4YXaZBGOhe2C+Ye2BDvYyMEQAoTr6vaf9 <br>
RfBBsFexcRckKaKZuwNFX1rNVNCsmIPn9iYI27U+NAPGhA==<br>
   couldn't get address for '<a href="http://c.ns.facebook.com" rel="noreferrer noreferrer noreferrer" target="_blank">c.ns.facebook.com</a>': failure<br>
<br>
It looked like a DNS issue.  There is an explanation about what <br>
happened at <br>
<a href="https://engineering.fb.com/2021/10/05/networking-traffic/outage-details/" rel="noreferrer noreferrer noreferrer" target="_blank">https://engineering.fb.com/2021/10/05/networking-traffic/outage-details/</a><br>
<br>
Regards,<br>
S. Moonesamy  <br>
<br>
<br>
_______________________________________________<br>
afnog mailing list<br>
<a href="https://www.afnog.org/mailman/listinfo/afnog" rel="noreferrer noreferrer noreferrer" target="_blank">https://www.afnog.org/mailman/listinfo/afnog</a><br>
</blockquote></div></div>